Der Ansitz ist am oberen Rand von Pfuß, einem kleinen Ortsteil von Kaltern, etwas versteckt zwischen Häusern gelegen. Das "Gschlössl" - wie es im Volksmund genannt wird - befindet sich am Fuße der Mendel auf 544 Metern Meereshöhe. Es stand bis vor 100 Jahren noch allein da, gelegen zwischen einem kleinen Bach - der Pfußer Lahn - und der Häusergruppe rund um die St.-Rochus-Kirche. Der Ansitz Mühlburg ist neben dem Ansitz Campan als adelige Besitzung im Atlas Tyrolensis vermerkt - der ersten Karte des Landes Tirol, der eine geodätische Vermessung zugrunde liegt und die eine der international bedeutendsten kartografischen Leistungen des 18. Jahrhunderts darstellt.
Das Anwesen wurde erstmals im Jahr 1231 erwähnt; der Wohnturm war ursprünglich als "Turm in Pfuß" (im Volksmund auch "Pfußer Gschlössl" oder kurz "Schlössl") bekannt. Es waren die Herren von Morenberg, die den Gutshof zu einem herrschaftlichen Ansitz mit der Bezeichnung Mühlburg umbauen ließen und dort auch wohnten. Die Morenberg stammten aus Sarnonico am Nonsberg und hießen ursprünglich de Moris. 1510 verlieh ihnen Kaiser Maximilian I. von Habsburg das Adelsprädikat von Morenberg. In der Zeit um 1600 zählten zu ihrem Besitz der Ansitz Morenberg in Sarnonico, das gesamte Gebiet am Mendelpass samt Wirtshaus, das landwirtschaftliche Anwesen Windegg und eben der Ansitz Mühlburg in Kaltern. 1584 wurde der "Turm in Pfuß" von dem in Kaltern tätigen italienischen Architekten und Baumeister Silvestro del Gallo zusammen mit dem Steinmetz Bernardo Pariano für Johann Anton von Morenberg in die heutige Form als herrschaftlicher Ansitz umgebaut. Nach dem Tod des ältesten Sohnes Friedrich und somit dem Aussterben des Adelsgeschlechts der Morenberg ging das Gebäude 1628 an dessen Witwe Maria Brigitta von Arz über, die sich bald darauf mit dem Freiherrn Karl Colonna von Völs verehelichte.
1664 ging der kleine Ansitz an die Freiherren Käßler von Boymont über, denen die Baulichkeiten auch als Wohnsitz dienten, nachdem das Schloss Boymont abgebrannt war. Letzte adelige Besitzerin war Karolina geborene Gräfin von Wolkenstein, welche den Ansitz 1801 einem gewissen Jakob Wally verkaufte. Damit endete nach 200 Jahren die "adelige" Zeit des "Schlössls" in Pfuß. Fortan war der Ansitz in bürgerlichem und bäuerlichem Besitz, was er noch heute ist. Das Anwesen diente mündlichen Überlieferungen zufolge den Kaiserjägern der k.u.k. Monarchie im Ersten Weltkrieg als zeitweiliges Lager auf ihrem Rückzug und in der Ära des Faschismus unter Mussolini als illegale Katakombenschule, um trotz Verbotes die Unterweisung von Schülern in deren deutscher Muttersprache zu gewährleisten.
