1936 erwarb Albert Hackelsberger Schloss Tutzing als Sommerresidenz für seine große Familie. Über seine Frau Helene, geb. van Eyck, war er Mitbesitzer der Fa. Weck im badischen Öflingen geworden, wo die Familie auch ihren Stammwohnsitz hatte.
In Tutzing verbrachten die sieben Kinder mit ihren Eltern glückliche Sommerferien, bis Albert Hackelsberger 1938 dort verhaftet wurde. Der Zentrumspolitiker, der sich im Reichskonkordat noch als ver- bindlicher Unterhändler für die katholische Seite präsentiert hatte, galt den Nationalsozialisten mittlerweile als unverbesserlicher welt- anschaulicher Gegner. Sie bereiteten einen Scheinprozess wegen Devisenvergehen gegen ihn vor, der aber nicht mehr eröffnet wurde.
Albert Hackelsberger starb 1940 in Freiburg an einer Krankheit, deren tödlicher Verlauf durch die Gestapo-Haft verursacht wurde.