Na mjestu današnje palače Fritzy u prvoj polovini 19. stoljeća sagrađena je zgrada prve gradske uprave – Municipio. Pred kraj 19. stoljeća zgrada je temeljito pregrađena i preuređena u historicističku palaču s prepoznatljivim nizom četverolisnih prozora na glavnom pročelju. Lošinjski obrtnici na prvom katu uređuju reprezentativnu Veliku dvoranu s galerijom, na čijoj su ogradi izrezbareni simboli pojedinih obrta. Početkom 20. stoljeća u palači posluje Pension Fritzy, po kojem dobiva ime. Nakon Drugog svjetskog rata u njoj djeluje Narodno sveučilište (kasnije nazvano Pučko otvoreno učilište Mali Lošinj), da bi 2007. godine postala sjedištem novoosnovanog Lošinjskog muzeja.