Prvi pokušaji osnivanja muzeja sežu u 1955. godinu, kada se pod vodstvom nastavnika povijesti Tomislava Morovića osniva Općinski muzej u Malom Lošinju koji će zbog problema s prostorom djelovati do 1960. godine. Nakon višegodišnje stanke, aktivnije bavljenje muzejskom djelatnošću nastavlja se izlaganjem Zbirke starih majstora Piperata 1967. povodom Međunarodne godine turizma, te njenim otkupljivanjem 1972. godine. Nekoliko godina kasnije, 1978., u sklopu Narodnog sveučilišta (današnjeg Pučkog otvorenog učilišta) dolazi do aktivnijeg bavljenja muzejskom djelatnošću. Osim Zbirke starih majstora Piperata tada je Narodnom sveučilištu pripojena i Arheološka zbirka Osor te Creski muzej. Sljedeći bitni događaj za muzej dogodit će se 1988. godine donacijom Andra Vida i Katarine Mihičić. Upravo ova donacija će pokrenuti razvoj događaja koji će dovesti do postavljanja prvog stalnog postava koji će se u nešto izmijenjenoj varijanti zadržati do danas. Dio Zbirke Andre Vida Mihičića prvi je put izložen 1993. godine, a potom se postavlja i Zbirka starih majstora Piperata 1998. u palači Fritzi. Nakon restauracije kule u Velom Lošinju iz razdoblja Mletačke uprave, 2000., odnosno 2001. godine otvara se i Muzejsko-galerijski prostor Kula u Velom Lošinju koji danas također pripada Lošinjskom muzeju. Godine 2007., odvajanjem od Pučkog otvorenog učilišta, Grad Mali Lošinj osniva današnji Lošinjski muzej.