L’edificio in cui è collocato il Museo si trova nel cuore del centro storico di Cantù. Di valore storico ed architettonico, apparteneva in origine ad una delle famiglie nobili che si contesero la supremazia del borgo; una tradizione non confermata parla della famiglia Oldrati o Oldradi, che possedevano un altro palazzo nell’attuale via Manzoni e una villa di campagna al Crotto, odierna via Vergani. L’aspetto attuale dell’edificio, che è stato più volte rimaneggiato nei corsi dei secoli, è di un palazzo urbano di fine Settecento-inizio Ottocento.