I 1863 gik en kreds af borgere i Aalborg sammen for at oprette et historisk museum. Sigtet med museumsforeningen var folkeoplysning – her med vægt på formidling af oldtid, kunst og naturhistorie.
Før man kunne skaffe midler til en egentlig museumsbygning, holdt museet til i lejede lokaler i bl.a. Nørregade, hvor man fra 9. juni 1863 åbnede dørene for den første fremvisning af samlingerne. Kun medlemmer havde adgang til herlighederne og kun et par timer om ugen.
I 1874 gik den historiske forening sammen med Aalborg Kunstforening, der havde brændevinsbrænder Harald Jensen som formand, for at få opført en fælles museumsbygning. Pengene strømmede ikke ligefrem ind, men Aalborg Kommune viste velvilje over for projektet og donerede grunden Algade 46-48 til formålet. I juli 1879 slog man dørene op for en udstilling i den nye museumsbygning. Kun få af kunstsamlingens malerier og skulpturer var udstillede, og til den historiske del af samlingen havde man endnu ikke fået skaffet udstillingsskabe og montrer. Alle midlerne var blevet brugt til bygningen, som i 1893 udvidedes til at fylde hele grunden.
Det havde taget omtrent en generation at få en bygning af passende størrelse, men nu begyndte den ene udstilling at afløse den næste. I 1972 flyttede kunstsamlingen til det nyopførte Nordjyllands Kunstmuseum, KUNSTEN.
Fortællingen om byens historie forblev i Algade i det, der i dag er et af landets ældste bygning opført til museumsformål, som stadig anvendes som sådan.