Opprinnelig var huset en hovedbygning på en løkkeeiendom som lå inntil den større løkken Munkengen. På 1860-tallet ble huset overtatt av Meltzerfamilien som bodde her til rundt århundreskiftet 1900. I denne perioden gikk huset under navnet Meltzers hus.
Etter Meltzer-familien flyttet ut hadde huset skiftende eiere. Ca 1913 ble andre etasje med den karakteristiske rokokko-gavlen påbygd av Brødrene Bye, som var de daværende eierne. Etasjen ble brukt som kontorarealer.
I 1925 flyttet familien Burmester inn i huset. Helena Burmester åpnet kort tid etterpå den eksklusive antikvitetsbutikken AS Rococco i huset. I førkrigstiden hadde butikken flere celebre kunder, blant andre Kronprins Olav og Kronprinsesse Märtha.
St. Halvards gate 31 er oppført på Byantikvarens gule liste over bevaringsverdige bygninger.