St. Olavs gate 35 ble oppført i 1896 etter tegninger av arkitekt Ingvar Hjorth, som et av hans første store selvstendige arbeider. Prosjektet var en ombygging av et tidligere bolighus på tomta fra 1850-tallet.
Gården var i fransk-inspirert nyrenessanse-stil med innslag av nygotikk. Blant de tidlige beboerne i leiligheten var litteraturhistoriker Francis Bull, som vokste opp i en leilighet som ofte ble frekventert av landets mest kjente forfattere på den tiden.
I 1917 kjøpte staten eiendommen med tanke på at Utenriksdepartementet skulle flytte hit. I stedet fikk Rasjoneringsdirektoratet lokalene, og UD ble værende på Victoria terrasse. I 1936 ble bygningen ominnredet til statsministerbolig for Johan Nygaardsvold.
Også Einar Gerhardsen bodde her med sin familie etter han ble statsminister i juni 1945, før de i 1949 flyttet til egen leilighet i en nybygd blokk i Sofienberggata på Tøyen. Under andre verdenskrig ble bygningen brukt av Nasjonal Samling som forelesningsinstitusjon. Også NS generalsekretær Rolf Fuglesang hadde sin bolig her.
I tillegg holdt Vinterlandbruksskolen til i huset fra 1940 til utpå 1960-tallet. I 1954 ble Stortingsmennenes hybelhus, også med adresse St. Olavs gate 35, oppført ved siden av – mot Holbergs gate.
Høsten 1971 vedtok bystyret at det nye SAS-hotellet kunne oppføres på tomten. Den gamle statsministerboligen ble sammen med hybelhuset revet i august 1972, etter at staten hadde ervervet nye gårder i Parkveien 17 og Sigurd Syrs gate 1 til bruk som stortingshybler. I samme prosess ble Aars og Voss skole fra 1863 revet. Dette bygget er synlig til høyre på det gamle bildet.
SAS-hotellet – nå Radisson Blu Scandinavia Hotel – stod ferdig i 1975. Den 22 etasjer høye hotellbygningen ble tegnet av arkitekt Jan Lunding, etter inspirasjon fra Arne Jacobsens modernistiske gesamtkunstwerk – SAS Hotel Royal i København.