Paleet var en stor enetasjers murgård som ble bygd i to etapper fra 1744-45 og 1755-58. På denne tiden grenset denne tomta mot sjøen, men eier Christian Ancher fikk fylt ut foran huset slik at man kunne anlegge Paléhaven som hadde et stort lysthus ved fjordkanten. Deler av denne parken finnes det fortsatt rester av i dag ved siden av Østbanehallen.
Paleet var et naturlig samlingssted for byens elite og selskapsliv. Bak den relativt enkle barokkfasaden fant man et påkostet interiør med elegante møbler og dyre malerier. Sønnen Bernt Anker testamenterte bygget til offentlig bruk. Etter hans død i 1805 ble det overtatt av unionskongen som brukte det som residens ved besøk i Christiania. Hagen gikk til Oslo katedralskole som botanisk hage.
Flere forberedelser til hendelsene i 1814 fant sted i Paleet og eidsvollsmann Jacob Aall omtalte huset som “konstitusjonens vugge”. Paleet ble kongebolig for Karl Johan og sønnen Oscar I inntil Slottet stod ferdig i 1848.
Fra midten av 1800-tallet var bygningen bolig for høyere embetsmenn og fra 1893 til 1903 var bygningen midlertidig sete for Høyesterett i påvente av Høyesteretts hus. Senere på 1900-tallet huset det ulike statskontorer før det under andre verdenskrig ble tatt i bruk av Hirden, som var Nasjonal Samlings politiske, paramilitære tropper.
Den 14. mai 1942 brant Paleet ned. Skadene var så store at bygningen ble revet. På 1950-tallet var det forslag om å bygge et hotell her, men tomta stod tom i flere tiår før Paleet parkeringshus ble oppført i 1986.
Paléet hadde adresse Store Strandgate 2. I dag er denne adressen en del av Strandgata 19 og Fred Olsens gate 6.