Slottet ble oppført mellom 1825 og 1848 av arkitekt Hans Ditlev Linstow . Som alltid ved reising av store bygg i Norge raste voldsommme diskusjoner om beliggenheten. Men kong Karl Johan skar igjennom og planene ble lagt for oppførelse på Bellevuehøyden. Opprinnelig var Slottet tenkt som en mye større H-formet bygning beliggende i en park som gikk helt ned til sjøen, men kostnadene ble for store til at de ambisiøse planene kunne realiseres.

I 1836 fikk bygningen tak, og innredningen begynte. Linstow utformet deler av interiøret sammen med arkitekene Schirmer og Nebelong. Oscar I var den første kongen som tok bygningen i bruk. Vedlikeholdet av Slottet var i mange tiår dårlig, noe som har ført til store ekstrautgifter i forbindelse med de senere årenes rehabilitering.

Slottet ligger i den ene enden av Karl Johans gate, midt i Slottsparken.