Pierwszy murowany zamek wybudowano tutaj w 1624 roku na polecenie Zygmunta III Wazy, choć już wcześniej na terenie dawnej niewielkiej podwarszawskiej miejscowości zwanej Jazdowem istniały dwory Anny Radziwiłłówny, Bony Sforzy i Anny Jagiellonki. Pieczę nad budową zamku objął architekt Matteo Castelli. To on wzniósł budynek w stylu wczesnobarokowym. Potop szwedzki zniszczył zamek, ale po przejściu zawieruchy historycznej odbudowano go i przekształcono zgodnie z życzeniem Stanisława Herakliusza Lubomirskiego. W 1766 roku król Stanisław August Poniatowski odkupił posiadłość i przekształcił ją w koszary wojskowe. Zmienił się też styl architektoniczny. Dawną barokową konstrukcję zastąpiła nowa klasycystyczna.
Późniejsze liczne przebudowy sprawiły, że zamek już nigdy nie odzyskał dawnej świetności i okazałości cechującej posiadłość królewską. Szpecące modyfikacje uczyniły go monumentalną, pozbawioną uroku bryłą, w której nic nie przypominało o wyjątkowych latach
W czasach powstania warszawskiego mieścił się tutaj szpital. Działania wojenne sprawiły jednak, że wnętrza strawił pożar. Zachowała się tylko główna konstrukcja murów.
Niestety władze PRL w 1957 podjęły decyzję o wyburzeniu pozostałości zamku. Odbudowano go dopiero w latach 70.
Obecnie dawna rezydencja monarsza leżąca przy Trakcie Królewskim jest siedzibą Centrum Sztuki Współczesnej.
KaPy