Hirschstetten war ein landesfürstliches Lehen, das zwischen 1220 und 1240 erstmals urkundlich erwähnt wird. Bereits im 14. Jahrhundert bestand hier ein Herrensitz. 1325 werden die Brüder Weichard, Heinrich und Gottfried von Hertstetten urkundlich genannt. Der kleine Wehrbau wurde spätestens bei der zweiten Türkenbelagerung Wiens im Jahr 1683 zerstört. Zehn Jahre später kaufte Otto Ferdinand Graf Hohenfeld die Herrschaft Hirschtötten und ließ sich hier ein adeliges Wohngebäude errichten. Adam Franz Fürst von Schwarzenberg, der 1713 das Gut erwarb, beauftragte den Ausbau zu einem barocken Jagdschloss. Als Obersthofmarschall Kaiser Karls VI hatte er die Jagdfreiheit in den Donauauen erhalten.

1728 kaufte Johann Wilhelm Graf Wurmbrand-Stuppach das Schloss.  1748 war Kaiserin Maria Theresia zu Gast. In späterer Zeit kam es immer wieder zu Um- und Ausbauten.

Zu den späteren Schlossherren zählte Franz Graf Erdödy (1799 – 1801) und Johann Ludwig Barth Graf Barthenheim (1811 – 1815). Erdödy veranlasste die Außenrestaurierung des Gebäudes, Barthenheim war für die Neumöblierung im Empirestil verantwortlich.  Die letzten privaten Besitzer waren Mitglieder der Familie Pirquet. Peter Zeno Freiherr von Pirquet kaufte 1868 das Schloss. Zu den bekanntesten Mitgliedern der Familie Pirquet zählen der Kinderarzt Prof. Clemens von Pirquet und sein Bruder, der Weltraumforscher Guido von Pirquet. Beide wurden im Schloss geboren. Im Ersten Weltkrieg wurden die Schlossgebäude vom Militär genutzt. Gegen Ende des Zweiten Weltkrieges vernichtete ein amerikanischer Bomberangriff nicht nur den Ort sondern auch den Großteil des Schlosses. Den Krieg überstanden hat die 1739 unter Johann Wilhelm Graf Wurmbrand erbaute Schlosskapelle. 1981/85 wurde sie restauriert und kann heute besichtigt werden.