Das Herzogsschloss war die bayerische Residenz der Herzöge von Bayern-Straubing, die als Grafen von Holland, Zeeland und Hennegau auch in Den Haag residierten.

Der Baubeginn wird auf das Jahr 1356 datiert. Heute dient der Innenhof des Schlosses unter anderem als Kulisse für die Agnes-Bernauer-Festspiele.