Auf den Resten des niedergebrannten "Haus Holte" aus dem 14. Jahrhundert baute das Rietberger Grafenehepaar Johann III. und Sabina Katharina zwischen 1608 und 1616 ein Jagdschloss im Stile der Renaissance.

Die Schlossanlage mit ihren 3 markanten Türmen und Wallgebäuden liegt am Ostrand des Holter Waldes.

1822 kaufte Friedrich Ludwig Tenge, Kaufmann und Gutsbesitzer aus Niederbarkhausen, die Rechte und Besitztümer des Fürsten von Kaunitz in der Grafschaft Rietberg. Tenge errichtete im damaligen Schlossgarten, gegenüber des Schlossgebäudes gelegen, die sog. Holter Hütte. In dieser Eisenhütte wurde ab 1842 Raseneisenerz verhüttet. Der Betrieb bestand bis 1966.

Das Schloss, 1982 letztmalig umfassend renoviert, ist noch heute im Privatbesitz. Die Räumlichkeiten sind in Wohnungen umgewandelt und vermietet worden.

Das Schloss ist der Öffentlichkeit nicht zugänglich und kann nur vom Schloßtor aus betrachtet werden. Im Rahmen einer Stadtführung besteht allerdings die Möglichkeit, den Schloßhof zu betreten und die Schloßkapelle zu besichtigen!