Erste Erwähnung fand der Name Greifenstein im Jahr 1172. In den folgenden Jahrhunderten wechselte das Anwesen immer wieder den Besitzer und wurde während des Bauernkrieges im Jahr 1525 weitgehend zerstört. Dann kaufte Sebastian Schenk von Stauffenberg, der seinerzeit Fürstbischof von Bamberg war, die halbverfallene Burgruine und ließ sie zum Jagdschloss umbauen. Gegen Ende des 17. Jh. erfuhr das Schloss eine weitere Umbauphase. Noch heute befindet sich Schloss Greifenstein im Besitz der Grafen von Stauffenberg. Besonders schön ist der Zugang zum Schloss: Eine Allee mit über 300 Jahre alten Bäumen führt zu einer Steinbrücke, hinter der man durch einen 13 m tiefen, gewölbten Torbau in den Burghof gelangt.