Das Schloss befindet sich in Privatbesitz und ist nur von außen zu besichtigen.
Die ehemalige Wasserburg, ursprünglich aus der Zeit um 1100, steht auf einem Basaltschlot am Stadtrand von Waldershof, direkt neben dem Rathaus. Der Turm wurde 1823 abgetragen und seit 1923 ist das Schloss im Privatzbesitz.