Seitdem hat das Schloss ein wechselhaftes Schicksal erfahren. Bereits 1652 übernahm Herzog August d.J. zu Braunschweig und Lüneburg den adeligen Besitz Bevern, der ihn zum herzoglichen Jagdschloss umbaute.

Eine Blütezeit erlebte das Schloss 1667 bis 1687 unter dem jüngsten Sohn des Herzogs, Ferdinand Albrecht I, dem es als Abfindung zugewiesen wurde. Die hierdurch entstandene herzogliche Nebenlinie Braunschweig- Bevern regierte ab 1734 das Herzogtum Braunschweig.

Im weiteren Verlauf der Schlossgeschichte wird die Nutzung immer profaner. Ende des 18.Jh. diente das Schloss zunächst als Pensionärssitz. Später wurde eine Knopffabrik installiert. Im Jahre 1834 richtete man eine „Correctionsanstalt“ ein, die 1870 in eine Erziehungsanstalt für elternlose Kinder umgewandelt wurde. 1933 befand sich sogar eine SA-Sportschule und eine Pionierkaserne in den historischen Mauern. In der Zeit von 1945-1949 wurde das Baudenkmal zur Flüchtlingsunterkunft und anschließend zum Möbellager.