Das erste Mal urkundlich erwähnt wurde Schrozberg 1249 und findet seinen Ursprung aus dem Ort Srotzperch. 1441 wurde das Wasserschloss erbaut. Zuvor hatte es eine Burg gegeben, deren Reste erst wieder Mitte der 70er Jahre entdeckt wurden.

Untypisch für die frühere Zeit Schrozbergs war die geteilte Herrschaft über Schrozberg. Die Herren zu Schrozberg, Seldeneck, Adelsheim, Rothenburg, Hohenlohe und Berlichingen hatten in Schrozberg wenigstens zweitweise das Sagen. Aus historischen Quellen geht hervor, dass sogar der berüchtigte Götz von Berlichingen einige Jahre seiner Jugendzeit im Schloss Schrozberg gelebt hat. Anfang des 20. Jahrhunderts stand das Schloss in Schrozberg einige Zeit lang leer, nachdem sich die Hohenloher im 18. Jahrhundert für Ingelfingen als Adelssitz enschieden hatten.