Im Jahre 1507 starb mit Balthasar von Bühl der alte Bühler Ortsadel im Mannesstamm aus. Nach langwierigen Erbauseinandersetzungen wurde das Dorf 1537 zwischen entfernten Verwandten aufgeteilt. Der Teil östlich des Bühler Baches ging an das Haus Ehingen zu Kilchberg, die westliche Hälfte an das Haus von Stein. Die Erbin Anna von Stein ließ das alte Meierhaus abreißen und an seiner Stelle ein kleines Fachwerk-Schloß erbauen.

Ihr Sohn David von Stein erbte 1550 den Besitz und erweiterte die Anlage ganz beträchtlich: Nach Westen entstand der große Schlossgarten mit einer wehrhaften Mauer und Ecktürmen, nach Osten ein rechteckiges Areal mit zahlreichen Neben- und Ökonomiegebäuden.

Seine Nachfahren erweiterten das Hauptgebäude und "modernisierten" es im Renaissance-Stil. Das Fachwerk wurde verputzt und große lichtdurchlässige Fenster ersetzten die kleinen, die noch mit in Blei gefassten Butzenscheiben verglast waren. Nach Norden wurde das Hauptgebäude erweitert und erhielt zwei mächtige Rundtürme.

In den Wirren des Dreißigjährigen Kriegs verschlechterte sich die finanzielle Lage der protestantischen Familie von Stein, die in Bühl auch die Reformation eingeführt hatte. Die Ausbauarbeiten (darunter ein bereits vorbereiteter dritter Rundturm im Südwesten) wurden abrupt eingestellt und der gesamte Besitz ging letztendlich an den Kriegsgegner, das Haus Österreich.