Der mit der Abwicklung des Bühler Besitzes beauftragte Ex-Jesuiten-Fonds verpachtete ab 1776 Schloss, Nebengebäude und Güter in rascher Folge an verschiedene Interessenten. Wirtschaftlichen Erfolg hatte keiner dieser Pächter. 1791 wurde das Schloss bei einer Begehung als "ausgeleert, geplündert und unbewohnbar" beschrieben.

1792 kaufte der Baumwirt und Bierbrauer Friedrich Lämmle aus Weil der Stadt das Schloss samt der inzwischen eingerichteten Wirtschaft und der Brauerei, die Nebengebäude gehen an Bühler Bürger. Vor allem durch die allsonntäglichen Tanzvergnügen wurde die "Schlosswirtschaft" ein Erfolg. Sie wurde zu einem Ausflugsziel der Tübinger Bürger und Studenten. Für schlagende Verbindungen gab es sogar einen Fechtboden. Ludwig Uhland notierte in seinem Tagebuch verschiedene Anekdoten, die er bei seinem Besuch am 26. September 1812 in der Bühler Schlosswirtschaft gehört hat.

In der Folgezeit gab es zahlreiche Erweiterungen und Einbauten: Im Garten wurde eine Kegelbahn gebaut und unter dem Schlossgarten entstanden tiefe Bier- und Eiskeller. Nachdem um 1900 weitere Wirtschaften eröffnet hatten, ließ der wirtschaftliche Erfolg der Schlosswirtschaft nach. 1924 wurde im Garten ein Sägewerk mit einem 30 m hohen Kamin errichtet. Nach dessen Abbruch entstand dort 1949 der berühmte Bühler Schlosssaal, der sich bald zu einer Location für Feste aller Art und vor allem zu einer Fasnet-Hochburg entwickelte.