Im Jahre 1665 verpfändete Kaiser Leopold I. Schloss, Dorf und Gut Bühl gegen ein Darlehen von 10.000 Gulden an das Rottenburger Jesuiten Colleg. Die Kreditsumme erhöhte sich in den folgenden Jahren ständig und 1744 wurde Bühl gegen eine weitere Zahlung von 8.000 Gulden den Jesuiten als Lehen übertragen.

Für die als gute Ökonomen bekannten Patres war das Gut Bühl nicht nur als landwirtschaftlicher Großbetrieb interessant: In einem Protokoll ist zu lesen, dass der hiesige Wein mehreren nicht gut getan habe. "Drei sehr geräumige Gewölbe im untersten Stockwerk fordern geradezu heraus, eine Brauerei einzurichten, damit die an den einheimischen Wein nicht gewöhnten Patres durch den Biergenuss Krankheiten abhalten können".

Das Verhältnis der Jesuiten zu ihren Untertanen war recht angespannt, da sie ihren Rechte wie Abgaben in Naturalien, das Fronen auf den zum Schloss gehörenden Feldern und Wälder, aber auch die aus der niederen Gerichtsbarkeit resultierenden Strafen unerbittlich einforderten. In einer der zahlreichen Klagen der Untertanen gegen die Herrschaft wird angeführt, dass die Jesuiten die Bühler Bürger wie Leibeigene behandelten.

Andererseits waren sie wirtschaftlich sehr erfolgreich. In der Jesuitenzeit hat sich die Bühler Bevölkerung verdoppelt und die Infrastruktur verbessert (Wegebau, Neckar-Korrektur). Als jedoch 1773 der Jesuitenorden aufgelöst wurde, ging der gesamte Bühler Besitz zurück an das Haus Österreich.