Der reiselustige Hofgärtner Caspar Pich erstand für seinen Auftraggeber Graf Carl Ludwig von Hohenlohe-Weikersheim laufend exotische Gewächse. Denn das Sammeln von Zitronenbäumchen, Oleander, Lorbeer, Granatapfel, Kaffeebaum und Agave war im 18. Jahrhundert groß in Mode. Es erforderte nicht nur das Können erfahrener Gärtner, sondern auch geeignete Bauten zur Präsentation und zum Überwintern.
Daher durfte auch bei der Gestaltung des barocken Lustgarten, die ab 1708 unter Graf Carl Ludwig erfolgte, eine Orangerie nicht fehlen. Unter Orangerie verstand man sowohl die Zucht der Citrusgewächse als auch den entsprechenden Bereich im Garten. Das Gebäude der Orangerie war in dieser Epoche mehr als nur ein Gewächshaus, es war vor allem auch ein repräsentatives Statussymbol.
Der Architekt Johann Christoph Lüttich entwarf 1719-23 ein zweiflügliges arkadenförmiges Bauwerk. Es schließt den Schlossgarten zur freien Natur hin transparent ab und schlägt eine Brücke zu den Obstwiesen und Weingärten des Taubertals.
Die beiden spiegelbildlich angeordneten Flügelbauten von etwa 100 m Gesamtlänge werden durch je einen überdachten, anspruchsvoll gestalteten Pavillon begrenzt und öffnen sich in der Mitte zu einem Halbkreis. Die Pavillons konnten als Festsäle benutzt werden, die Dächer als Belvedere, als Aussichtspunkt.
Das elegante Bauwerk hatte hohe Glasfenster und eine auf der Balustrade aufliegende Glasbedachung. Diese wurde bis 1751 in den Sommermonaten abgenommen, um den Gewächsen Luft, Feuchtigkeit und direkte Sonnenbestrahlung zukommen zu lassen. Im Winter dagegen war der Bau beheizbar: Zwei Öfen, die mit grünen Kacheln verkleidet waren, standen in kleinen Vorräumen der Pavillons.
Ein Inventar von 1745 nennt für die Orangerie allein an Orangenbäumen den stattlichen Bestand von „14 Stück große, 6 Mittlere, 22 etwas Kleinere, 16 Kleine“. Weiterhin ist von rund 400 Zitruspflanzen in Kübeln und Töpfen die Rede. Dazu kam eine große Zahl anderer Orangeriepflanzen wie Lorbeer, Granatapfel, Feige, Zypresse, Aloe, Dattelpalme. Nicht alle diese Pflanzen fanden in den beiden Orangerieflügeln Platz. Fünf weitere Gewächshäuser standen für die Überwinterung zur Verfügung.
Nach dem Tode Graf Carl Ludwigs wurde die Residenz nur noch zeitweilig genutzt. Garten und Orangerie verfielen zunehmend, bis ins frühe 20. Jahrhundert wirkte die Anlage fast waldartig zugewuchert. Seit Beginn der 1990er-Jahre wurde die großzügige Gartenanlage und ihre Bauten in liebevoller Kleinarbeit rekonstruiert. Mit der neuen Überdachung der Orangerie 1997 fanden die Arbeiten ihren vorläufigen Abschluss. So präsentiert sich der Schlossgarten samt Orangerie in alter Pracht und zeigt sich wieder als das Juwel der Gartenbaukunst, das die Zeitgenossen im 18. Jahrhundert bewunderten.