L'histoire du jardin du palais épiscopal est peu connue. Sur La Cosmographie de Belleforest, représentation de la ville de Valence en 1575, on peut voir plusieurs arbres au sud du palais, contre le tracé du rempart, témoins de la présence d'un espace dévolu à la verdure.
La première présence assurée de ce jardin privé date du 18e siècle. Le plan de Valence, dressé le 20 août 1727 par Nègre, ingénieur militaire du roi, atteste de sa création au sud du palais épiscopal. Ce premier plan montre un jardin de style français, avec des massifs géométriques et symétriques. Il était situé à son emplacement actuel, au bord du rempart, à l'extrémité sud de ce qui était alors le bâtiment principal de l'évêché. Il comportait également, à l’est, une partie verger et sans doute aussi maraîchère.
Cette période correspond à l’épiscopat de Mgr Milon de Mesme, évêque de Valence entre 1726 et 1771. C’est à lui que l’on doit la belle ordonnance classique du palais, avec sa cour d’honneur et ses salons d’apparat. A-t-il créé le jardin ou l’a-t-il seulement réaménagé ? Les sources manquent pour répondre avec certitude à cette question. Il semblerait cependant que ce soit lui qui lui ait ajouté une orangerie et peut-être une première serre.
Les évêques du 18e siècle semblaient apprécier le calme et la fraîcheur des jardins. C’est en effet le successeur de Mgr Milon de Mesme, Mgr Fiacre François de Graves, qui donna naissance à la promenade arborée au sud du jardin du palais épiscopal, de l’autre côté du rempart. Cette promenade, dite « de Beauregard », est connue aujourd’hui sous le nom de Champ de Mars.
C’est au cours du 19e siècle que le jardin change d’aspect, passant de son style français à un style plus pittoresque, inspiré des jardins anglais, qu’il conservera jusqu’à aujourd’hui.
Le jardin est classé au titre des sites depuis le 26 novembre 1941, de la même façon que la terrasse ouest. S’y trouvent notamment plusieurs espèces d’arbres dont un cryptomeria (conifère utilisé pour l’ornementation des jardins).
Le jardin accueille également plusieurs œuvres d’art : Banc-tombeau de Lorraine Fontaine, Chloris de Henry Pierre Varnier, Arcadie de Pat Bruder, Stèle à Hubert Robert de Jacques Clerc.