Le jardin lapidaire est situé dans le prolongement du jardin du procureur, par un espace étroit et assez ensoleillé où subsistent encore des murets et petites plantations de terrains secs. Des vestiges entremêlés d’appareils de pierre issus de la destruction de la chapelle et de l’éventrement de la voûte du chœur lui donnent l’aspect d’un dépôt lapidaire.
L’aménagement d’un jardin à l’extrémité de la nef ruinée et à proximité du tombeau d’Innocent VI justifiait le choix de végétaux emblématiques (oliviers, coronilles et plantes à fleurissement jaune et blanc, symboles des couleurs de la papauté. La lumière crue et le soleil au midi renforce une impression de « mont des Oliviers ». On peut aussi y admirer une magnifique perspective sur les remparts du fort Saint-André.
