Peu après sa nomination comme cardinal en 1342, Étienne Aubert acquiert par échange une aire à battre appartenant à l’abbaye de Saint-André, pour y construire son palais, à l’instar du pape Clément VI et de plusieurs autres cardinaux. Ce palais, de forme rectangulaire, occupait l’emplacement actuel du cloître Saint-Jean.
Élu pape en 1352, Étienne Aubert, devenu Innocent VI, acquiert plusieurs terres adjacentes, à l’est de son palais. Il y construit la chapelle Saint-Jean-Baptiste et une grande salle de consistoire et de réception (tinel), plus tard reconvertie en réfectoire des moines, puis aujourd’hui en salle de spectacle. Entre le palais et la chapelle du consistoire sont construits les appartements du pape. La chapelle est décorée par l’artiste Matteo Giovannetti (de l'école de Sienne) né à Viterbe, qui réalise également les fresques au palais d’Avignon. C’est dans la même période que sont creusés, au nord du palais, les caves dites du pape, tandis que l’entrée du palais et de ses dépendances s’installent au sud, dans le bâtiment dit plus tard « du procureur ».
C'est un lieu habité par la foi mais pas encore un monastère. Ce n'est qu'en 1353 que le souverain pontife fait don des terres autour de son palais et de sa demeure à l'Ordre des chartreux.
