Kurz nach seiner Ernennung zum Kardinal erwarb Etienne Aubert 1342 durch Tausch einen Dreschplatz, der zur Abtei Saint-André gehörte, und erbaute dort, wie Papst Klemens VI. und weitere Kardinäle, sein Palais. Die rechteckige Residenz stand an der Stelle des heutigen Johannes-Kreuzgangs. 1352 wurde Etienne Aubert zum Papst gewählt, nannte sich Innozenz VI. und kaufte östlich des Palais mehrere Nachbargrundstücke. Dort baute er die Kapelle Saint Jean Baptiste (Johannes der Täufer) und ein Konsistorium (Versammlungssaal), das später Refektorium wurde (Tinel) und heute Theatersaal ist. Zwischen dem Palais und der Kapelle des Konsistoriums wurden Gemächer für den Papst angelegt. Die Bilder in der Kapelle schuf der aus Viterbo stammende Maler Matteo Giovannetti (Schule von Siena), der auch im Papstpalast in Avignon tätig war. Damals wurden an der Nordseite des Palasts auch die sogenannten päpstlichen Keller ausgehoben. Der Eingang zum Palast und die Nebengebäude befanden sich im Süden in dem Gebäudeteil, der später „Haus des Prokurators“ genannt wurde.