antes del 1353

Poco después de haber sido nombrado cardenal, en 1342, Etienne Aubert adquirió por cambio de propiedades, una zona de batir cereales perteneciente a la abadía Saint André, para construir en ella su palacio, al igual que lo hiciera el papa Clemente VI y varios otros cardenales. Este palacio, de forma rectangular, ocupaba el espacio actual del claustro Saint Jean. Etienne Aubert, llamado Inocente VI luego de ser elegido Papa en 1352, adquirió varias tierras adyacentes al este de su palacio. En ellas construyó la capilla San Juan Bautista y una gran sala de consistorio, más tarde transformada en Tinel (refectorio de los monjes), y actualmente en sala de espectáculos. Entre el palacio y la capilla del consistorio se construyeron los apartamentos del Papa. La capilla será decorada por el artista Matteo Giovannetti (de la escuela de Sienne), nacido en Viterbe y que también interviene en el palacio de Aviñón. En este período se cavan en el norte del palacio las bodegas del Papa, mientras que la entrada del palacio y sus dependencias se construyen en el sur, en el edificio que será conocido más tarde como "du Procureur".