до 1353

Несколько времени спустя после своего возведения в должность кардинала в 1342 году Этьен Обер приобретает поле, принадлежавшее аббатству Святого Андрея, для строительства своего дворца по примеру папы Климента VI и некоторых других кардиналов. Этот прямоугольный дворец стоял на месте нынешнего клуатра Сэн-Жан. Этьен Обер был коронован папой в 1352 году под именем Иннокентия VI. Вскоре он приобрёл прилегавшие участки земли с восточной стороны от дворца. На этом месте он выстроил часовню Святого Иоанна Предтечи и большой зал консисторий, переделанный позже в трапезную для монахов, а в наши дни - в зрительный зал. Между дворцом и часовней консистории располагались апартаменты папы. Часовня была расписана живописцем сиенской школы Маттео Джованетти, бывшим родом из Витербе. Им же были выполнены и фрески Папского дворца в Авиньоне. Одновременно со строительством часовни к северу от дворца начали вырывать папские погреба.  Вход во дворец и примыкающие строения находятся на южной стороне, в так называемом здании «прокурора», как он будет называться позже.