Петит Палаис саграђена 1317.. Налази се у северном делу трга, испред резиденције папске државе, и тако је назван због своје скромне величине и вредности у односу на Палати папа.

Прича о свом изгледу нејасни: према једној верзији - да је изграђена за братанца папе Јована КСКСИИ, Арнауд де виа, с друге стране - то је саградио кардинал Беренгере Ф. Елдер. После његове смрти, палате и основ су купили кардинала Арнауд де виа. У 1335. Виа умро и палата припадала никоме до доласка папе Бенедикта КСИИ, који је купио опет и претворио у званичној резиденцији надбискупа Авигнон.

Зграда је тешко оштећена у периоду од 1396. до 1411. јер се сматрало упориште у Авињону папа утврђеним. По завршетку непријатељстава, палата постепено пао у запуштеност. У другој половини КСВ века, епископ Алаин де Котиви и његов наследник, Гиулиано делла Ровере (који ће касније постати папа Јулије ИИ) одлучио је да обнови зграду и 1503. дао му готово исконски облик. Делла Ровере стигао у Авињону 1474. године, док је именовао свог ујака, папе Сиктус ИВ, епископа Авигнон. Он је додао на јужним и западним фасада у италијанском ренесансном стилу, а у 1487. подигао кулу (касније, у 1767. је уништена).

Током Француске револуције, палата је постала власништво државе, у КСИКС веку је то био католик школа, а касније и Средња стручна школа. Тек на крају КСКС века на територији палате је био музеј.

Од 1958. године, је у њој Музеј у средњем веку. У 1976. дошло је отворио уметничку галерију радова мајстора ренесансе. У 19 соба у музеју, а посебно рад Сандро Боттицелли, Таддео Гадди, Таддео ди Бартоло, Лорензо Монацо, укључујући ту је чувени "Мадона" Ботичели.