Црква Целестинес у облику у којем се и данас може видети, саграђена у КСВ веку. Њена изградња је почела 1396. и био је спроведен скоро стотину година. У почетку, било је скромна дрвена капела подигнута изнад сахрањени Светог Петра Луксембурга. У част овог сахране звала и област око капеле - Плаце де Сент Цорп. (на подручју светиња).

Петар Луксембург је познато да је постао високи свештеник у својој младости - са 15 година био је епископ у Мецу, а затим убрзо добио титулу кардинала, а за 18 година (1387) умрла од туберкулозе. После његове сахране у Авињону гласина о остацима чудесном кардинал, а монаси из реда Целестинес одлучио да изгради над гробом манастира. До светаца Петар Луксембург је додат само у 1527, а пре тога су његове мошти част без званичног признавања светости Цркве.

Касније, поред цркве Целестинес капела је саграђена у част свеца другог - Бенезета, један од најцењенијих у Авињону. Према локалној легенди, у земаљском животу била је једноставна пастир БЕНЕЗЕТ, који је Христос појавио и рекао му да се изгради Авигнон мост преко Рона. Када су становници града тражили Бенезета им покажу своју ексклузивност и да никакав чудо, носио кроз град до реке, а велики камен им је одредио место за изградњу. Бенезет живео у КСИИ веку и био је канонизовала у КСИВ веку.

Црква Целестинес је имао много вредности - Религиоус уметничка дела и прибор, који је у време Француске револуције су спаљене, а сама црква је претворена у касарну. Преживели мошти Целестинес нашли уточиште у другим црквама Авигнон - на пример, мошти Св Бенезета сахрањен у цркви Светог Адеодата.

Тренутно, црква двориште постаје позорница у време годишњег фестивала јула.