Il monastero, in stile romanico, sul Colle del Fico, fu fondato da papa Celestino V alla metà del XI secolo, e ne accolse le spoglie fino al 1327 divenendo così meta di pellegrinaggi.
La Chiesa, eretta attorno al 1260, si presenta sostanzialmente integra nella sua struttura duecentesca e fu edificata con materiale povero locale direttamente su banco tufaceo della collina.
La Parrocchia fu eretta il 30 giugno 1924.
La facciata a “capanna” è molto semplice e con un unico portale e un unico semplicissimo rosone. Molto grazioso è il cornicione, realizzato con mattoni laterizi, che dà un certo sobrio movimento alla struttura insieme all’attuale campanile impostato su uno degli spioventi. Il portale di ingresso si apre al centro della facciata su una piccola scalinata in pietra locale di 5 gradini ed è sormontato da una lunetta a tutto sesto. L’architrave è sorretto da due mensoline dall’elegante decorazione geometrica triangolare. Sul sagrato è possibile osservare le fondamenta dell’antico campanile, staccato dalla chiesa sullo stile del cattedrali di Anagni e di Ferentino.
Nella parete meridionale sono visibili i resti del primitivo insediamento romano, mentre nella parete settentrionale è evidente la cucitura muraria tra la costruzione celestiniana e la struttura precedente dei monaci Aniani.
Dopo i lavori di restauro, che hanno rimosso le pareti posticce e la brutta volta ottocentesca, l’interno della Chiesa si mostra oggi nella sua bellezza originaria.
Entrando in Chiesa, si osserva immediatamente il presbiterio settecentesco, decorato in stucco bianco raffinatamente scolpito con motivi classicheggianti.
Molto bella la pala dell’altare maggiore, (Giorgini 1829) raffigurante nella parte superiore una delicatissima Madonna con Bambino benedicente seduta su un trono di nuvole e attorniata simmetricamente ai lati da sei angioletti.
In basso sono raffigurati i Santi Celestino V, Giovanni Battista e Antonio Abate, su uno sfondo sereno e naturalistico. Interessantissima la figura del Battista, chiaramente ispirata alla figura raffaellesca di Platone nelle stanze vaticane. L’ancona dell’altare è in stile barocco, non privo di classica sobrietà adeguata al contesto rurale della Chiesa. Essa presenta due colonne corinzie che fiancheggiando la pala dell’altare, sorreggono la trabeazione di gusto baroccheggiante, con angeli seduti simmetricamente sulle cornici angolari di un timpano spezzato al cui centro vi è una tabula quadrata incorniciata in stucco da volute ed elementi floreali.
Tra i rilievi della cornice dell’ancona sono raffigurati, a sinistra della pala, S. Benedetto, patriarca del monachesimo occidentale, e a destra S. Caterina d’Alessandria, egiziana come S. Antonio Abate, venerata nelle zone rurali come protettrice delle ragazze da marito.
Al centro della navata vi è il sepolcro di S. Pietro Celestino, costituito da un sarcofago di pietra calato in un loculo scavato nella pietra viva. Una lapide di marmo decorata reca un’iscrizione latina: “Loculum in quo per plures annos corpus S. Pet. Celestini PP. V lacuit et temporis iniuria exesum remanebat D. Coelestinus Guicciardini abb perpet. S. Eusei ad posterorum devotionem excitandam refecit AD 1705” che attesta la presenza storica della tomba del Santo, da parte dell’abate Celestino Guicciardini.
Nella seconda cappella laterale sinistra è conservata la mensa dell’altare primitivo, quello su cui celebrò lo stesso Celestino V, e la statua lignea di S. Pietro Celestino.
Un discorso a parte meritano i preziosissimi affreschi. La demolizione della volta ottocentesca ha riportato alla luce pregevoli decorazioni pittoriche nella parte alta delle pareti e nel sottotetto.
Le immagini più antiche ed interessanti sono quelle decoranti la fascia alta d’angolo tra la controfacciata e la parete di sinistra della navata maggiore.
Si tratta di figure di Santi non facilmente identificabili. Sulla parete opposta si ha una serie di cinque immagini, tre delle quali riconoscibili: al centro un Cristo con l’aureola crociata e ai lati la Vergine e S. Giovanni Battista. Contemporanea alla prima serie di affreschi e non posteriore al XII secolo, è la bellissima raffigurazione di S. Antonio Abate posta sul secondo pilastro di destra. Mentre sul primo vi è l’affresco di S. Cristoforo, protettore dei viandanti, testimoniare il nostro, quale luogo di pellegrinaggi.
La cappella centrale della navata destra ospita l’affresco di S. Antonino (XV sec.), legato alla spiritualità celestiniana, cui era dedicato il cenobio omonimo, satellite di quello ferentinate, ai confini con Anagni, nell’attuale territorio denominato “Rocca S. Antonino”.
Il più celebre affresco è però custodito nella prima cappella di sinistra, raffigurante S. Pietro Celestino, in abito monastico, con la tiara in mano e il manto papale ripiegato sul braccio.
Un discorso a parte meritano i tre stemmi quattrocenteschi dipinti sull’arco trionfale: si tratta di tre scudi a bucranio raffiguranti: lo stemma celestiniana, con la S di Spirito Santo, al centro; quello di Ferentino, a sinistra e un Tau, degli Antoniani, a destra.
La parte destra della controfacciata presenta la lapide di Martino Filetico, ivi sepolto, sul finire del XV secolo.
Molto interessante è il complesso monasteriale che si addossa all’abside della chiesa sul lato nord-ovest mediante il chiostro. Il monastero del XI sec., rimaneggiato nel corso dei secoli, conserva tracce del periodo medioevale specialmente nel chiostro dotato di pozzo e cisterna per la conserva dell’acqua. Nella parte orientale del chiostro, quella addossata all’abside della chiesa, semplici pilastri conclusi da capitelli a trapezio rovesciato, attestati nell’area laziale ne XIII sec., sorreggono arcate a sesto ribassato e danno luce a un porticato, coperto da travature lignee. Nella muratura della parete sovrastante il porticato è ben visibile un secondo ordine di arcate del loggiato superiore, chiuso in antico per ricavare ulteriori ambienti interni al monastero. Nel lato ovest del chiostro si conserva un forno di età moderna, citato anche nell’inventario del notaio F. Angelini (30 maggio 1795) portante documento di autosufficienza del sistema di vita quotidiana del monastero.