Nel secolo scorso, in contrada San Patrizio, vennero trovati sepolcreti piceni (secoli VII-VI a.C.).
Fino alla prima metà del XIII secolo non è attestato nessun castello. Tuttavia, quello di Turris Sancti Patritii dovette essere organizzato ben presto, dal momento che nel 1258 re Manfredi lo cedette a Fermo, città che lo controllava tramite un vicario del suo podestà. Il funzionario, che peraltro poteva eleggere un proprio sostituto, restava in carica un anno.
Nel 1414, i Malatesta, allora in guerra con il signore di Fermo Ludovico Migliorati, prendevano il castello, ripreso dai Fermani due anni dopo.
Nel 1443 Torre San Patrizio venne espugnata dalle truppe di Paolo di Sangro, capitano allora al servizio della Chiesa, in guerra con il signore di Fermo Francesco Sforza. Dopo essere stato saccheggiato, il castello venne dato alle fiamme. Nel 1445, i Fermani imposero una tassa per ripararne la struttura muraria il più presto possibile.
Nel 1497 le truppe di Monte San Pietrangeli, cittadina allora ribelle a Fermo, depredavano il territorio di Torre San Patrizio. Lo stesso succedeva l'anno dopo, quando, però, vennero mandate a dar man forte le milizie di Andrea Doria, allora stipendiato dai Fermani. Sempre nel 1498 il capitano di ventura Ercole Bentivoglio, allora al soldo degli ascolani, attaccava il castello che, però, riusciva a resistere all'assedio.
Nel 1515 sappiamo che le truppe del regno di Napoli, procurando gran danni, alloggiavano a Torre San Patrizio.
