La località ha probabilmente origini romane, come dimostrano i reperti di materiale edilizio rinvenuti in varie parti del paese.
Il castello, probabilmente di origini longobarde, fu riedificato nel medio evo, sotto il dominio di Federico da Montefeltro, che ne affidò la progettazione a Francesco di Giorgio Martini.
Durante la lunga guerra con i Malatesta Federico si servì di questo avamposto come luogo di concentramento delle truppe.

Il Castello, come la maggior parte di questi territori, fu lungamente conteso nella lotta fra i Montefeltro ed i Malatesta.

Acquistato nel 1874 da un nobile prussiano, Hermann de Tenneret, Barone di Beaufort, ed in seguito donato al Comune a condizione che fosse utilizzato per scopi didattici.
Dal 1996 il Castello è sede della Scuola di lingua e cultura italiana per stranieri "Giacomo Leopardi".