La costruzione del Castello di Jerago risale ai primi anni del XIII secolo e le vicende che si consumarono fra le sue mura sono per lo più legate alla famiglia dei Visconti di Jerago. Come la maggior parte dei manieri medioevali fu costruito per ragioni di difesa, faceva parte della linea difensiva nord del ducato di Milano.
Il feudo fu assegnato nel 1248 da Ottone Visconti, arcivescovo di Milano al fratello Gaspare e al nipote Pietro.
Nel 1402 il Castello fu attaccato dai nemici dei Visconti.
Diversi componenti della famiglia dei Visconti di Jerago ricoprirono cariche di una certa importanza nell'amministrazione civile del ducato. Antonia sposò il Carmagnola, capitano di ventura, la cui vicenda ispirò la tragedia del Manzoni. Elisabetta sposò Cicco Simonetta, famoso segretario ducale del tempo degli Sforza.
Il Castello fu teatro di scontri anche al tempo delle lotte nel territorio di Gallarate fra Spagnoli e Francesi.
La famiglia dei Visconti di Jerago si estinse con la morte di Antonio nel 1751. Alla fine del diciottesimo secolo la fortezza fu trasformata in residenza. Vennero aperte le finestre sul lato sud e vennero costruite le due terrazze giardino come le potete ammirare al giorno d'oggi.
Prima di arrivere al Castello sulla sinistra avete modo di vedere una chiesetta romanica. L'interno contiene tracce di affreschi risalenti ad epoche diverse. Sotto due nicchie ricavate nello spessore del muro si ammira un dipinto a fresco secco risalente probabilmente al nono secolo.
La chiesetta è dedicata a San Giacomo perché faceva parte delle tappe dei pellegrini che si recavano a Santiago di Compostella. Le pareti erano decorate con affreschi della vita di San Giacomo.