Fu fatto costruire come residenza gentilizia nel 1500 dalla famiglia dei Simonetta e successivamente continuamente rimaneggiato fino al XVII sec.; l’Arditi lo descrive come “decrepito e sformato” nel 1885, e i D’Ayala, nel 1894 danno inizio ad una serie di lavori di restauro, trasformando radicalmente la facciata, su cui vi appongono due lastre di marmo che spiegano i motivi della ristrutturazione e le origini della famiglia.
Nel 1985 il Castello è donato al Comune con la precisa clausola di adibirlo a scopi culturali e di pubblica utilità.
Nel 1984 il Ministero per i Beni culturali ed ambientali lo aveva dichiarato monumento nazionale, e vincolato.
Sono ancora in corso lavori di restauro avviati nello stesso anno.
L’edificio si articola intorno ad una corte quadrata da cui si dipartono due scale che portano ad un lungo corridoio del piano nobile sul quale si affacciano ampie stanze voltate a botte e a crociera.