E' ritenuto una fortezza militare del periodi gotico.
Il castello avente principalmente scopo di difesa, fu costruito su di un promontorio roccioso a strapiombo sul torrente Evançon. Questa fortezza militare risale al 1287 e la indicano tra i posssedimenti dei Signori De Verretio.
Ma fu Ibleto di Challant, rappresentante di quella stirpe di ricchi feudatari che dominarono la valle fino al 1783, che fece ricostruire completamente il castello tra il 1360 ed il 1390.
Nella ricostruzione la fortezza venne adibita a dimora dello stesso Ibleto di Challant, le fortificazioni esterne, munite di artiglierie, furono invece aggiunte nel 1536 dal Conte Renato di Challant. Alla sua morte (1565) in assenza di figli maschi, Renato, contrariamente all'uso del ducato di lasciare l'eredità dei feudi ai soli maschi, redasse un testamento in favore delle figlie. Il castello venne quindi requisito dal Duca di Savoia e divenne sede di una guarnigione. Verso la fine del XVII° sec. venne abbandonato per circa 2 secoli e mezzo fino al 1894, anno in cui venne acquistato dallo Stato e dichiarato monumento nazionale. Ancora oggi il castello viene definito uno dei più possenti manieri che un vassallo abbia mai potuto permettersi di costruire in uno stato sovrano. Ha la forma di un enorme monoblocco di 30 m. di lato che domina il paese di Verrès all'inizio della Valle d'Ayas. La realizzazione è tutta in pietra, ha magnifiche finestre gotiche. Su tutti i lati del castello, si aprono delle grandi finestre bifore scolpite con svariati motivi decorativi. Il cortile ha al centro una cisterna atta a raccogliere le acque del tetto a compluvio.
L'interno, mostra la poderosa struttura delle volte, gli stemmi in pietra lavorata, i vasti camini, tra i più grandi che vi siano nei castelli e soprattutto per il magnifico scalone a archi rampanti che raggiunge i piani superiori. Davanti al muro di ponente si trova il fabbricato delle carceri unito al castello dai muri di cinta.
Il castello di Verrès ogni anno riapre i suoi battenti per ospitare il tradizionale Carnevale che rievoca i fasti della nobile Casata dei Challant.