Posta su un piccolo colle e ricca di architettura spontanea, Carovigno sorge sul luogo della messapica Karbina, distrutta nel 473 a.C, del quale rimangono una parte delle antiche mura che recintavano la città.
Notevole è il suo Castello a pianta triangolare del XV secolo, con torrione che forma uno sperone a mandorla rivolto a nord.
Fuori dall'abitato c'è il Santuario della Madonna del Belvedere, eretto nel XIX secolo su un pre-esistente edificio.