Già in epoca romana "Portus Veneris" era celebrata per la sua bellezza. Sull'attuale promontorio di San Pietro, attorno a cui si sviluppò il "castrum vetus", era stato eretto un tempio a Venere Ericina, da cui il borgo prese il nome.
Base bizantina nell'alto medioevo, fu distrutta da Rotari nel 643 ma rifiorì nei secoli successivi, grazie anche al movimento monastico che interessò le due isole della Palmaria e del Tino.
Nel 1113 i Da Vezzano la cedettero ai Genovesi, che svilupparono le potenzialità militari e marinaresche del borgo costruendo la caratteristica schiera di case fortezza davanti al mare, le mura, le tre torri, la porta di accesso al paese e, tra il 1118 e il 1130, la chiesa di San Lorenzo, opera dei maestri Antelami.
Portovenere fu baluardo inespugnabile della Superba durante la lunga guerra contro i pisani: la caratteristica chiesa di San Pietro sulla scogliera fu costruita dai genovesi nel 1256, per riconoscenza verso i portovenerini che diedero un contributo decisivo alla conquista di Lerici.
Il "castello superiore", costruito dai bizantini, resistette ai due assedi pisani del 1165 e del 1198; fu demolito nel XV secolo per fare posto alla fortezza, la cui costruzione proseguì a fasi alterne fino al 1751. Oggi è visitabile, e usata anche come spazio espositivo per mostre ed eventi culturali.
Da Portovenere parte un sentiero che si inerpica per il ripido pendio e si inoltra verso le cinque terre, in mezzo alla macchia mediterranea. Da qui si raggiunge anche la palestra di roccia del Muzzerone.
Un servizio di battelli porta all'isola Palmaria, parco regionale: preservata dalla speculazione edilizia, offre all'escursionista le spiagge e le scogliere, la vegetazione spontanea e le grotte accessibili soltanto dal mare. La grotta dei colombi era abitata in epoca preistorica.
L'isola del Tino, oltre la Palmaria, è zona militare e viene aperta al pubblico una volta all'anno in occasione della festa di San Venerio, l'eremita che visse sull'isola nel X secolo.
Le Grazie è un borgo marinaro in una incantevole insenatura nel golfo della Spezia, sorto nei pressi dell'antica villa romana del Varignano, di cui è possibile visitare i cospicui resti.
Il paesaggio unico, il porto turistico, gli stabilimenti balneari, le possibilità di immersione negli innumerevoli anfratti creati dal mare sulle scogliere davanti al borgo e sulle isole fanno di Portovenere una delle mete più famose del turismo internazionale.