La parte antica dell'abitato di Matera sorge sopra uno sperone che si affaccia su una gravina, ripido solco erosivo scavato nel tufo calcareo dall'azione di acque torrentizie.
Fu prima villaggio preistorico, poi insediamento greco e romano e in seguito dominio di Normanni e Svevi. Intorno al X secolo nelle due vallette che circondano lo sperone sorsero una serie di chiese e di abitazioni scavate nella roccia, che via via diventarono più numerose fino a creare un insieme urbano del tutto particolare, oggi noto con il toponimo "Sassi di Matera".

Le dimore sono grotte artificiali di forma regolare scavate nel friabile tufo calcareo, raggruppate in un labirinto caotico percorso da strette strade e gradinate, talvolta sostenute dalle case sottostanti.

E'ormai certo che il territorio di Matera fu abitato ininterrottamente fin dal paleolitico. In età ellenica la zona fu sotto l'influsso delle popolazioni della Magna Grecia, successivamente accolse fuggiaschi di Metaponto e di Eraclea (dai quali proviene probabilmente il nome Met+Era).

Le origini della città risalirebbero al consolato di Metello (III sec. a.C.), che la battezzò Metheola. Nel 664 d.C. Matera passò sotto il dominio longobardo e venne annessa la ducato di Benevento, ma in seguito all'invasione dei franchi subì gravi devastazioni. Le testimonianze più importanti risalgono alla prima fase medievale, ai secoli VII e VIII che videro lo stabilirsi nelle numerose grotte comunità monastiche benedettine e greco-ortodosse.

I secoli IX e X furono caratterizzati da aspre lotte fra saraceni e bizantini, che tentarono più volte di impadronirsi della regione, e gli imperatori tedeschi, in particolare Ludovico II, che tentarono di scacciarli distruggendo però la città. Dopo l'insediamento dei normanni in Sicilia, nel 1043 Matera fu retta dal conte Guglielmo Bracci di Ferro. Nei secoli seguenti, fra pestilenze e terremoti, Matera passò anche attraverso una breve fase comunale per approdare nel XV secolo ai d'Aragona e attraverso quest'ultimi, ai conti Tramontano. Nel 1514, però, la popolazione inferocita dalle ingiustizie e dalla violenze subite insorse e uccise il conte Giovanni Carlo Tramontano.

Nel secolo XVII Matera appartenne agli Orsini, poi entrò a far parte delle Terre d'Otranto di Puglia e infine divenne capoluogo della Basilicata, titolo che le rimase fino al 1806, quando Giuseppe Buonaparte trasferì le competenze a Potenza. Nel 1927 la città divenne capoluogo di provincia. Occorre ricordare che nel 1935 la provincia di Matera ospitò il confino dello scrittore, medico e pittore Carlo Levi, il quale, sulla scorta di quella che divenne un'esperienza umana profonda, nel 1945 pubblicò il romanzo Cristo si è fermato a Eboli. Nel 1975, alla sua morte, Levi venne seppellito per sua volontà ad Aliano. Il 21 settembre il popolo materano insorge contro l'oppressione esercitata dall'occupazione nazista, dopo che questi demolirono la milizia con all'interno 11 persone, tra cui Natale e Francesco Farina, rispettivamente figlio e padre, quest'ultimo recatosi alla milizia prima della demolizione pagando un riscatto tentando di far liberare il figlio. Altre dieci persone trovarono la morte a seguito dei mitragliamenti tedeschi in ritirata. Matera fu la prima città italiana a insorgere contro i nazisti.

Nel 1948 nacque la questione dei sassi di Matera, sollevata da Palmiro Togliatti prima, e da Alcide De Gasperi dopo. I Sassi divennero il simbolo nazionale dell'arretratezza e del sottosviluppo del meridione d'Italia. Nel 1952 si giunse allo stanziamento di fondi per la costruzione di nuovi quartieri residenziali che svilupparono la città nuova nella quale confluirono le 15.000 persone che abitavano le case-grotta.
Matera è famosa anche perchè è stata considerata per molti anni il "polo del salotto" mondiale. Con questa accezzione si intende una forte crescita industriale avvenuta durante gli anni '80 - '90 che ha permesso un forte sviluppo di aziende di produzione di arredi da soggiorno, prevalentemente divani. Tra le più famose aziende del settore spiccano i nomi di Natuzzi (Divani & Divani), Nicoletti e Calia. Il trend positivo della produzione degli utlimi anni '90, è rallantato considerevolmente con la crescita dei mercati asiatici, oggi principali concorrenti.