Colle di Val d'Elsa è  arroccata nella  sua parte più antica su di un alto poggio. Anticamente il tessuto  urbano era diviso in tre parti: il 
Borgo di Santa Caterina, il 
Castello di Piticciano] e il 
Piano  oggi semplificati in "Colle alta" e "Colle bassa". Piazzaforte a lungo  contesa tra fiorentini e senesi cadde sotto il dominio dei primi a metà  del 
Trecento quando la sua potenza economica era al culmine. La città è inoltre famosa per aver dato i natali, nel 
1240, ad 
Arnolfo di Cambio, al quale è stata in seguito dedicata la piazza principale.
A partire da numerosi e importanti ritrovamenti archeologici risalenti anche al IV millennio a.C., i primi documenti che testimoniano di Colle di Val d'Elsa, risalgono al X secolo,  ma solo successivamente, tra l'XI ed il XII secolo, la città acquista  la propria identità. Numerose sono comunque le testimonianze della zona  risalenti all'epoca etrusca, come le necropoli di Dometaia e de Le Ville.La storia e l'identità di Colle di Val d'Elsa, nascono e si  sviluppano, unitamente a quella delle altre località dell'Alta Valdelsa (San Gimignano, Poggibonsi e Casole d'Elsa), all'ombra di signorie sia ecclesiastiche che civili. Non va dimenticato che nell'Alta Valdelsa passavano la Via Francigena e le sue varianti apportando una notevole mole di traffici di merci e uomini e, quindi, garantendo un reddito sicuro.
Si può pertanto capire facilmente come il possesso di certe zone  potesse essere strategico per lo sviluppo ed il potere non solo delle  famiglie nobili ma anche dei potentati ecclesiastici come la diocesi di Volterra che su queste zone vantava diritti. In più la Valdelsa era terra di confine tra le potenze nemiche di Firenze e Siena. Nel 1155/1156, fu iniziata l'edificazione di Poggio Bonizzo (o Bonizio, l'attuale Poggibonsi) con la benedizione di papa Adriano IV che lo mise sotto la giurisdizione della diocesi di Siena attirandosi le ire di Firenze. Nacque in tal modo il percorso di fondovalle della Via Francigena, a scapito di quello più a monte.
 Nel 1176 fu stipulata la pace tra Firenze e Siena,  ma già forse nello stesso anno si ha la trasformazione di Colle in  funzione antipoggibonsese per volere di Firenze, attraverso  l'inurbazione massiccia del suo territorio (venivano infatti concesse  facilitazioni a chi vi si stabiliva).
 Era allora papa il senese Alessandro III (morirà nel 1181) che affidò l'incarico di arciprete della Pieve a Elsa, ad “Aelsae” (vicino dell'odierna Gracciano di Colle Val d'Elsa), a Alberto.  La pieve era posta lungo il tracciato della francigena e, nonostante  fosse nel territorio posto sotto la giurisdizione del vescovo di Volterra, era immediatamente soggetta alla Santa Sede  in quanto nominata “nullius Dioecesis”. Era evidente come la scelta  operata dal Papa senese avesse il fine di controllare direttamente i  territori intorno a Colle. Non infrequenti erano le guerre tra i comuni  vicini, come nel caso della Guerra di Casaglia del 1199  che vide opposti Colle di Val d'Elsa e San Gimignano contro Poggibonsi,  con conseguenti razzie e distruzioni. All'alleanza tra Colle e San  Gimignano contro Poggibonsi si aggiunse Semifonte, decisa a non rimanere isolata; l'intesa prevedeva anche la guerra contro Firenze e Siena, in caso di un loro intervento contro Semifonte. Colle, nel 1201, sigla la pace con Volterra e con Casole d'Elsa; dopo l'accordo di Fonterutoli tra Firenze e Siena, quest'ultima dichiara guerra a Colle con il fine ultimo di lasciare da sola Semifonte. L'anno successivo, Colle, in seguito ad un nuovo accordo, fu obbligata da Siena a rompere l'alleanza con Semifonte.  Comunque, tenendo fede al vecchio accordo i colligiani non intervennero  mai contro Semifonte che venne definitivamente sconfitta e distrutta  nel 1202. Le proprietà e le delimitazioni dei territori erano confuse e, dopo la guerra, nel 1209, i confini furono stabiliti in modo scrupoloso.
 Colle di Val d'Elsa è legato allo sviluppo delle famiglie dei conti Alberti e Aldobrandeschi  che avevano alcune proprietà ed altre le avevano acquisite, anche in  seguito ai contrasti intervenuti, dalla diocesi di Volterra. Gli  Aldobrandeschi, ottennero il controllo della Badia di Spugna,  che dipendeva dalla Pieve a Elsa, che era diventata «nullius diocesis»  per bolla papale e si era così svincolata dalla diocesi di Volterra, e  delle terre intorno, da Gracciano (il principale insediamento colligiano  nell'XI secolo) fino a Piticciano (il nucleo più antico del Castello di Colle). L'Abate di Spugna promosse la costruzione delle Gore  per fornire energia motrice ai numerosi mulini, e cercò di attirare  popolazione intorno al castello di Piticciano che viene chiamato  «Castelnuovo de' Franchi» e che si allargò fino a dove ora sorge il Palazzo Campana,  dirimpetto al vicinissimo Borgo di Santa Caterina, che si sviluppò  autonomamente. Nel frattempo, per sfuggire alle incursioni ed alle  devastazioni delle truppe senesi gli abitanti di Gracciano si erano  trasferiti presso il Castello di Piticciano, dando nuovo impulso al suo  sviluppo. È di questo periodo la costruzione di un secondo tratto di  gore.
All'inizio del Duecento quindi Colle è già organizzato in libero Comune  ed ha già raggiunto una notevole importanza grazie all'abbondanza  d'acqua che opportunamente canalizzata nelle cosiddette "gore" ne ha  favorito lo sviluppo. Intanto le gore danno notevole impulso  all'economia locale, tanto che nel 1216  il Podestà di Poggibonsi si vide costretto a riconoscere il diritto di  passaggio per i mulini di Colle. Vengono quindi stabilite alleanze con San Gimignano e Casole d'Elsa. Colle nel 1245 appoggia quindi la causa imperiale di Federico II che gli concede protezione e riconosce la sua giurisdizione sui territori contesi con Siena, come il Castello di Paurano, Collalto, Montevasoni e Partena. Ancora nel 1260 i colligiani, unitamente a San Gimignano, riconoscono il potere di Carlo d'Angiò e nel 1267, dopo una breve parentesi ghibellina susseguente alla sconfitta di Montaperti del 1260,  per decisione del Consiglio Generale del Comune, viene giurata fedeltà  allo schieramento guelfo. Tale alleanza, che aveva contrariato non poco  Siena tanto che nel 1260 le truppe senesi avevano distrutto Gracciano, culminerà nella battaglia di Colle del 1269 tra guelfi e ghibellini, che vide Colle, alleata di Firenze, sconfiggere Siena con notevoli ripercussioni sull'assetto politico della Toscana (la battaglia è stata cantata anche da Dante, nella Divina Commedia, nel XIII canto del Purgatorio). Nel 1301 Colle si trova alleata con Firenze, Lucca, Siena, Prato, San Gimignano e altri castelli contro Pistoia nella "guerra dei cinque anni".
 Nel 1307  Colle, sulla base di spinte popolari, si dà un nuovo Statuto che  regolamenta la vita cittadina e gli organi di governo: vi sono un  Capitano del Popolo, un Podestà (che dura in carica sei mesi), un  Camerlengo Generale (che cura le entrate e le uscite di denaro  pubblico), un Ufficiale di Gabella, Dodici Governatori, eletti ogni due  mesi tra i membri del Consiglio del Capitano, cui si affianca il  Consiglio Generale del Podestà; in ogni organo è garantita la presenza  dei rappresentanti di tutte le contrade. Capitano del Popolo e Podestà,  una volta terminato il loro incarico, sono sottoposti al giudizio di  “sindaci” e tenuti ad accettare le loro conclusioni. La giustizia viene  amministrata da Giudici “forestieri” appositamente nominati e sono  previste varie fasi di giudizio.
Essendosi schierata con i Guelfi, Colle lotta contro Arrigo VII e nel 1311 rafforza le sue fortificazioni. Con la morte di Arrigo VII ed il successo di Uguccione della Faggiola  i Ghibellini prendono però il sopravvento che ha comunque breve durata  per la caduta in disgrazia di Uguccione e la pace tra Guelfi, Pisani e  Lucchesi sancita da Roberto d'Angiò nel 1316. In seguito si registrano moti di rivolta, subito sedati, e viene nominato capitano il ghibellino colligiano Albizzo di Scolaio dei Tancredi,  “magnate” ed Arciprete, in barba agli statuti popolari del 1307. Si  inizia così un periodo di semi-tirannia che vedrà il suo epilogo con la  sommossa del 1331  che porterà al ristabilimento della preesistente situazione con  l'arresto del “tiranno” (che sarà strangolato in carcere) e la confisca  dei beni e dei possedimenti di famiglia. In questo periodo la città vive  alcune diatribe tra Guelfi Neri e Guelfi Bianchi che però finiscono  quasi sempre in pace. Vengono quindi rivisti gli Statuti comunali e  viene rinsaldata l'alleanza con Firenze che chiede aiuto ai colligiani  in occasione delle guerre contro Verona e Lucca.
 La città si allarga nel “Piano” e subisce un incremento demografico  per l'arrivo di persone dal contado e da tutte le località vicine (San Gimignano, Poggibonsi, Staggia, Casole, e anche da Siena). L'economia colligiana vive un fiorente periodo.
 Dopo le congiure e le lotte intestine di Firenze del 1340, nel 1342  Colle (nonostante la rivolta capeggiata dai Guidotti e dal figlio da  Barone di Angelo dei Tancredi, che voleva vendicarsi dei lunghi anni di  prigione e della fine inflitta alla sua famiglia, ma subito duramente  sedata), seguendo le decisioni già adottate da altre città toscane  (Arezzo, Volterra, Pistoia, ecc.) si sottomette al Duca di Atene, nuovo Signore di Firenze.
 Il libero Comune di Colle, a cui re Manfredi ha concesso protezione ed autonomia, entra a far parte della Lega di tutte le città guelfe della Tuscia,  con Firenze, Perugia, Siena, Arezzo, Pistoia, Volterra, Prato, San  Miniato e San Gimignano. Negli anni successivi vengono di nuovo rivisti  gli Statuti anche con la supervisione di riformatori fiorentini, ma  senza stravolgere il dettato di quelli preesistenti.
 Con la peste nera del 1348,  che causa un forte decremento demografico, si ha una specie di  rivoluzione nell'economia colligiana: salgono alla ribalta nuove  famiglie che prendono in gestione dal Comune i mulini e intraprendono  nuove attività, principalmente la lavorazione della lana, delle armi e  della carta. Il ceto medio (notai, mercanti ed artigiani) prende in mano  le redini del Comune. Gli artigiani minori (fabbri, maniscalchi,  calzolai, ecc.) fondano le loro prime “associazioni“ di categoria. Per  tutto il XIV secolo il territorio di Colle, come gran parte della Toscana e dell'Italia intera, vede il passaggio delle Compagnie di Ventura ed a volte i loro saccheggi. Tra i condottieri che transitano o che si stanziano a Colle sono degni di citazione Bernardo della Serra, Alberico da Barbiano, Diego della Ratta, Gualtieri di Brienne, Uguccione della Faggiuola, Amerigo di Narbona e Giovanni Acuto.
All'inizio del Quattrocento Colle è soggetta al pagamento di tributi in favore di Firenze per sostenere la lotta con i Visconti di Milano che avevano allargato la loro sfera d'influenza a Pisa e Siena. Nel 1479, dopo il lungo assedio delle truppe del Duca Alfonso di Calabria del 1479  Colle, stremata e affamata, dovette arrendersi agli Aragonesi, senza  avere tentato un'ultima strenua difesa dando fuoco al Borgo di San  Caterina e distruggendo il Ponte del Campana che dava l'accesso al Castello.
 L'eroica resistenza non passo inosservata neppure ai vincitori, il  Duca stesso ebbe a dire: «Se i regnicoli miei vassalli fossero stati  tutti valorosi, fedeli e obbedienti come trovai i colligiani, mi sarei  impadronito di tutto il mondo. Sia luogo alla ricompensa».
 Nel 1481 Colle ritorna sotto Firenze grazie anche alla mediazione di Lorenzo il Magnifico, grato perché il lungo assedio aveva permesso alla città alleata di Firenze,  che non aveva potuto portare gli aiuti necessari, di approntare le  proprie difese e portare avanti le trattative che le permisero di  mantenere, in pratica, lo status quo. La riconoscenza di Firenze al  valore ed al coraggio dell'alleata Colle non tardò: Firenze concesse,  con deliberazione del 1º ottobre 1479, la cittadinanza fiorentina a  tutti i cittadini nati o che nasceranno a Colle, approntò notevoli  riduzioni fiscali, l'esenzione dalle gabelle per i manufatti prodotti a  Colle e contribuì alla ricostruzione delle opere di difesa andate  distrutte ed a nuovi potenziamenti del sistema delle fortificazioni.
Solo in seguito alla caduta della Repubblica di Siena, nel 1555, a cui collaborò anche Giacomo Malatesta  da Sogliano che si stabilì a Colle alla cui guardia era preposto,  iniziò per Colle un lungo periodo di pace. Colle continuò a gravitare  nell'orbita di Firenze e dei Medici,  anche grazie alle tante famiglie colligiane, come gli Usimbardi, i  Cini, i Pacini, i Giusti, i Luci, i Dini, i Campana e i Tolosani, che  furono impegnate nell'amministrazione della città gigliata. Esponenti di  queste famiglie colligiane ricoprirono infatti i più alti incarichi  istituzionali nelle gerarchie del neonato Granducato di Toscana  e si ritagliarono uno spazio decisivo come uomini di fiducia dei  principi, elevando Colle, di fatto, al ruolo di "patria dei grandi  burocrati"[5] toscani. Nel 1592, mantenendo una solenne promessa fatta nel 1581 dal Granduca di Toscana Francesco I de' Medici, il suo successore Ferdinando I de' Medici elevò Colle a città e con bolla di papa Clemente VIII, datata 5 giugno, su supplica dello stesso Granduca, Colle venne proclamata sede di una nuova diocesi. Primo vescovo fu nominato il colligiano Usimbardo Usimbardi.
 In seguito Colle fu interessata da disastrose alluvioni nel 1603 e nel 1618, e ebbe un notevole calo demografico in seguito alla peste che arrivò a Colle nell'agosto del 1630. Tuttavia, la città viene abbellita nei palazzi e nelle chiese e si arricchisce di opere d'arte. Vengono costruiti l'Ospedale di San Lorenzo ed il Teatro dei Varii,  vengono demolite le numerose porte di accesso alla città. In questo  periodo gode dei favori dei Granduchi, colpiti e compiaciuti dalle tante  attività e dai prodotti colligiani, e devoti alla reliquia del Sacro  Chiodo della Crocifissione. Vengono anche rafforzate le misure di difesa  e la cinta muraria.
All'inizio del XIX secolo Colle, come gran parte dell'Italia, fu invasa dalle truppe napoleoniche che restarono nel suo territorio fino al 1814.
 Nel XIX secolo Colle si dimostra entusiasta delle concessioni liberali dei Granduchi.
 La Carboneria  fa proseliti anche a Colle (tra gli affiliati anche gli operai della  Vetreria Schimdt) e dalla città partono spedizioni di volontari per  partecipare alle guerre per l'unificazione dell'Italia. Con l'unità, che  trova Colle già accorpata nella provincia di Siena dal tardo XVIII  secolo, a causa della confusione che regnava nei toponimi, Colle, in  base ad una delibera del Consiglio Comunale e con Regio Decreto del 21  settembre 1862, varia la propria denominazione dal semplice Colle in  Colle di Val d'Elsa. Nel 1863  nasce la biblioteca popolare circolante, a cura della Società Operaia  di Mutuo Soccorso, il primo nucleo della Biblioteca Comunale colligiana,  una delle più antiche biblioteche pubbliche d'Italia. Nel 1867 Giuseppe Garibaldi visita la città ed in quella occasione verrà fondata la “Società Democratica” la cui vice presidenza viene offerta da Ettore Capresi  proprio all'eroe dei due mondi e che, insieme alla “Società Operaia”  intendeva organizzare la classe proletaria. La città è animata da  fermenti culturali che prendono avvio dalle lotte sociali dei numerosi  operai delle industrie e si afferma il socialismo, che nel 1897 porterà un proprio rappresentante (Antonio Salvetti)  alla guida della città, facendo di Colle uno dei primi comuni  socialisti d'Italia. In città si stampano periodioci politici come  "L'Elsa", di ispirazione socialista, il cui posto sarà poi preso da La Martinella che diverrà l'organo ufficiale del socialismo toscano. Esclusa dai nuovi tracciati della Cassia e della linea ferroviaria Empoli-Siena, nel 1885 viene inaugurata la ferrovia Colle di Val d'Elsa-Poggibonsi.