Colle di Val d'Elsa è arroccata nella sua parte più antica su di un alto poggio. Anticamente il tessuto urbano era diviso in tre parti: il
Borgo di Santa Caterina, il
Castello di Piticciano] e il
Piano oggi semplificati in "Colle alta" e "Colle bassa". Piazzaforte a lungo contesa tra fiorentini e senesi cadde sotto il dominio dei primi a metà del
Trecento quando la sua potenza economica era al culmine. La città è inoltre famosa per aver dato i natali, nel
1240, ad
Arnolfo di Cambio, al quale è stata in seguito dedicata la piazza principale.
A partire da numerosi e importanti ritrovamenti archeologici risalenti anche al IV millennio a.C., i primi documenti che testimoniano di Colle di Val d'Elsa, risalgono al X secolo, ma solo successivamente, tra l'XI ed il XII secolo, la città acquista la propria identità. Numerose sono comunque le testimonianze della zona risalenti all'epoca etrusca, come le necropoli di Dometaia e de Le Ville.La storia e l'identità di Colle di Val d'Elsa, nascono e si sviluppano, unitamente a quella delle altre località dell'Alta Valdelsa (San Gimignano, Poggibonsi e Casole d'Elsa), all'ombra di signorie sia ecclesiastiche che civili. Non va dimenticato che nell'Alta Valdelsa passavano la Via Francigena e le sue varianti apportando una notevole mole di traffici di merci e uomini e, quindi, garantendo un reddito sicuro.
Si può pertanto capire facilmente come il possesso di certe zone potesse essere strategico per lo sviluppo ed il potere non solo delle famiglie nobili ma anche dei potentati ecclesiastici come la diocesi di Volterra che su queste zone vantava diritti. In più la Valdelsa era terra di confine tra le potenze nemiche di Firenze e Siena. Nel 1155/1156, fu iniziata l'edificazione di Poggio Bonizzo (o Bonizio, l'attuale Poggibonsi) con la benedizione di papa Adriano IV che lo mise sotto la giurisdizione della diocesi di Siena attirandosi le ire di Firenze. Nacque in tal modo il percorso di fondovalle della Via Francigena, a scapito di quello più a monte.
Nel 1176 fu stipulata la pace tra Firenze e Siena, ma già forse nello stesso anno si ha la trasformazione di Colle in funzione antipoggibonsese per volere di Firenze, attraverso l'inurbazione massiccia del suo territorio (venivano infatti concesse facilitazioni a chi vi si stabiliva).
Era allora papa il senese Alessandro III (morirà nel 1181) che affidò l'incarico di arciprete della Pieve a Elsa, ad “Aelsae” (vicino dell'odierna Gracciano di Colle Val d'Elsa), a Alberto. La pieve era posta lungo il tracciato della francigena e, nonostante fosse nel territorio posto sotto la giurisdizione del vescovo di Volterra, era immediatamente soggetta alla Santa Sede in quanto nominata “nullius Dioecesis”. Era evidente come la scelta operata dal Papa senese avesse il fine di controllare direttamente i territori intorno a Colle. Non infrequenti erano le guerre tra i comuni vicini, come nel caso della Guerra di Casaglia del 1199 che vide opposti Colle di Val d'Elsa e San Gimignano contro Poggibonsi, con conseguenti razzie e distruzioni. All'alleanza tra Colle e San Gimignano contro Poggibonsi si aggiunse Semifonte, decisa a non rimanere isolata; l'intesa prevedeva anche la guerra contro Firenze e Siena, in caso di un loro intervento contro Semifonte. Colle, nel 1201, sigla la pace con Volterra e con Casole d'Elsa; dopo l'accordo di Fonterutoli tra Firenze e Siena, quest'ultima dichiara guerra a Colle con il fine ultimo di lasciare da sola Semifonte. L'anno successivo, Colle, in seguito ad un nuovo accordo, fu obbligata da Siena a rompere l'alleanza con Semifonte. Comunque, tenendo fede al vecchio accordo i colligiani non intervennero mai contro Semifonte che venne definitivamente sconfitta e distrutta nel 1202. Le proprietà e le delimitazioni dei territori erano confuse e, dopo la guerra, nel 1209, i confini furono stabiliti in modo scrupoloso.
Colle di Val d'Elsa è legato allo sviluppo delle famiglie dei conti Alberti e Aldobrandeschi che avevano alcune proprietà ed altre le avevano acquisite, anche in seguito ai contrasti intervenuti, dalla diocesi di Volterra. Gli Aldobrandeschi, ottennero il controllo della Badia di Spugna, che dipendeva dalla Pieve a Elsa, che era diventata «nullius diocesis» per bolla papale e si era così svincolata dalla diocesi di Volterra, e delle terre intorno, da Gracciano (il principale insediamento colligiano nell'XI secolo) fino a Piticciano (il nucleo più antico del Castello di Colle). L'Abate di Spugna promosse la costruzione delle Gore per fornire energia motrice ai numerosi mulini, e cercò di attirare popolazione intorno al castello di Piticciano che viene chiamato «Castelnuovo de' Franchi» e che si allargò fino a dove ora sorge il Palazzo Campana, dirimpetto al vicinissimo Borgo di Santa Caterina, che si sviluppò autonomamente. Nel frattempo, per sfuggire alle incursioni ed alle devastazioni delle truppe senesi gli abitanti di Gracciano si erano trasferiti presso il Castello di Piticciano, dando nuovo impulso al suo sviluppo. È di questo periodo la costruzione di un secondo tratto di gore.
All'inizio del Duecento quindi Colle è già organizzato in libero Comune ed ha già raggiunto una notevole importanza grazie all'abbondanza d'acqua che opportunamente canalizzata nelle cosiddette "gore" ne ha favorito lo sviluppo. Intanto le gore danno notevole impulso all'economia locale, tanto che nel 1216 il Podestà di Poggibonsi si vide costretto a riconoscere il diritto di passaggio per i mulini di Colle. Vengono quindi stabilite alleanze con San Gimignano e Casole d'Elsa. Colle nel 1245 appoggia quindi la causa imperiale di Federico II che gli concede protezione e riconosce la sua giurisdizione sui territori contesi con Siena, come il Castello di Paurano, Collalto, Montevasoni e Partena. Ancora nel 1260 i colligiani, unitamente a San Gimignano, riconoscono il potere di Carlo d'Angiò e nel 1267, dopo una breve parentesi ghibellina susseguente alla sconfitta di Montaperti del 1260, per decisione del Consiglio Generale del Comune, viene giurata fedeltà allo schieramento guelfo. Tale alleanza, che aveva contrariato non poco Siena tanto che nel 1260 le truppe senesi avevano distrutto Gracciano, culminerà nella battaglia di Colle del 1269 tra guelfi e ghibellini, che vide Colle, alleata di Firenze, sconfiggere Siena con notevoli ripercussioni sull'assetto politico della Toscana (la battaglia è stata cantata anche da Dante, nella Divina Commedia, nel XIII canto del Purgatorio). Nel 1301 Colle si trova alleata con Firenze, Lucca, Siena, Prato, San Gimignano e altri castelli contro Pistoia nella "guerra dei cinque anni".
Nel 1307 Colle, sulla base di spinte popolari, si dà un nuovo Statuto che regolamenta la vita cittadina e gli organi di governo: vi sono un Capitano del Popolo, un Podestà (che dura in carica sei mesi), un Camerlengo Generale (che cura le entrate e le uscite di denaro pubblico), un Ufficiale di Gabella, Dodici Governatori, eletti ogni due mesi tra i membri del Consiglio del Capitano, cui si affianca il Consiglio Generale del Podestà; in ogni organo è garantita la presenza dei rappresentanti di tutte le contrade. Capitano del Popolo e Podestà, una volta terminato il loro incarico, sono sottoposti al giudizio di “sindaci” e tenuti ad accettare le loro conclusioni. La giustizia viene amministrata da Giudici “forestieri” appositamente nominati e sono previste varie fasi di giudizio.
Essendosi schierata con i Guelfi, Colle lotta contro Arrigo VII e nel 1311 rafforza le sue fortificazioni. Con la morte di Arrigo VII ed il successo di Uguccione della Faggiola i Ghibellini prendono però il sopravvento che ha comunque breve durata per la caduta in disgrazia di Uguccione e la pace tra Guelfi, Pisani e Lucchesi sancita da Roberto d'Angiò nel 1316. In seguito si registrano moti di rivolta, subito sedati, e viene nominato capitano il ghibellino colligiano Albizzo di Scolaio dei Tancredi, “magnate” ed Arciprete, in barba agli statuti popolari del 1307. Si inizia così un periodo di semi-tirannia che vedrà il suo epilogo con la sommossa del 1331 che porterà al ristabilimento della preesistente situazione con l'arresto del “tiranno” (che sarà strangolato in carcere) e la confisca dei beni e dei possedimenti di famiglia. In questo periodo la città vive alcune diatribe tra Guelfi Neri e Guelfi Bianchi che però finiscono quasi sempre in pace. Vengono quindi rivisti gli Statuti comunali e viene rinsaldata l'alleanza con Firenze che chiede aiuto ai colligiani in occasione delle guerre contro Verona e Lucca.
La città si allarga nel “Piano” e subisce un incremento demografico per l'arrivo di persone dal contado e da tutte le località vicine (San Gimignano, Poggibonsi, Staggia, Casole, e anche da Siena). L'economia colligiana vive un fiorente periodo.
Dopo le congiure e le lotte intestine di Firenze del 1340, nel 1342 Colle (nonostante la rivolta capeggiata dai Guidotti e dal figlio da Barone di Angelo dei Tancredi, che voleva vendicarsi dei lunghi anni di prigione e della fine inflitta alla sua famiglia, ma subito duramente sedata), seguendo le decisioni già adottate da altre città toscane (Arezzo, Volterra, Pistoia, ecc.) si sottomette al Duca di Atene, nuovo Signore di Firenze.
Il libero Comune di Colle, a cui re Manfredi ha concesso protezione ed autonomia, entra a far parte della Lega di tutte le città guelfe della Tuscia, con Firenze, Perugia, Siena, Arezzo, Pistoia, Volterra, Prato, San Miniato e San Gimignano. Negli anni successivi vengono di nuovo rivisti gli Statuti anche con la supervisione di riformatori fiorentini, ma senza stravolgere il dettato di quelli preesistenti.
Con la peste nera del 1348, che causa un forte decremento demografico, si ha una specie di rivoluzione nell'economia colligiana: salgono alla ribalta nuove famiglie che prendono in gestione dal Comune i mulini e intraprendono nuove attività, principalmente la lavorazione della lana, delle armi e della carta. Il ceto medio (notai, mercanti ed artigiani) prende in mano le redini del Comune. Gli artigiani minori (fabbri, maniscalchi, calzolai, ecc.) fondano le loro prime “associazioni“ di categoria. Per tutto il XIV secolo il territorio di Colle, come gran parte della Toscana e dell'Italia intera, vede il passaggio delle Compagnie di Ventura ed a volte i loro saccheggi. Tra i condottieri che transitano o che si stanziano a Colle sono degni di citazione Bernardo della Serra, Alberico da Barbiano, Diego della Ratta, Gualtieri di Brienne, Uguccione della Faggiuola, Amerigo di Narbona e Giovanni Acuto.
All'inizio del Quattrocento Colle è soggetta al pagamento di tributi in favore di Firenze per sostenere la lotta con i Visconti di Milano che avevano allargato la loro sfera d'influenza a Pisa e Siena. Nel 1479, dopo il lungo assedio delle truppe del Duca Alfonso di Calabria del 1479 Colle, stremata e affamata, dovette arrendersi agli Aragonesi, senza avere tentato un'ultima strenua difesa dando fuoco al Borgo di San Caterina e distruggendo il Ponte del Campana che dava l'accesso al Castello.
L'eroica resistenza non passo inosservata neppure ai vincitori, il Duca stesso ebbe a dire: «Se i regnicoli miei vassalli fossero stati tutti valorosi, fedeli e obbedienti come trovai i colligiani, mi sarei impadronito di tutto il mondo. Sia luogo alla ricompensa».
Nel 1481 Colle ritorna sotto Firenze grazie anche alla mediazione di Lorenzo il Magnifico, grato perché il lungo assedio aveva permesso alla città alleata di Firenze, che non aveva potuto portare gli aiuti necessari, di approntare le proprie difese e portare avanti le trattative che le permisero di mantenere, in pratica, lo status quo. La riconoscenza di Firenze al valore ed al coraggio dell'alleata Colle non tardò: Firenze concesse, con deliberazione del 1º ottobre 1479, la cittadinanza fiorentina a tutti i cittadini nati o che nasceranno a Colle, approntò notevoli riduzioni fiscali, l'esenzione dalle gabelle per i manufatti prodotti a Colle e contribuì alla ricostruzione delle opere di difesa andate distrutte ed a nuovi potenziamenti del sistema delle fortificazioni.
Solo in seguito alla caduta della Repubblica di Siena, nel 1555, a cui collaborò anche Giacomo Malatesta da Sogliano che si stabilì a Colle alla cui guardia era preposto, iniziò per Colle un lungo periodo di pace. Colle continuò a gravitare nell'orbita di Firenze e dei Medici, anche grazie alle tante famiglie colligiane, come gli Usimbardi, i Cini, i Pacini, i Giusti, i Luci, i Dini, i Campana e i Tolosani, che furono impegnate nell'amministrazione della città gigliata. Esponenti di queste famiglie colligiane ricoprirono infatti i più alti incarichi istituzionali nelle gerarchie del neonato Granducato di Toscana e si ritagliarono uno spazio decisivo come uomini di fiducia dei principi, elevando Colle, di fatto, al ruolo di "patria dei grandi burocrati"[5] toscani. Nel 1592, mantenendo una solenne promessa fatta nel 1581 dal Granduca di Toscana Francesco I de' Medici, il suo successore Ferdinando I de' Medici elevò Colle a città e con bolla di papa Clemente VIII, datata 5 giugno, su supplica dello stesso Granduca, Colle venne proclamata sede di una nuova diocesi. Primo vescovo fu nominato il colligiano Usimbardo Usimbardi.
In seguito Colle fu interessata da disastrose alluvioni nel 1603 e nel 1618, e ebbe un notevole calo demografico in seguito alla peste che arrivò a Colle nell'agosto del 1630. Tuttavia, la città viene abbellita nei palazzi e nelle chiese e si arricchisce di opere d'arte. Vengono costruiti l'Ospedale di San Lorenzo ed il Teatro dei Varii, vengono demolite le numerose porte di accesso alla città. In questo periodo gode dei favori dei Granduchi, colpiti e compiaciuti dalle tante attività e dai prodotti colligiani, e devoti alla reliquia del Sacro Chiodo della Crocifissione. Vengono anche rafforzate le misure di difesa e la cinta muraria.
All'inizio del XIX secolo Colle, come gran parte dell'Italia, fu invasa dalle truppe napoleoniche che restarono nel suo territorio fino al 1814.
Nel XIX secolo Colle si dimostra entusiasta delle concessioni liberali dei Granduchi.
La Carboneria fa proseliti anche a Colle (tra gli affiliati anche gli operai della Vetreria Schimdt) e dalla città partono spedizioni di volontari per partecipare alle guerre per l'unificazione dell'Italia. Con l'unità, che trova Colle già accorpata nella provincia di Siena dal tardo XVIII secolo, a causa della confusione che regnava nei toponimi, Colle, in base ad una delibera del Consiglio Comunale e con Regio Decreto del 21 settembre 1862, varia la propria denominazione dal semplice Colle in Colle di Val d'Elsa. Nel 1863 nasce la biblioteca popolare circolante, a cura della Società Operaia di Mutuo Soccorso, il primo nucleo della Biblioteca Comunale colligiana, una delle più antiche biblioteche pubbliche d'Italia. Nel 1867 Giuseppe Garibaldi visita la città ed in quella occasione verrà fondata la “Società Democratica” la cui vice presidenza viene offerta da Ettore Capresi proprio all'eroe dei due mondi e che, insieme alla “Società Operaia” intendeva organizzare la classe proletaria. La città è animata da fermenti culturali che prendono avvio dalle lotte sociali dei numerosi operai delle industrie e si afferma il socialismo, che nel 1897 porterà un proprio rappresentante (Antonio Salvetti) alla guida della città, facendo di Colle uno dei primi comuni socialisti d'Italia. In città si stampano periodioci politici come "L'Elsa", di ispirazione socialista, il cui posto sarà poi preso da La Martinella che diverrà l'organo ufficiale del socialismo toscano. Esclusa dai nuovi tracciati della Cassia e della linea ferroviaria Empoli-Siena, nel 1885 viene inaugurata la ferrovia Colle di Val d'Elsa-Poggibonsi.