Il toponimo "Carpi" è da collegarsi alla realtà del paesaggio medio-padano in epoca alto-medievale, dove era particolarmente diffuso l'albero del carpinus. La leggenda narra che la città fu fondata dal re longobardo Astolfo nel luogo in cui venne ritrovato il suo falcone da caccia, su un albero, il carpine, che dà, appunto, il nome alla città.
Il territorio rivela testimonianze di vita organizzata già dal XVI sec. a.C. (età del Bronzo) con la presenza di quattro insediamenti di terramare, il più importante dei quali, situato in località La Savana, ha restituito oggetti databili dal XVI al XII sec. a.C. Tuttavia solo in epoca romana il territorio viene occupato stabilmente con insediamenti di tipo rustico all'interno del reticolo della centuriazione.
Infatti la fondazione della colonia romana di Mutina (183 a.C.) comporta l'occupazione per uso agricolo di un vasto territorio a nord della via Emilia, suddiviso fra i coloni: la rigorosa maglia centuriale romana, con la regolare geometria dei viottoli poderali e degli scoli, è rimasta per larga parte intatta nelle campagne carpigiane. La costituzione di un nucleo abitato vero e proprio è da collegarsi alla fondazione della Pieve di S. Maria (secondo la tradizione nel 752) da parte del re longobardo Astolfo. La pieve (detta poi "LA SAGRA") rappresenta il primitivo polo di attrazione per il borgo alto medievale e già nel X secolo l'abitato viene definito "CASTELLO".
Fra la fine del X secolo e il 1331 a Carpi si succedono diverse famiglie, fra le altre i Canossa, i Torelli e i Bonaccolsi (la Torre del Passerino fu costruita dall'ultimo signore della famiglia), che furono scacciati da un coacervo di forze tra cui emerse Manfredo Pio che dal 1331 ricevette dall'imperatore il feudo di Carpi. Dal 1331 al 1525 Carpi diventa stabile feudo della famiglia dei Pio: la città acquista importanza e muta la sua struttura con la costruzione di nuovi edifici fortificati e successivamente, ad opera di Alberto III (1490-1525), ultimo signore dei Pio, con il riassetto delle strutture residenziali e dell'impianto urbanistico sull'attuale centro storico (PIAZZA MARTIRI).
Dopo un biennio di presidio spagnolo (1525-1527), Carpi passa in possesso di Alfonso I di Ferrara e rimane sotto il dominio degli Estensi, fra alterne vicende e conservando sempre una certa autonomia, fino all'occupazione francese del 1796. Dopo la restaurazione del governo austro-estense nel 1815, anche a Carpi si diffondono gli ideali risorgimentali che portano ai moti del 1821 e del 1831 (in cui si distinse Ciro Menotti) e, dopo la guerra di indipendenza, all'annessione al Regno di Sardegna nel 1859. Dopo l'annessione al Regno d'Italia col plebiscito del 1860, si avvia un'intensa attività pubblica ed economica che sfocia con la costruzione dei primi stabilimenti industriali per la lavorazione del truciolo, della Stazione Ferroviaria e del TEATRO (i lavori erano già iniziati nel 1859) e nei primi decenni del '900 vennero demolite le mura e le porte (Porta Modena e Porta Mantova), ultime testimonianze di arte militare.
Superate le due guerre, a Carpi si concentra un'intensa attività artigianale ed industriale, legata inizialmente all'agricoltura e alla lavorazione del truciolo, poi, a partire dagli anni '50-'60, al settore tessile (in particolare maglieria) e meccanico.