L'isola fu abitata in epoca neolitica. I contatti che aveva Karpathos con l'isola di Creta hanno svolto un ruolo significativo nello sviluppo dell'isola nell'età del Bronzo. A quei tempi il porto più importante dell'isola, Potidaio (Pigadia di oggi), divenne la dimora di coloni provenienti da Creta e acquisì un carattere minoico. I contatti tra le due isole continuarono per tutto il XIV secolo aC, periodo in cui i Micenei presero il controllo dell'isola di Karpathos. Potidaio rimase deserta dopo una serie di invasioni dopo il 1200 aC. Gli abitanti dell'isola si stabilirono verso aree più protette come l' odierna Aperi, dove fondarono la città di Karpathos. I Karpati combatterono con Sparta nella guerra del Peloponneso, nel 431 aC, e persero la loro indipendenza a Rodi nel 400 aC.

Nella metà del I secolo d.C., l' isola fu abitata dai romani sotto il regno dell'imperatore Diocleziano. Prima il generale Lucullo, governatore dell'isola, aveva l'abitudine di inviare una barca per pescare del pesce speciale che vive in queste acque. Nel 330 aC Costantino il Grande legalizzò il Cristianesimo e nel 395 Teodosio I divise l' Impero Romano in orientale e occidentale. Karpathos apparteneva al lato orientale. Questo è quando si iniziò a costruire chiese cristiane come Agia Fotini, Agia Anastasia e altre.

Nel corso del V secolo dopo Cristo, Karpathos fu saccheggiata molte volte da arabi, saraceni, mauritani e molti altri invasori. Così gli abitanti si rifugiarono sulle montagne e in villaggi creati lì. Dopo la conquista di Costantinopoli da parte dei Franchi nel 1204, Leon Gavalas e più tardi suo fratello Giovanni presero il potere. Successivamente, nel 1282-1306 il governo dell' isola fu rilevato dai fratelli Andrea e Ludovico Maresco da Genova e l'isola in quel periodo era chiamato Scarpanto.

Dopo i genovesi vennero i veneziani. Nel 1306 Andrea Kornaros la riconquistò e nel 1311 i Cavalieri di Rodi finalmente conquistarono l' isola, fino al 1315, quando il sovrano veneziano la sottrasse. Durante il regno della casa di Kornaros che durò fino al 1537, molte fortezze e chiese sono state costruite, quando Haiderin Barbarossa saccheggiò l'isola e la consegnò ai turchi, che furono mai stati interessati al suo miglioramento e neanche alla sua manutenzione.

I turchi non hanno mai abitato l'isola, mandavano ufficiali del fisco per riscuotere le tasse e partire. Per questo motivo non abbiamo testimonianze a ricordo dell' occupazione turca dell'isola. È evidente che i turchi evitavano di abitar l' isola, perché era un bersaglio per i pirati che costituivano la minaccia e la paura di quei tempi.

Quando arrivò il momento della rivoluzione di aprile 1821, Karpathos come le altre isole issarono la bandiera greca. L'isola durante la rivoluzione offrì rifugio, denaro, generi di consumo e anche le riparazioni per le navi greche danneggiate in battaglia. La sua indipendenza arrivò nel 1823 quando Karpathos si unì alla Grecia, annessa alla provincia di Santorini. Ma nel 1830, con il trattato di Londra, le isole del Dodecanneso furono restituite alla Turchia e, infine, nel 1912 gli italiani presero il sopravvento.

L' edificio dell' Amministrazione italiana è stato costruito su una costa rocciosa sul lato ovest del porto di Pigadia ed è l' odierno Palazzo della Provincia. Durante la seconda guerra mondiale, nel 1943, le truppe tedesche sono arrivate sull'isola per unirsi con gli italiani. I tedeschi lasciarono l' isola il 4 ottobre 1944. Gli abitanti quindi iniziarono una rivoluzione contro i loro conquistatori, il 5 ottobre 1944, nel villaggio Menetes gli uomini del villaggio rivolsero le loro armi contro gli italiani.

La frazione di Arkasa seguì e in tre giorni anche i villaggi di Mesochori e Olympus erano liberi. A causa delle cattive condizioni atmosferiche gli alleati non arrivarono in tempo e la fame colpì l' isola. Poi sette uomini coraggiosi partirono per Alessandria arrivando dopo 5 giorni, chiedendo aiuto al governo greco. Tornarono sull' isola il 17 ottobre 1944 con due cacciatorpediniere alleate e questa è la data ufficiale della liberazione dell'isola. Il 7 Marzo 1948 Karpathos si unì alla Grecia.