Karpathos wurde erstmalig in der Jungsteinzeit bewohnt. Der Kontakt, den Karpathos mit Kreta aufbaute, spielte eine bedeutende Rolle in der Entwicklung der Insel während der Bronzezeit. Der wichtigste Hafen damals war Potidaio (heutiges Pigadia) und wurde Heimat vieler kretischer Siedler und deren minoischer Kultur.

Die Verbindung der beiden Insel wurde bis ins 14. Jahrhundert v. Chr. aufrecht erhalten, als die Mykener die Herrschaft über Karpathos übernahmen. Nach einer Reihe von Raubzügen wurde Potidaio 1200 v. Chr. aufgegeben. Die Einwohner zogen sich in sicherere Gebieten zurück, wie das heutige Aperi, und gründeten die Karpathos-Stadt. Die Karpathioten kämpften mit Sparta im Peloponnesischen Krieg 431 v. Chr. und verloren ihre Unabhängigkeit an Rhodos 400 v. Chr..

Nach Christus, in der Mitte des ersten Jahrhunderts, bewohnten die Römer unter der Herrschaft von Kaiser Diokletian die Insel. Zuvor hatte Genereal Loukoulos regiert, der spezielle Fischerboote in den Gewässern einsetzen ließ. Im Jahr 330 n. Chr. legalisierte Konstantin der Große das Christentum und 395 unterteilte Theodosius I. das römische Reich in Ost- und Westteil. Karpathos zählte zum östlichen Teil. In dieser Zeit kam es zur Errichtung erster christlicher Kirchen wie Agia Fotini oder Agia Anastasia.

Im 5. Jahrhundert n. Chr. wurde Karapthos mehrmals von den Arabern, Sarazenen, Mauretanier und anderen geplündert. So flohen die Bewohner in die Berge und gründeten dort kleine Siedlungen. Nach der Eroberung Konstantinopels durch die Franken im Jahr 1204, übernahm Leon Gavalas und später sein Bruder Ioannis die Macht. Von 1282 bis 1306 folgten die Brüder Andreas und Loudovikos Maresko von Genua und nannten die Insel in Scarpanto um.

Die Venezianer lösten die Brüder aus Genua ab. Im Jahr 1306 eroberte Andreas Kornaros Karpathos, 1311 rissen die Ritter von Rhodos die Macht an sich bis 1315 die gesamten Insel wieder unter Veneziansche Herrschaft fiel. Das Haus von Kornaros regiertere bis 1537 und ließ unzählige Festungen und Kirchen erbauen. Hairedin Barbarossa plünderte die Insel und übergab sich an die Türken, die so gut wie kein Interesse am Ausbau oder Erhalt von Karpathos hatten.

Die Türken siedelten sich nie auf der Insel an, sondern sendeten nur Beauftrage, die die Steuern einholen sollten. Aus diesem Grund gibt es auch keine Überreste oder Beweise der türkischen Besetzung auf Karpathos. Es wird angenommen, dass es zu keiner türkischen Besiedelung kam, da die Insel ein begehrtes Ziel von Piraten war, die in jenen Zeiten Angst und Schrecken verbreitenen.

In der Zeit des Aufstandes und der Revolution im April 1821, hisste Karpathos gemeinsam mit anderen Inseln die griechische Flagge und bot Untschlupf, finanzielle Unterstützung, Truppenversorgung und Reparaturen der griechischen Schiffe während der Kämpfe.

Seine Unabhängigtkeit erhielt die Insel 1823, als es Griechenland und der Provinz von Santorini zuerkannt wurde.

1830 fielen die Dodekanischen Inseln aufgrund des Londoner Protokolls an die Türken, bevor sie die Italiener 1912 übernahmen. Das italienische Ministerium wurde an der felsigen Küste, westlich des Hafen von Pigadia errichtet und ist das heutige Gerichtsgebäude.

Während des Zweiten Weltkrieg im Jahr 1943, marschierte die Deutsche Werhmacht ein und verbündete sich mit den Italiener. Die Deutschen verließen Karpathos am 4. Oktober 1944. Die Bewohner des Ortes Menetes begannen am darauffolgenden Tag einen gewaltsamen Aufstand gegen die Italienischen Besatzer. Das Dorf Arkasa schloss sich an und innerhalb von drei Tagen waren ebenfalls Mesochori und Olympos frei.

Aufgrund der schlechten Wetterbedingungen trafen die Alliierten nicht rechtzeitig ein und eine Hungersnot brach aus. Sieben tapfere Männer machten sich auf den den Weg und erreichten Alexandria nach 5 mühsamen Tagen, wo sich die griechische Regierung um Hilfe baten. Sie kehrten am 17. Oktober 1944 auf die Insel zurück, gefolgt von zwei Zerstörern der Alliierten. Die offizielle Befreiung hatte Erfolg und Karpathos wurde am 7. März 1948 mit Griechenland vereint.