Το νησί κατοικήθηκε πρώτη φορά την Νεολιθική εποχή. Οι επαφές που είχε η Κάρπαθος με την Κρήτη έπαιξαν σπουδαίο ρόλο στην ανάπτυξη του νησιού κατά τη διάρκεια της Εποχής του Χαλκού. Τότε το σπουδαιότερο λιμάνι του νησιού το Ποτίδαιο (σημερινά Πηγάδια) έγινε τόπος διαμονής πολλών Κρητικών και έτσι απέκτησε Μινωϊκό χαρακτήρα. Οι επαφές μεταξύ των δύο αυτών νησιών συνεχίστηκαν μέχρι και τον 14ο αιώνα π.Χ. περίοδος που οι Μυκηναίοι κατέκτησαν τον έλεγχο της Καρπάθου. Το Ποτίδαιο εγκαταλείφθηκε μετά απο διάφορες επιδρομές μετά το 1200 π.Χ. Οι κάτοικοι του νησιού μετακινήθηκαν προς πιο ασφαλείς περιοχές όπως είναι το σημερινό Άπερι όπου και έκτισαν την πόλη της Καρπάθου. Οι Καρπάθιοι πολέμησαν με την Σπάρτη στον Πελοποννησιακό Πόλεμο το 431 π.Χ. και κυριεύθηκαν από τη Ρόδο το 400 π.Χ.

Mετά Χριστό πλέον στα μέσα του πρώτου αιώνα η Κάρπαθος κατοικήθηκε από τους Ρωμαίους, υπό τον αυτοκράτορα Διοκλητιανό. Πριν το Διοκλητιανό είχε ζήσει ο στρατηγός Λούκουλλος. Ο Λούκουλλος έστελνε στην Κάρπαθο ειδικό πλοίο να ψαρέψει τα ψάρια που ζουν εκεί. Ο Μέγας Κωνσταντίνος νομιμοποίησε το Χριστιανισμό το 330 μ.Χ. και το 395 ο Θεοδόσιος Α΄ διαίρεσε το ρωμαϊκό κράτος σε Ανατολικό και Δυτικό. Η Κάρπαθος ανήκε στο Ανατολικό. Τότε άρχισαν να κτίζονται χριστιανικές εκκλησίες, όπως της Αγίας Φωτεινής, της Αγίας Αναστασίας και άλλες.

Κατά τον 5ο αιώνα μετά Χριστό η Κάρπαθος λεηλατήθηκε πολλές φορές από τους Άραβες, Σαρακηνούς, Μαυριτανούς και άλλους επιδρομείς. Έτσι λοιπόν οι κάτοικοι κατέφυγαν στα βουνά και δημιούργησαν τα χωριά τους. Μετά την κατάληψη της Κωνσταντινουπόλεως από τους Φράγκους το 1204 τη διακυβέρνηση της Καρπάθου ανέλαβε ο Λέων Γαβαλάς και αργότερα ο αδερφός του Ιωάννης. Αργότερα από το 1282 έως το 1306 τη διακυβέρνηση του νησιού είχαν οι αδερφοί Ανδρέας και Λουδοβίκος Μαρέσκο από τη Γένουα και το νησί έφερε τη λατινική ονομασία Scarpanto.

Μετά τους Γενουάτες ήρθαν οι Βενετσιάνοι. Το 1306 την κατέλαβε ο Ανδρέας Κορνάρος, το 1311 την κατέλαβαν τελικά οι Ιππότες της Ρόδου έως το 1315 που την κατέλαβε ο Βενετός ηγεμόνας. Ο οίκος των Κορνάρο που κατά τη διακυβέρνησή τους χτίστηκαν πολλά φρούρια και εκκλησιές, διήρκεσε μέχρι το 1537, οπότε εμφανίστηκε ο Χαϊρεδίν Βαρβαρόσα που λεηλάτησε την Κάρπαθο και την παρέδωσε στους Τούρκους που δεν ενδιαφέρθηκαν ποτέ για βελτίωση ή έστω συντήρηση του νησιού.

Οι Τούρκοι δεν κατοικούσαν στο νησί παρά έστελναν φορολογικούς υπαλλήλους να εισπράξουν το φόρο και έφευγαν. Για το λόγο αυτό δεν έχουμε στοιχεία που θυμίζουν την τουρκική κατοχή στο νησί. Οι Τούρκοι προφανώς απέφυγαν να κατοικήσουν στην Κάρπαθο, διότι η Κάρπαθος αποτελούσε στόχο των πειρατών που είχαν γίνει και ο φόβος της περιοχής.

Την ώρα του ξεσηκωμού για την Επανάσταση τον Απρίλιο του 1821 η Κάρπαθος όπως και τα άλλα νησιά ύψωσαν την Ελληνική Σημαία. Το νησί κατά την επανάσταση προσέφερε καταφύγιο για τα μαχόμενα ελληνικά πλοία, χρήματα και εφόδια και ακόμη και επισκευές των πλοίων. Η απελευθέρωση ήρθε το 1823 οπότε η Κάρπαθος ενώθηκε με την Ελλάδα και εντάχθηκε στην Επαρχία της Σαντορίνης.

Όμως το 1830 με το Πρωτόκολλο του Λονδίνου, τα Δωδεκάνησα δόθηκαν ξανά στην Τουρκία και τελικά το 1912 τα κατέλαβαν οι Ιταλοί. Το Διοικητήριο των Ιταλών στην Κάρπαθο ήταν χτισμένο πάνω σε μία υπερυψωμένη βραχώδη ακτή στη δυτική άκρη του λιμανιού στα Πηγάδια και αποτελεί το σημερινό Επαρχείο.

Κατά το Β΄ Παγκόσμιο Πόλεμο, το 1943 έφθασαν γερμανικά στρατεύματα στο νησί και ενώθηκαν μαζί με τους Ιταλούς. Οι Γερμανοί αποχώρησαν στις 4 Οκτωβρίου το 1944. οι Καρπάθιοι ξεκίνησαν την επανάσταση ενάντια στους κατακτητές στις 5 Οκτωβρίου του 1944 στο χωριό Μενετές, όπου οι άντρες του χωριού έστρεψαν τα όπλα τους κατά των Ιταλών. Ακολούθησε το χωριό Αρκάσα και σε τρεις μέρες ολόκληρη η Κάρπαθος ήταν ελεύθερη. Μέχρι τις 12 Οκτωβρίου είχαν απελευθερωθεί και τα χωριά Μεσοχώρι και Όλυμπος.

Επειδή οι καιρικές συνθήκες ήταν άσχημες και οι σύμμαχοι δεν ήρθαν, ήρθε πείνα στο νησί. Ξεκίνησαν τότε επτά γενναία παλικάρια και ύστερα από 5 μέρες έφτασαν στην Αλεξάνδρεια όπου ζήτησαν βοήθεια από την ελληνική κυβέρνηση. Επέστρεψαν στις 17 Οκτωβρίου το 1944 με δύο συμμαχικά αντιτορπιλικά οπότε έγινε η επίσημη απελευθέρωση του νησιού. Στις 7 Μαρτίου του 1948 ενώθηκε η Κάρπαθος με την Ελλάδα.