Το κάστρο κτίστηκε από του Βενετούς κατά τα τέλη του 13ου αιώνα, στο σημείο όπου άλλοτε βρισκόταν βυζαντινό φρούριο. Ο περίβολός του εκτείνεται σε 400 στρέμματα. Είναι πολυδαίδαλο κι έχει δυνατά τείχη. Καταλαμβάνει σχεδόν ολόκληρο το ακρωτήριο Ακρίτας. Τα κύρια χαρακτηριστικά του έχουν περισωθεί και μαρτυρούν τον επιβλητικό του όγκο και το θαυμάσιο αρχιτεκτονικό σχέδιο. Πάνω στην αρχαία Ακρόπολη, όπου κτίστηκε το φρούριο, υπήρχαν ερείπια ιερού του Απόλλωνα. Στη θέση του έχει οικοδομηθεί, ο βυζαντινός ναός της Αγίας Σοφίας.

Η κύρια είσοδός του βρίσκεται στη βόρεια πλευρά και περιλαμβάνει μια μεγάλη τετράγωνη κατασκευή. Ακριβώς από πάνω της υπήρχε δωμάτιο για τη φρουρά της πύλης. Στην κατασκευή του τείχους χρησιμοποιήθηκαν καλοδουλεμένες πέτρες αλλά και αρχαίο
οικοδομικό υλικό, που σήμερα διακρίνεται εύκολα στο μεγάλο πύργο καθώς και στον τοίχο δίπλα στο μοναστήρι του Τιμίου Προδρόμου. Το αρχαιότερο τμήμα του κάστρου είναι ο μεγάλος τοίχος, που σώζεται στη βόρειο-ανατολική πλευρά και χρησίμευε για να χωρίζει τα δυο πλατώματα στα οποία αναπτύχθηκε το φρούριο.
Στη βορινή πλευρά σώζεται και ο ναός του Αγίου Χαραλάμπους. Αρχικά είχε κτιστεί από τους Βενετούς και ήταν αφιερωμένος στη μνήμη του Αγίου Ροκ (St Rok), για τη λύτρωση της πολιτείας από λοιμό, που είχε αποδεκατίσει τον πληθυσμό της. Αυτό μαρτυρεί η μαρμάρινη πλάκα που υπάρχει στο γυναικωνίτη της εκκλησίας με χρονολογία 1689. Το καμπαναριό της εκκλησίας έχει φτιαχτεί πάνω στη βάση βενετσιάνικης βίγλας, που στα χρόνια της τουρκοκρατίας ήταν μιναρές.