Το μέσα Κάστρο είναι σήμερα ερειπωμένο. Το Έξω Κάστρο αποτελείται από μια σειρά σπιτιών, ο εξωτερικός τοίχος των οποίων αποτελούσε ταυτόχρονα και το τείχος, του αμυντικού στη λειτουργία του, κάστρου. Σε πολλά σπίτια υπάρχουν υπέρθυρα με οικόσημα και χρονολογίες. Ανάμεσα στις δυο σειρές σπιτιών υπήρχε δρόμος περιμετρικός, στενός τόσο που να χωράει μόνο μικρά κάρα.Το Έξω Κάστρο έχει δυο πύλες: την Κάτω Πόρτα στα νότια, στο δρόμο της Αγοράς και την Πάνω Πόρτα στην ανατολική πλευρά, δίπλα στην οποία βρίσκεται σήμερα το Λαογραφικό και Ναυτικό Μουσείο.Οι πύλες φέρουν χρονολογίες οι οποίες αφορούν επισκευή τους (1650 και 1646 αντίστοιχα), μετά από πειρατική επίθεση το 1638, οπότε το Κάστρο πυρπολήθηκε. Τότε ενισχύθηκε το Κάστρο με περισσότερους πύργους. Σήμερα στα σπίτια της εξωτερικής σειράς έχουν ανοιχτεί πόρτες και παράθυρα προς τα έξω. Στο Μέσα Κάστρο υπάρχουν 2 είσοδοι.Ίσως από το 17ο αιώνα ο οικισμός είχε επεκταθεί έξω από το Κάστρο αλλά η μεγάλη ανάπτυξή του, συνέβη μετά την απελευθέρωση της Ελλάδας από τους Τούρκους. Κατά κανόνα όσο πιο κοντά στο Κάστρο βρίσκεται ένα σπίτι, τόσο παλιότερο είναι.
