1220 και του 1223 κατά την εποχή της Φραγκοκρατίας από το Γοδεφρείδο Β' Βιλλεαρδουίνο στην Ηλεία και προστάτευε και την Ανδραβίδα, αλλά και το επίνειο της, τη Γλαρέντζα.
Εδώ βρισκόταν το διοικητικό κέντρο του Κωνσταντίνου Παλαιολόγου από το 1427.
Το αρχικό όνομα του κάστρου ήταν Clermont, όπως το ονόμαζαν οι Γάλλοι ιδιοκτήτες του. Οι Έλληνες το ονόμασαν Χλουμούτσι όπως φαίνεται στο Χρονικό του Μορέως ή Χλεμούτσι, η ονομασία που έφτασε σε εμάς σήμερα. Κατά την εποχή της βενετσιάνικης κυριαρχίας ονομάστηκε Castel Tornese, επειδή οι Βενετσιάνοι θεωρούσαν ότι εκεί γινόταν η κοπή των νομισμάτων του πριγκιπάτου της Αχαΐας, των τορνεζίων.