Το Ko Panyi δημιουργήθηκε στα τέλη του 18ου αιώνα από νομάδες ψαράδες της Ινδονησίας. Την εποχή εκείνη ωστόσο, οι νόμοι της περιοχής απαγόρευαν την κατοχή γης σε οποιονδήποτε μη ταϊλανδέζικης καταγωγής. Για αυτό το λόγο, οι νομάδες που εγκαταστάθηκαν εκεί έχτισαν τα σπίτια τους πάνω σε ξύλινους στύλους, κοντά στην ξηρά όπου θα ήταν προστατευμένα από τις δυσμενείς καιρικές συνθήκες, αλλά και δε συνιστούσαν κατοχή γης.
Με το πέρασμα του χρόνου ήρθε και η τουριστική ανάπτυξη της χώρας και οι νόμοι άλλαξαν, επιτρέποντας σε ξένους την ιδιοκτησία γης. Έτσι το χωριό άρχισε να επεκτείνεται προς τη στεριά, αποκτώντας τελικά τη μορφή που έχει σήμερα.