Τα τελευταία 1.000 χρόνια έχουν συμβεί στο εσωτερικό του αμέτρητα βασανιστήρια, εκτελέσεις και φόνοι και έχουν αναφερθεί δεκάδες περιστατικά θεάσεων φαντασμάτων στο εσωτερικό του!
Στις 12 Φεβρουαρίου του 1957, στις 3 μετά τα μεσάνυχτα ένας φύλακας, ενώ έκανε τη βάρδια του, ένιωσε κάτι να πέφτει πάνω του από το ταβάνι. Όταν βγήκε έξω να ελέγξει τί γίνεται πρατήρησε μία λευκή, ακέφαλη φιγούρα στην κορυφή του πύργου. Αργότερα ανακάυψε ότι την ίδια μέρα, το 1554, η Lady Jane Grey είχε αποκεφαλιστεί στον Πύργο...
Το πιό γνωστό φάντασμα στην οικία είναι το πνεύμα της Ann Boleyn, μιάς από τις συζύγους του Henry του 8ου, που επίσης αποκεφαλίστηκε στον Πύργο το 1536, και από τότε τριγυρνάει στον μέρος, κουβαλώντας το κεφάλι της.
Άλλα φαντάσμα του Πυργου του Λονδίνου είναι εκεία του Henry του 6ου, του Sir Walter αλλά και της Δούκισσας του Salisbury που σύμφωνα με το θρύλο κατάφερε να ξεφύγει από την απαγχωνισμό αλλά τελικά συνελήφθει και αποκεφαλίστηκε. Από τότε και περιστασιακά λέγεται ότι το πνεύμα της μαζί με άλλα φαντάσματα κάνουν αναπαράσταση του θανάτου της.