Η Παναγία η Σπηλιανή ή Καληαρμένισσα, όπως λέγεται από τους ντόπιους είναι μια γραφικότατη Μονή, χτισμένη σε σπηλιά κοντά στο Πυθαγόρειο.Πρόκειται για ένα σπήλαιο-όρυγμα (σπήλαιο εκκλησιά). Οι διαστάσεις του ορύγματος είναι 120 x 36μ, βάθος 8,5μ και βρίσκεται σε υψόμετρο 109μ. και ερευνήθηκε για πρώτη φορά από τον Ι. Πετρόχειλος 7/1952 [Ε.Σ.Ε. (Α.Σ.Μ. 204)].
Στη Μονή, ο επισκέπτης μπορεί να προσκυνήσει τη θαυματουργή εικόνα της Παναγίας, η οποία είναι σπασμένη σε πέντε κομμάτια και χωρίς χρώματα. Η παράδοση λέει ότι όταν κάποιοι ξένοι έφτασαν στο νησί και θέλησαν να πάρουν την εικόνα, η Παναγία δεν θέλησε να εγκαταλείψει το νησί και πέφτοντας στη θάλασσα, η εικόνα έσπασε σε πέντε κομμάτια. Τα πέντε αυτά κομμάτια επέπλευσαν στο νησί και τα περιμάζεψαν οι ντόπιοι. Οι εξώστες της Μονής επιφυλάσσουν στον επισκέπτη μια πανοραμική θέα του νησιού, μέχρι και τα παράλια της Μικράς Ασίας.
Η Ιερά Μονή βρίσκεται σε μια καταπράσινη περιοχή, υψόμετρου 120 μέτρων και είναι αφιερωμένη στα Εισόδια της Θεοτόκου. Σύμφωνα με αρχαίες πηγές, το σπήλαιο αποτελούσε τόπο λατρείας από την αρχαιότητα. Ειδικοί μάλιστα, υποστηρίζουν ότι ο Πυθαγόρας διέθετε φιλοσοφική σχολή στο σημείο όπου είναι χτισμένο σήμερα το μοναστήρι.
Στη μονή σώζεται η αρχαία θαυματουργή εικόνα της Παναγίας Σπηλιανής, η οποία έχει υποστεί πολλές φθορές και είναι ραγισμένη. Σύμφωνα με την παράδοση, το ράγισμα της οφείλεται στην προσπάθεια κάποιων ξένων να την κλέψουν και να την μεταφέρουν με ένα καράβι στον τόπο τους. Οι ντόπιοι λένε, ότι η εικόνα της Παναγίας θέλοντας να παραμείνει στο νησί, έσπασε και βυθίστηκε στο νερό. Οι πιστοί την βρήκαν στην παραλία και την επανατοποθέτησαν στον ναό. Γι’ αυτό η εικόνα έχει λάβει την ονομασία «Καληαρμένισσα», αφού πλέοντος επέστρεψε στο νησί.
Δίπλα από την σπηλιά είναι χτισμένος μικρός ναός προς τιμήν του Αγίου Γεωργίου. Τέλος, στο εσωτερικό του σπηλαίου υπάρχει αγίασμα το οποίο αναβλύζει από το έδαφος.
Κατεβαίνοντας τα σκαλιά αν κοιτάξουμε δεξιά και αριστερά θα παρατηρήσουμε το τεχνικό κόψιμο της πέτρας. Πιο βαθιά παρατηρούμε τις κολώνες που άφηναν για να στηρίζεται η οροφή. Οι σταλακτίτες είναι ελάχιστοι.
Πιθανόν εδώ να στεγάστηκε και το φημολογούμενο Μαντείο της Σίβυλλα ΦΥΤΩ το 600-500 Π.Χ. Αυτό είχε μαντέψει και τη μετάβαση του φιλόσοφου Πυθαγόρα στην Κάτω Ιταλία και την εξέλιξή του.
