Η αρχική μονή του Αγίου Ανδρέα χτίστηκε πολύ παλιά σε μια από τις πλέον απομονωμένες ακτές του Μιραμπέλου, κοντά στην Φινοκαλιά. Σήμερα το παλιό μοναστήρι δεν υπάρχει αλλά έχει κτιστεί η μικρή μεταγενέστερη εκκλησία του Αγίου Ανδρέα που λειτουργεί ως ερημητήριο.
Ο ναός του Αγίου Ανδρέα είναι κτισμένος μέσα στον βράχο και περιτριγυρίζεται από ένα μικρό αλσύλλιο με πεύκα. Σύμφωνα με την παράδοση, ένας βοσκός έβρισκε συνεχώς την εικόνα του Αγίου Ανδρέα στην σπηλιά που είναι σήμερα ο ναός, παρόλο που την έπαιρνε κάθε μέρα στο σπίτι του. Έτσι αποφάσισε να κτίσει τον ναό γύρω από τη σπηλιά. Μέσα στο σπήλαιο ρέει νερό, το οποίο χρησιμοποιείται ως αγίασμα.
Από την οροφή κρέμονται καντήλια, που μαζί με τις εικόνες στα διάφορα σημεία του σπηλαίου που προχωράει προς τα πάνω και τον λιγοστό φωτισμό από τα κεριά δημιουργούν κατανυκτική ατμόσφαιρα
Επίσης τριγύρω υπάρχουν μερικά κελιά για τους ερημίτες, ενώ το καμπαναριό της εκκλησίας έχει την επιγραφή «Δαπάνη λεπρών Σπιναλόγκας». Κοντά υπάρχει και ο τάφος του μοναχού Ιωάννη Λαμπράκη, ο οποίος ανακαίνισε τον ναό το 1850, πάνω στα χαλάσματα του.