Το εκκλησάκι του αγίου Ανδρέα δημιουργήθηκε από την αγία Φιλοθέη στα χρόνια της τουρκοκρατίας (14ος αιώνας). Παλαιότερα αποτελούσε το καθολικό μονιδρύου, το οποίο ήταν το μετόχιο της μονής της οσίας Φιλοθέης Βενιζέλου στην Αθήνα. Είχε ξύλινη στέγη και στο εσωτερικό του βρίσκονται 6 μαρμάρινοι κίονες.
Μπροστά στο τέμπλο του ναού σώζεται μέχρι σήμερα η κολόνα, όπου λέγεται ότι μαρτύρησε η Αγία Φιλοθέη το 1588, αφού υπέστη βασανιστήρια από τους Τούρκους. Ενταφιάστηκε στη δεξιά πλευρά του βήματος του Αγίου Ανδρέα, αλλά αργότερα μεταφέρθηκε στη Μητρόπολη Αθηνών.
Το εκκλησάκι αναστηλώθηκε το 1942 από τον Αναστάσιο Ορλάνδο και αγιογραφήθηκε από το ζωγράφο Φώτη Κόντογλου. Στον μικρό περίβολο της εκκλησίας υπάρχουν κρήνες και κίονες από την αυθεντική του μορφή.
