Das mittelalterliche Felsenkloster wurde am Hang einer 40 Meter hohen Klippe in einem geschützten Waldgebiet errichtet. Die Räume waren auf zwei Ebenen aus weichem, kalkhaltigem Gestein geschnitzt. Die Überreste von zwei Kirchen, einer Krypta und einem Refektorium sowie einige der Zellen, in denen die Mönche lebten, sind bis heute erhalten.
Das Kloster wurde höchstwahrscheinlich im 12. Jahrhundert erbaut und blieb bis zum Ende des 15. oder frühen 16. Jahrhunderts in Gebrauch. Erwähnenswert ist, dass in der Nähe mittelalterlicher Gebäude Überreste eines Tempels aus dem 5.-6. Jahrhundert gefunden wurden.
Der Name des Klosters leitet sich vom Wort "alaca" ab, was auf Türkisch "bunt" bedeutet. Es bezieht sich auf bunte Fresken, deren Überreste noch an den Wänden in den heiligen Räumen zu sehen sind.