Perivolakia är delad i två byar - Kato Pervolakia och Pano Pervolakia, som är tom idag. Byn grundades av folk från Toplou klostret i Sitia (Vai) och historien säger att Osmanerna tvingade munkarna att flytta längre upp i bergen. Dels för att man trodde dessa var pirater som härjade, men även då man insåg att deras kyrka skulle få fäste i området.

Byns delning härör från just denna tid. Speciellt då de familjer som tvingades flytta fick bilda en ny "Pervolakia", som byn hette då. Den gamla byn fanns kvar och fick då namn som Pano och Kato.