ในสมัยแรกที่พระมหาสมบูรณ์ท่านนิมนต์หลวงปู่สีมาอยู่ที่วัดเขาถ้ำบุญนาค ก่อนที่จะมีกุฏิหลังเล็กที่หน้าปากถ้ำหน้าวัด หลวงปู่สีท่านจะจำวัดอยู่บนก้อนหินที่ในถ้ำ