ครั้งหนึ่งหลังจากออกพรรษาแล้ว หลวงปู่จามก็บอกลาอาจารย์พัน บอกลาหมู่แม่ออกว่าจะอยู่พักวิเวกภาวนาอยู่ภูจ้อก้อ บ้านแวง เป็นอุบายของหลวงปู่จามจะหนีจากบ้าน