เมื่อไพฑูรย์ได้ไปขอเรียนวิชากับหลวงพ่อเเช่มวัดตาก้องและได้ไปอยู่กับหลวงพ่อแช่ม ท่านให้ไปพักที่กระท่อมซึ่งปลูกไว้รับรองพระ หรือผู้ที่มาเล่าเรียนวิชาอาคม