ไพฑูรย์เป็นชาวจังหวัดตากโดยกำเนิด เกิดที่บ้านหลังวัดดอนเเก้ว อันเป็นวัดประวัติศาสตร์ที่มีบันทึกอ้างถึงพระยาตาก เมื่อได้เป็นเจ้าเมืองตาก