คราวหนึ่งหลวงพ่อปานเคยถูกลองวิชา เมื่อครั้งที่ท่านธุดงค์ไปถึงวัดโพธิ์ศรี จังหวัดปราจีนบุรี โดยขณะที่ท่านกับท่านเจ้าอาวาสวัดโพธิ์ศรี นั่งสนทนากันอยู่บนกุฏิ