เคยมีพระผู้ใหญ่เรียนถามท่านพ่อลี ว่า"ท่านพ่อลีก็เป็นพระผู้ใหญ่สายกรรมฐานทำไมท่านพ่อจึงพาญาติโยมประชาชนสร้างแต่พระ สร้างแต่เจดีย์"