มูลเหตุแห่งการย้ายไปอยู่วัดโคนอนของพระภาวนาโกศล (หลวงปู่รอด) ในรัชสมัย พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๔ พระองค์ทรงเสด็จพระราชดำเนินพระราชทานผ้าพระกฐิน ณ วัดนางนอง วรวิหาร เล่ากันว่า หลวงปู่รอดไม่ยอมถวายอดิเรก นับเป็นความผิดฐานหมิ่นพระบรมเดชานุภาพ เพราะเมื่อพระเจ้าอยู่หัวฯ ทรงถวายผ้าไตรเสร็จสิ้นแล้ว พระสงฆ์ต้องถวายอดิเรกตามธรรมเนียมพระราชประเพณี แม้หลวงปู่เอี่ยมซึ่งขณะนั้นยังเป็นพระปลัด ได้เตือนให้ถวายอดิเรกแล้ว แต่ท่านก็ยังนิ่งเฉยเสีย เป็นที่โจษจันกันมากว่า พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวทรงกริ้วมาก เสด็จออกมานอกพระอุโบสถทันที แล้วทรงตรัสด้วยพระสุรเสียงอันดังว่า “เขาถอดยศเราๆ”
ต่อมาอีกไม่นาน ก็ได้มีพระราชโองการโปรดเกล้าฯ ถอดพระภาวนาโกศล (หลวงปู่รอด) ออกจากสมณศักดิ์ ในฐานหมิ่นพระบรมเดชานุภาพ และเรียกพัดยศคืน หลวงปู่รอดท่านจึงได้ย้ายกลับไปอยู่วัดบ้านเกิดที่ห่างไกลจากความเจริญ คือ วัดโคนอน ซึ่งอยู่ในคลองขวางฝั่งตะวันตก ภาษีเจริญ และได้มรณภาพที่วัดแห่งนี้
ผู้คนพากันโจษขานว่า เหตุที่หลวงปู่รอดท่านไม่ยอมถวายอดิเรกในคราวนั้น เป็นการเอาอย่าง สมเด็จพระพุฒาจารย์ (โต พรหมรังสี) หรือท่านขรัวโต ที่กล้าเตือนพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว อย่างไม่หวั่นเกรงภัยใดๆ และท้ายที่สุดพระเจ้าอยู่หัวฯ ก็ไม่ทรงกริ้ว ทั้งยังทรงตรัสว่า “ยอมให้ท่านขรัวโตผู้เดียว”
แต่เมื่อมีเชื้อพระวงศ์ชั้นผู้ใหญ่ไปสอบถามท่าน ณ วัดโคนอน หลวงปู่รอดท่านตอบว่า สาเหตุที่ท่านไม่ยอมถวายอดิเรกนั้น เป็นเพราะท่านไม่พอใจในการที่พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ได้แบ่งแยกพระสงฆ์ของไทยออกเป็น ๒ นิกาย คือ มหานิกาย กับ ธรรมยุติกนิกาย อันเป็นสาเหตุให้คณะสงฆ์แตกแยกกัน
เมื่อความทราบถึงพระเนตร พระกรรณ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวทรงเล็งเห็นว่า หลวงปู่รอดผู้นี้ยอมสละสมณศักดิ์เพื่อบูชาพระวินัย ท่านเป็นผู้ไม่เห็นแก่ลาภยศทั้งปวง จึงทรงพระกรุณาโปรดเกล้าฯ ให้สัตบุรุษ คือ ท่านเจ้ากรมสังฆการี นำพัดยศและสมณศักดิ์มาถวายคืนให้กับหลวงปู่รอด เพื่อให้ดำรงสมณศักดิ์ดังเดิม แต่หลวงปู่รอดท่านไม่ยอมรับ และได้พูดกับสังฆการีว่า
“ใครเป็นผู้ถวายแก่อาตมา แล้วใครเล่าที่ขอคืนไป บุรุษท่านจงเอากลับคืนไปเถิด”
สาธุครับ พระสมัยก่อนท่านยินดีในพระวินัยมากกว่าชื่อเสียงและการยกย่องทางโลก
