การเสื่อมสลายความสำคัญของสำนักเขาอ้อภายหลังยุคพระอาจารย์ปาล มีเหตุผลอยู่หลายประการ เป็นต้นว่า
๑. สังคมเปลี่ยนค่านิยม
๒. การคมนาคมเปลี่ยนเส้นทาง
๓. วิทยาการสมัยใหม่รุกราน
๔. ขาดผู้นำที่เหมาะสมมาสืบทอดต่อ
และอีกเหตุผลหนึ่งที่คณะศิษย์เขาอ้อลงความเห็นเพิ่มเติม คือ เพราะพระอาจารย์ปาลเป็นเจ้าสำนักรูปแรกและรูปเดียวที่ไม่มีชื่อทองนำหน้าหรือต่อท้าย เหมือนกับเจ้าสำนักรูปอื่นๆที่เคยมี ซึ่งก็เป็นเรื่องน่าอัศจรรย์อยู่ไม่น้อย ก็อย่างที่ว่า สำนักเขาอ้อแห่งนี้ตั้งแต่ก่อตั้งมา มีนามว่าทองขึ้นต้นหรือต่อท้ายทุกรูป ตั้งแต่พระอาจารย์ทอง ปฐมาจารย์แห่งสำนักเขาอ้อ จนถึงปรมาจารย์ทองเฒ่า ทองรูปสุดท้าย ข้อสังเกตนี้มีส่วนน่าเชื่อถือแค่ไหน เหตุการณ์ภายหลังการมรณภาพของพระอาจารย์ปาล เป็นส่วนสนับสนุนได้อีกอย่างหนึ่ง
สำหรับประวัติพระอาจารย์ปาล ปาลธัมโม นั้น ไม่ค่อยจะมีหลักฐานเป็นลายลักษณ์อักษรให้อ้างถึงได้มากนัก เนื่องจากพระอาจารย์ปาลท่านเป็นพระที่หนักไปในทางสันโดษ ชอบอยู่เงียบๆ ไม่ค่อยสุงสิงกับสังคมภายนอก ประกอบกับการบันทึกหลักฐานในสมัยท่านยังไม่แพร่หลายมากนัก และที่สำคัญตัวท่านไม่มีส่วนเกี่ยวข้องกับหลักฐานทางบ้านเมืองมากนัก กล่าวคือไม่เข้าสู่ระบบการปกครองของคณะสงฆ์ เหมือนกับพระอาจารย์เอียด ที่ท่านได้รับพระราชทานสมณศักดิ์เป็นพระครูสัญญาบัตรและได้เป็นเจ้าคณะตำบล ทางคณะสงฆ์จึงได้บันทึกประวัติและผลงานของท่านไว้ ทำให้มีหลักฐานลายลักษณ์อักษรให้ศึกษาค้นคว้าถึงได้ไม่ยากนัก แต่สำหรับกรณีของพระอาจารย์ปาล จึงจำเป็นต้องอาศัยหลักฐานจากคำบอกเล่าของชาวบ้านไกล้วัดที่เคยได้พบเห็นท่านเป็นสำคัญ
จากคำบอกเล่าของคุณตามงคล ซึ่งมีศักดิ์เป็นญาติใกล้ชิดกับพ่อท่านปาล ได้ให้ข้อมูลเกี่ยวกับประวัติพระอาจารย์ปาลมาว่า บรรพบุรุษของพระอาจารย์ปาลเป็นชาวระโนด จังหวัดสงขลา ที่อพยพมาตั้งถิ่นฐานใหม่ที่บริเวณบ้านเขาอ้อ แต่ก็ไม่แน่ใจว่าพระอาจารย์ปาลท่านมาเกิดที่เขาอ้อ หรือเกิดที่ระโนดแล้วอพยพตามครอบครัวมา แต่ว่าแม้จะเกิดที่ระโนด ก็คงจะมาตั้งแต่เล็กๆ อย่างน้อยก็ก่อนจะเข้าโรงเรียน
พระอาจารย์ปาลเป็นญาติกับพระอาจารย์ทองเฒ่า ส่วนจะเป็นญาติใกล้ชิดกันแค่ไหนก็ไม่สามารถระบุได้ แต่ก็เข้าใจว่าใกล้ชิดกันพอสมควร เพราะพระอาจารย์ทองเฒ่าก็มีพื้นเพเดิมเป็นชาวระโนดเช่นกัน ครอบครัวของพระอาจารย์ปาลคงจะใกล้ชิดและเคารพนับถือพระอาจารย์ทองเฒ่ามาก ด้วยเหตุนี้เมื่อพระอาจารย์ปาลมีอายุพอที่จะเรียนหนังสือได้ พ่อแม่จึงได้พาไปฝากให้อยู่ศึกษาเล่าเรียนในสำนักวัดเขาอ้อ ซึ่งสมัยนั้นเป็นสำนักใหญ่และสำคัญที่สุดในละแวกนั้น มีลูกศิษย์มากมาย
ผู้เฒ่าท่านหนึ่งเล่าให้ฟังว่า พระอาจารย์ปาลเป็นคนเรียนเก่ง แต่ค่อนข้างจะดื้อ มีอุปนิสัยรักสนุก ร่าเริง เป็นนักเสียสละตัวยง เป็นที่รักใคร่ของศิษย์ร่วมสำนักทุกรูปทุกคน ท่านถึงกับเคยรับโทษแทนเพื่อนหลายครั้ง พระอาจารย์ปาลเรียนอยู่ในสำนักวัดเขาอ้อนานจนมีวัยพอที่จะบวชเรียนได้ พระอาจารย์ทองเฒ่าจึงได้จัดการให้บวชเป็นสามเณรแล้วให้อยู่ศึกษาพระธรรมและวิทยาคมต่างๆ อยู่ในสำนักเขาอ้อ
พระอาจารย์ปาลบวชตั้งแต่สามเณรจนกระทั่งได้อุปสมบทเป็นพระภิกษุที่วัดเขาอ้อ โดยมีพระอาจารย์ทองเฒ่าเป็นพระอุปัชฌาย์ให้ อุปสมบทแล้วก็ศึกษาเล่าเรียนเพิ่มเติมและช่วยพระอาจารย์ทองเฒ่าอยู่ที่สำนักเขาอ้อต่อไป จนกระทั่งพระอาจารย์ทองเฒ่าคัดเลือกให้เป็นทายาทเจ้าสำนักถ่ายทอดวิชาสำคัญๆให้จนหมดสิ้น
ต่อมาเมื่อพระอาจารย์ทองเฒ่ามรณภาพลง ในฐานะทายาทเจ้าสำนัก และเป็นพระที่มีพรรษาอาวุโสที่สุด พระอาจารย์ปาลจึงขึ้นเป็นเจ้าสำนักสืบทอดต่อ ทำหน้าที่ต่างๆต่อจากพระอาจารย์ทองเฒ่า
ภายหลังการมรณภาพของพระอาจารย์ทองเฒ่า จึงมีศิษย์ของสำนักวัดเขาอ้อที่มีชื่อเสียงโด่งดังพร้อมกันสองรูป คือ พระอาจารย์เอียด เจ้าอาวาสวัดดอนศาลา ในฐานะศิษย์เอกคนโต และพระอาจารย์ปาล ปาลธัมโม เจ้าสำนักเขาอ้อ แต่เจ้าสำนักทั้งสองต่างเคารพรักใคร่กันมาก ไปมาหาสู่กันไม่ได้ขาด พระอาจารย์เอียด แม้จะมีภาระใหญ่อยู่ที่วัดดอนศาลา แต่ก็ไม่ทอดทิ้งวัดเขาอ้อ เพราะตระหนักอยู่เสมอว่าเป็นสำนักที่ให้วิชาความรู้ เป็นบ้านที่ท่านเติบโตขึ้นมา ฉะนั้นเมื่อไม่มีพระอาจารย์ทองเฒ่า ก็จะต้องไปดูแลช่วยเหลือพระอาจารย์ปาลทุกอย่างเท่าที่จะทำได้ เพราะโดยส่วนตัวพระอาจารย์เอียดรักใคร่เมตตาศิษย์น้องรูปนี้มาก เคยใกล้ชิดสนิทสนมกันเมื่อคราวอยู่ร่วมสำนักที่เขาอ้อ ในสายตาพระอาจารย์เอียด พระอาจารย์ปาลคือศิษย์น้องหัวดื้อ แต่เคารพรักศิษย์พี่อย่างท่านมาก
ในขณะเดียวกัน ในสายตาพระอาจารย์ปาล พระอาจารย์เอียดคือพี่ชาย คือศิษย์พี่ที่จะต้องเคารพเชื่อฟังต่อจากอาจารย์ และโดยส่วนตัวแล้วเมื่อคราวอยู่ร่วมสำนักกัน ศิษย์พี่รูปนี้คอยช่วยเหลือเจือจุนท่านมามาก ด้วยความเคารพนับถือที่มีต่อกัน ท่านทั้งสองจึงถ้อยทีถ้อยอาศัยกัน ต่างระมัดระวังในบทบาทของกันและกัน ด้วยเกรงว่าจะเด่นกว่าอีกฝ่าย
ว่ากันว่าโดยธรรมเนียมแล้ว ผู้เป็นประธานหรือควรจะมีบทบาทเด่นที่สุดในสายเขาอ้อขณะนั้น ก็คือ พระอาจารย์ปาล ปาลธัมโม ในฐานะเจ้าสำนัก แต่เนื่องจากพระอาจารย์เอียดก็เป็นศิษย์ที่ปรมาจารย์ทองเฒ่าคัดเลือกให้เป็นทายาท ถ่ายทอดวิชาไว้ให้เท่าๆกัน และที่สำคัญมีความอาวุโสมากกว่า พระอาจารย์ปาลจึงเคารพและระมัดระวังบทบาทของตัวเองไม่ให้ยิ่งไปกว่าศิษย์พี่ พระอาจารย์เอียดเองก็ตระหนักในข้อนี้ แม้ว่าท่านจะมีความรู้ความเชียวชาญไม่ยิ่งหย่อนไปกว่าพระอาจารย์ปาล มีพรรษาอาวุโสกว่า แต่ก็ตระหนักดีว่าพระอาจารย์ปาลเป็นเจ้าสำนักใหญ่ ทานจึงให้เกียติมาก ระมัดระวังในบทบาทตัวเองอย่างสูง
ต่อมาดูเหมือนว่าท่านทั้งสองหาทางออกได้ โดนพระอาจารย์ปาลแสดงบทบาทของตัวเองเต็มที่ในสำนัก ส่วนภายนอกมอบให้พระอาจารย์เอียด และตัวพระอาจารย์เอียดเองก็เปลี่ยนไปทำงานให้คณะสงฆ์เสียมากกว่า มอบภาระอันเป็นหน้าที่ของเจ้าสำนักเขาอ้อให้พระอาจารย์ปาลดำเนินการต่อไป ท่านอยู่ในฐานะผู้ช่วยและที่ปรึกษา
ด้วยเหตุนี้ในสำนักเขาอ้อ พระอาจารย์ปาลจึงทำหน้าที่เจ้าสำนักได้เต็มที่