ในสมัยก่อนแต่เดิมมาหมู่บ้านห้วยไซมีวัดที่เก่าแก่อยู่วัดเดียวคือวัดห้วยไซซึ่งชาวบ้านในสมัยนั้นก็ไม่มากเหมือนกับปัจจุบันแค่ภายหลังประชาชนมีการขยายตัวเพิ่มสูงมากขึ้นชาวบ้านจึงแยกกันไปตั้งวัดใหม่อีกวัดหนึ่งคือวัดศรีชัยชุมแต่เดิมสมัยก่อนนั้นเป็นป่าและรกไปด้วยต้นไม้ได้มีครูบาเต๋จะกับชาวบ้านร่วมกันถากถางที่สำหรับใช้เป็นสถานที่สร้างวัดโดยขอแรงจากชาวบ้านวัดห้วยไซเริมสร้างขึ้นเมื่อ พ.ศ.2412 ซึ่งก่อนสงครามโลกครั้งที่2นับอายุรวมถึงปัจจุบันก็ร้อยปีเศษพระครูบาเต๋เเต่เดิมเป็นคนเมืองลำพูนได้ออกถุดงมายังบ้านห้วยไซและได้ปักอยู่บริเวรบ้านห้วยไซปัจจุบัน ซึ่งสมัยยังเป็นป่ารกและได้อยู่สร้างวัดห้วยไซ แต่ไม่ทันเสร็จท่านได้มรณภาพลงเสียก่อน
