ห้องสมุดประชาชนจังหวัดกาญจนบุรี ได้เริ่มเปิดให้บริการแก่ประชาชนมาตั้งแต่ วันที่ 24 มิถุนายน 2494 โดยได้เช่าห้องแถวในตลาดกาญจนบุรีเปิดเป็นที่ทำการห้องสมุด ปี พ.ศ. 2496 กองการศึกษาผู้ใหญ่ กรมสามัญศึกษา ได้จัดสรรเงินงบประมาณ 30,000 บาท เพื่อให้จัดสร้างอาคารห้องสมุดเป็นเอกเทศ จังหวัดกาญจนบุรีได้ดำเนินการจัดสร้างเป็นอาคารไม้ชั้นเดียว ขนาด 11×24 เมตร ที่บริเวณด้านหน้าโรงเรียนกาญจนานุเคราะห์ จนถึงปี พ.ศ. 2513 โรงเรียนกาญจนานุเคราะห์มีความประสงค์ที่จะใช้ที่ดินตรงตัวอาคารของห้องสมุดฯ สร้างเป็นหอประชุมโรงเรียน ในขณะนั้นจังหวัดมีนโยบายที่จะรวมสถานที่ทำงานของ “ ห้องสมุด ” และที่ทำงานของ “ หน่วยศึกษานิเทศก์ ” ให้อยู่ในอาคารเดียวกันและเรียกใหม่ว่า “ ศูนย์วิชาการ” รวมอยู่ในตึกหลังคาเดียวกัน ดังนั้นจึงได้มีการจัดสร้างอาคารขึ้นใหม่เป็นตึก 2 ชั้นบริเวณที่ดินราชพัสดุ (สนามหน้าโรงเรียนกระดาษไทยอนุเคราะห์หรือโรงเรียนเทศบาล 5) ในปัจจุบันตึกหลังนี้ก็คือ ที่ทำการสำนักงานประถมศึกษาจังหวัดกาญจนบุรี เงินที่ใช้ในการก่อสร้างนั้นก็ได้รับการสนับสนุนจากสำนักงานสลากกินแบ่ง เงินเพื่อบำรุงสาธารณประโยชน์และบำรุงการกุศล ภายในจังหวัดของสหกรณ์ออมทรัพย์ครูกาญจนบุรี เงินช่วยเหลือจากคุรุสภาและบริษัท ไทยวัฒนาพานิชย์ จำกัด เป็นต้น ต่อมาทางจังหวัดได้จัดหาเงินงบประมาณมาสมทบได้อีกจำนวนหนึ่ง เมื่อนำมารวมกันแล้วได้ประมาณ 1,000,000 บาท จึงได้มีการจัดสร้างอาคารห้องสมุดขึ้นมาใหม่เป็นอาคารชั้นเดียวทรงสูงคอนกรีตเสริมเหล็ก โดยมีขนาด 20×20 เมตร การก่อสร้างได้แล้วเสร็จและห้องสมุดฯ ได้ย้ายเข้ามาเปิดทำการให้ใช้บริการแก่ประชาชนได้ เมื่อวันที่ 9 กันยายน พ.ศ. 2522 และได้เปิดทำการมาจนถึงปัจจุบัน ปี พ.ศ. 2537 ได้มีการจัดตั้งศูนย์บริการการศึกษานอกโรงเรียนอำเภอและศูนย์การศึกษานอกโรงเรียนจังหวัดได้หมอบหมายให้ห้องสมุดประชาชนจังหวัดอยู่ในความดูแลของศูนย์บริการการศึกษานอกโรงเรียนอำเภอเมืองฯ
และต่อมาในปี พ.ศ. 2542 ห้องสมุดประชาชนจังหวัดได้ไปอยู่ในความดูแลของศูนย์การศึกษานอกโรงเรียนจังหวัด (ปัจจุบันเปลี่ยนชื่อเป็น สำนักงานส่งเสริมการศึกษานอกระบบและการศึกษาตามอัธยาศัยจังหวัดกาญจนบุรี) จนกระทั่งถึงปัจจุบันปี พ.ศ. 2551 ห้องสมุดประชาชนจังหวัดกาญจนบุรีก็ได้กลับมาอยู่ในความดูแลรับผิดชอบของศูนย์การศึกษานอกระบบและการศึกษาตามอัธยาศัยอำเภอเมืองกาญจนบุรี (ซึ่งได้เปลี่ยนชื่อจากเดิมคือ ศูนย์การศึกษานอกโรงเรียนอำเภอเมืองฯ) ดังเดิม