Perpustakaan PP. Mambaul Ulum Bata-Bata bernama Perpustakaan Al-Majidiyah. Perpustakaan ini pada awalnya terletak di kompleks Madrasah Timur. namun setelah direlokasi, perpustakaan ini dipindah ke kompleks pesanteran tepatnya di bagian tengah pesantren. Relokasi ini bertujuan untuk mempermudah jangkauan santri dalam memenuhi kebutuhannya terhadap koleksi referensi perpustakaan.

Akhirnya, pembangunan perpustakaan yang baru dibangun dengan luas 6 m x 25 m dengan perencanaan kontruksi dua lantai. Pembangunan lantai dasar selesai dan telah digunakan ini kemudian mengelami kebakaran pada 22 Agustus 2008 sebagai imbas dari kebakaran yang melanda asrama santri pada blok S. sehingga, kebakaran tersebut mengakibatkan kerusakan pada bagian atap dan membakar beberapa koleksi buku dan kitab di dalamnya. Kemudian proses rehabilitasi dilakukan dengan mengubah bangunan tersebut dengan rencana dua lantai dengan cara mengecor bagian atapnya. Setelah itu, perpustakaan dioperasikan kembali dengan menggunakan lantai dasar sambil menunggu penyelesaian untuk pembangunan lantai satu.

Disamping menyediakan koleksi kitab dan buku, perpustakaan Al-Majidiyah PP. Mambaul Ulum Bata-Bata juga menyediakan kaset dalam bentuk CD dan DVD untuk ditayangkan kepada santri. Koleksi kaset CD dan VCD tersebut terdiri dari beberapa pengetahuan keagamaan yang dikomparasikan dengan penjelasan saintis. Jumlah kaset CD dan DVD tersebut sebanyak 49 judul kaset. Penayangan ini mempunyai tujuan untuk melengkapi pengetahuan santri dengan pengalaman audio visual.