Daitoshokan no Hitsujikai berpusat pada kehidupan Kakei Kyoutarou, seorang siswa SMA yang sangat menyukai membaca buku. Dia adalah anggota dari “Library Club” di Akademi Shiomi, sebuah sekolah besar yang memiliki perpustakaan megah.
Kakei menjalani kehidupan yang tenang, menghabiskan waktu membaca buku, hingga suatu hari dia menerima pesan aneh dari seseorang yang menyebut dirinya “Gembala” (Shepherd). Gembala ini dikatakan sebagai sosok misterius yang bisa mewujudkan keinginan seseorang dan memandu mereka menuju kebahagiaan. Pesan ini membuat Kakei penasaran dan akhirnya mengubah hidupnya.
Tak lama setelah menerima pesan tersebut, Kakei secara kebetulan bertemu dengan seorang gadis ceria bernama Tsugumi Shirasaki, yang meminta bantuannya untuk mewujudkan impian mendirikan sebuah acara sekolah yang dapat membuat orang bahagia. Kakei setuju untuk membantunya, dan bersama dengan beberapa anggota klub perpustakaan lainnya, seperti gadis energik Tamamo Sakuraba, atlet cantik Kana Suzuki, dan sang ketua klub Nagi Kodachi, mereka bekerja sama untuk mengadakan acara tersebut.
