Prve biblioteke nastale su prije više hiljada godina. Pri iskopavanja starog grada Ura, u Mesopotamiji, naučnici su otkrili glineni pečat. Bio je cilindričnog oblika s natpisima, i pripadao je prvoj biblioteci.

Već oko 700. god. prije nove ere narod Mesopotamije imao je dobro uređene biblioteke po svojim hramovima i palatama. Knjige su u tim bibliotekama bile glinene pločice ispisane klinastim pismom. Hiljade takvih pločica raspoređenih prema područjima nauke, sačinjavale su zbirke koje su predstavljale prve prave biblioteke. Jedna od njih tzv Asurbanipalova biblioteka, s oko 22000 glinenih pločica, danas se čuva u Britanskom muzeju u Londonu.

I Egipćani su imali biblioteke koje su čuvali sveštenici po hramovima. Knjige su bile napravljene u obliku svitaka od papirusa. Najčuvenija biblioteka svih vremena bila je u Aleksandriji stvorena 300. godine prije nove ere. Imala je najmanje 70000 svitaka od papirusa.

Rimljani su  nešto kasnije došli na zamisao da osnuju javnu biblioteku. Julije Cezar je napravio plan za stvaranje javnih biblioteka. Bogati građani Rima počeli su osnivati biblioteke za narod, a za sebe su počeli stvarati velike zbirke knjiga. Prve rimske biblioteke nalazile su se većinom po trgovima i javnim kupaonicama. Tako je bilo 28 javnih biblioteka u Rimu. Mnoge od njih uništene su u požarima, pljačkama ili su propale od vlage.

Javne biblioteke kakve su danas prvi put se javljaju u Engleskoj u 19. Vijeku. Engleski parlament je 1850. godine je odobrio osnivanje javnih biblioteka. Od tada ih je u čitavom svijetu sve više.