Eesti Rahva Muuseumi loomisel 14. aprillil (vana kalendri järgi 1. aprillil) 1909. aastal nähti muuseumi ühe põhiülesandena raamatukogu rajamist, mille ülesandeks on koguda trükiseid sellises ulatuses, mis võimaldaks eestlaste ja nende maa teaduslikku uurimist: Arhiivraamatukogu loodi kogu eestikeelset trükisõna koondavaks arhiivkoguks. Eesti Rahva Muuseumi juhatuse esimehe Oskar Kallase eestvõttel moodustati Eesti Rahva Muuseumi juurde raamatukogu, mille nurgakiviks sai Eesti Üliõpilaste Seltsi poolt muuseumile üle antud raamatukogu (rajatud 1883. a toonase üliõpilase Oskar Kallase initsiatiivil, milles sisaldus ligi 10.000 köidet).

1919. aastast 1940. aasta sügiseni tegutseti Eesti Rahva Muuseumi Arhiivraamatukoguna rahvusraamatukogu staatuses. Rahvustrükiste kollektsioneerimine jätkus aastail 1940-1991 vastavalt võimalustele.

Kirjandusmuuseumi Arhiivraamatukogu on kuulunud kogu aeg nende raamatukogude hulka, millel on olnud tasuta sundeksemplar kõikidest Eestis ilmuvatest trükistest. Nõukogude võimu ajal oli Kirjandusmuuseumi Arhiivraamatukogu ka üks neljast ENSV raamatukogust, millel oli oma erifond.