A múzeum első irodalmi anyaga Garay János (Szekszárd, 1812 – Pest, 1853) költő hagyatéka, amit lánya, Garay Gizella ajándékozott a múzeumnak 1917-ben. Az első irodalmi kiállítás Garay János relikviáiból és könyvtárából került megrendezésre 1920-ban. A Garay-hagyaték – a múzeum más gyűjteményeivel ellentétben – viszonylag szerencsésen vészelte át a második világháború pusztításait: Garay kéziratai, könyvtára és relikviái nagy számban maradtak fenn. Az 1980-as években a Garay-család leszármazottai a múzeumnak ajándékozták a költő öccsének, a szintén költői babérokra pályázó Garay Alajosnak (Szekszárd, 1818 – Dunaszekcső, 1886) kéziratait. Babits Mihály (Szekszárd, 1883 – Budapest, 1941) szülőháza 1967-ben vált emlékházzá. Az 1970-es években Vendel-Mohay Lajosné áldozatos munkájával kiemelkedő Babits-gyűjtemény jött létre.

Ekkor alakult az irodalmi anyag önálló gyűjteménnyé, mely az állandó kiállításon bemutatott családi emlékek, relikviák, bútorok mellett jelentős kézirat-, fotó- és dokumentumanyagot őriz. A költő és közvetlen családtagjainak, szüleinek, nagyszüleinek levelezéséből, fotóiból és dokumentumaiból bepillantást nyerhetünk a Babits Mihály életét és művészetét meghatározó családi tradíciókba. Dienes Valéria (Szekszárd, 1879 – Budapest, 1978) filozófusnő, táncteoretikus életútját és emlékeit a tudósasszony fiának, Dienes Gedeonnak köszönhetően 2001-től állandó kiállításon mutatjuk be az érdeklődőknek. 2005-ben Mészöly Miklós (Szekszárd, 1921 – Budapest, 2001) író és Baka István (Szekszárd, 1948 – Szeged, 1995) költő hagyatékával gyarapodott a gyűjtemény. A Baka István Emlékszoba a Babits Mihály Emlékházban nyílt meg benne a költő személyes tárgyaival, könyvtárával és lemezgyűjteményével. 2005-ben nyílt meg, az Irodalom Háza – Mészöly Miklós Múzeum. Célkitűzése egyrészt Mészöly Miklós írói pályájának állandó kiállításon való bemutatása, hagyatékának gondozása. Másrészt feladatának tartja Tolna megye irodalmi értékeinek megismertetése mellett a kortárs irodalom népszerűsítését és a helyi irodalmi élet élénkítését, könyvbemutatók, felolvasó és szerzői estek rendezését.

2012-ben László Lajos (1925-2009) író, hagyatéka lánya, László Judit ajándékaként került a gyűjteménybe. Az Uránbányászok dokumentumjáték dráma gépelt szövegkönyve, önéletrajzi fogalmazványai, dokumentumai, könyvei és levelezése több mint 200 tétel. 2013-ban Telek Gabriella és férje, Szentpéteri Péter ajándékozása nyomán egy alapítvány és Buda Attila irodalomtörténész közreműködésével került a gyűjteményébe Babits Mihály oldalági rokonságából előkerült három fotóalbum, mely 215 db, 1860 és 1914 közötti fényképet tartalmaz. A következős évben vásárlás útján egy újabb oldalági Babits-rokon fotóalbumával benne 84 fotográfiával gyarapodott a gyűjtemény.