在竣工至今的143年里，富厚堂迎来送往，独没有迎进过真正的主人――曾国藩果然一步未踏进这新宅，只在富厚堂旁边的思云馆住过1年零6个月。 1866年，曾纪泽携家眷及77箱书住进来；抗战期间，曾家100多口人避难老家，是这座宅子人丁最兴旺的时段。土改后、“文革”中，这座宅子是当地公社、卫生院、供销社、粮站等单位的“公房”。
曾纪泽入住富厚堂后，因为没地方放书，征得曾国藩同意后建了藏书楼，于是有了曾国藩的“求阙斋”、曾纪泽的“归朴斋”、曾纪鸿夫妇的“艺芳馆”，后来曾宝荪又将“思云馆”辟为藏书楼。
据曾昭棉先生回忆，抗战期间，曾有四五位驻华美军军官来到富厚堂，曾约农办了一桌酒菜请他们。席间对谈，曾约农、曾宝荪是标准的伦敦音，曾昭棉的众多兄弟嫂子留美归国，也个个能说英语，让这些身处山区的美国人大感诧异。他们参观了藏书楼，看到曾纪泽从英、法、德带回的各国原版书，以及从艺芳女校运回的英文书，爱不释手，几乎不想下楼。“他们后来又来过几次，有一次吃醉了酒，是用轿子抬回去的。”
与晚清四大藏书楼媲美
曾国藩未点翰林之前收藏的书籍，有文字记载的是26岁进京赶考、返乡途中在金陵书肆典了四季衣裘购进的《二十三史》。归家禀告父亲后，竹亭公且喜且诫，表达了这样的意思：借钱买书不怕，可以尽力想法替你赎还，你若能圈点一遍，就算对得起我了。这一年，曾国藩几乎足不出户，将《二十三史》通读了一遍。
京师为官12年，也是曾国藩流连琉璃厂30多家书铺、结交书友的12年。身居高位之后，一些地方官和士绅投其所好，大量呈赠书籍字画，其中不乏珍本。
据胡卫平考证，富厚堂这4座藏书楼16间房、800平方米，历经5代人，共藏书30万卷（约计10万册），足以与晚清四大私人藏书楼――浙江陆心源的“?宋楼”，浙江丁申、丁丙兄弟的“八千卷楼”、山东杨氏的“海源阁”和常熟瞿氏的“铁琴铜剑楼”媲美。
胡卫平告诉记者：曾家藏书的价值，首先在于相当数量的宋版书，如宋绍熙刻本《公羊传》31册、宋抚州本《礼记》16册、北宋本前后《汉书》各60册、宋刻本《仪礼疏》、宋版《庄子》、宋本《笺注陶渊明集》、《苏写陶书》、宋拓《皇甫碑》等。其次在于，凡是曾国藩做过官的地方，只要有县志，他都收藏，共计70多种。曾宝荪在回忆录中说过：“我家的县志是很珍贵的一部分。”
曾家保存了丰富的研究近代史的资料，如奏折、咨札原稿；录存的朝廷谕旨；兵部、吏部、户部以及平行督抚、将军来往公文的抄件；不同年份的军饷、协济征解、调拨银两、钱粮收支账目和下属官吏月薪年俸的批定、改定；还有太平军将领和触律违纪者的“供状”、“供词”；甚至与下属会面后，此人才、器、识、学、状、貌、可用与否的亲笔手批，也保存着。
此外，楼内收藏文物字画、字屏画屏等1000多件；大量的外文原版书，涉及西方政治、经济、军事、教育、医学、农学等等，曾纪泽的“归朴斋”里还有一套《大英百科全书》。
楼在，书散
今年91岁的第四代管书人王席珍健在。她最乐意讲的，是跟曾宝荪学英文那段。她没有正经上过学，却很能说几句英语。
父亲王子陵是曾府第三代管书人，教给她“典守”之责：“要像爱护生命一样爱护这些典籍和文书。”1942年曾宝荪返回老家，看见庭院荒芜，不免凄惶。当她转到藏书楼，只见琳琅满架，一尘不染。当时，曾国荃大夫第中的藏书已经一本不剩了，曾宝荪大叹“天壤之别”。曾宝荪在家期间教侄辈学英文，王席珍在一旁伴读3年，进步很快。
湖南和平解放前夕，曾宝荪、曾约农姐弟派人回富厚堂，将曾国藩父子兄弟的日记、手迹以及部分珍贵文献（包括《李秀成自述》真迹等）装成4大箱运到九龙。他们在香港寓居了两年。1951年，陈诚以“中华民国副总统”名义一再邀请曾氏姐弟赴台，运到九龙的这部分曾氏家藏手稿文献同年随曾氏姐弟迁置台北。1972年，年事已高的姐弟二人将它们寄存在台北故宫博物院，直到今天。
王席珍守着剩余的部分。她清楚地记得，1949年下半年，长沙来了两个姓陈的人，将3座书楼打上封条；又过了四五年，省城来人雇请民工将书担至衡山县百果镇，足有200多担，然后装船发运长沙。现在湖南图书馆收藏有曾氏富厚堂各类图书和手抄本12000多册，湖南博物馆收藏有曾国藩亲自批点的鄱阳湖胡克家翻元兴文署本《资治通鉴》以及部分书画等。
藏书楼里的其它东西，在经历“土改”、“四清”、“文革”等等之后，大部分散佚了。胡卫平告诉记者，“土改”时，曾有村民将曾家线装书上、下的留白部分（用作眉批之类）裁掉，因为“可以充当一本记账的小本本了”。今天的藏书楼，架上零星躺着些影印件或从附近村民家收来的线装书，摆摆样子。曾经存在110年的曾家藏书楼，空了。
2006年，曾国藩故居藏书楼被列为国家重点文物保护单位。