五桂楼有五马山墙以防风火，前后有四米高的围墙，围墙东西两侧有大门，西侧为正门。进门便是卵石砌成的庭院，石刻木雕，花草竹木使庭院绿荫婆娑，花香袭人，灰尘不蒙，市声不喧，显得幽静，古朴、清雅。楼下为三楹统间前后分隔，前厅为讲学会文之所，后厅是楼梯，楼上有书橱二十四架，藏有5万多卷古书善本，名画碑贴和手抄本，有木雕板近百块，屋顶呈“众”字形，有暗阁，明看二层，实为三层。据传，凡遇战乱，善本多藏千顶上暗阁，暗阁中至今仍保留有“柱百竿”一根，长9.8米，竹竿上记着当时建楼的各种尺寸数据和梁架构件的符号，似现代的建筑图纸。登五桂楼眺望，可一览四明七十二峰，故五桂楼又名七十二峰草堂。现悬挂的“五桂楼”匾额为清代书法家胡芹所书，“七十二峰草堂”为清代书法家吕屐山所题。五桂楼有一套比较严格而独特的藏书保管制度，所以，它藏书之丰，在浙东仅次于宁波天一阁，有“浙东第二藏书楼”之称。现为省重点文保单位。五桂楼西侧原有书房两间，名曰“爱吾庐”，后扩建为五间，雕栋画梁，卷蓬饰顶，建造讲究，名称“梦花书屋”，与五桂楼相互辉映，为黄澄量居室和会友、写书之所。东侧有平房五六间，为当时工匠雕板印书所用。另建有厨房和家人居室，周围圈以围墙，庭院有卵石砌面，形成一古朴优雅的建筑群落，典型的江南书香门第。

       五桂楼为三间二层的五马髟木结构楼房，座南朝北。楼房通面阔10.3米，通进深10.38米，明间面阔4.3米，次间面阔3米，通高9.96米。穿斗和抬梁相结合的梁架结构，屋顶成“众”字形，利用中间暗阁来隔热防漏，有利于书籍的保管。阁楼暗间中至尽保存有“柱百竿”一根，在长9.8米的竹竿上记注着当时建筑此楼的各种尺寸数据及梁架构件的符号，起到现在建筑图纸的作用。楼下为客厅，楼下收藏书籍，排列二十余口大书橱，分藏所有古籍秘册。为了防火，在楼东西高筑风火高墙，更在书楼的四周筑有三米多高的围墙。大门开在围墙的东西两边，墙内楼前有半亩庭园，以鹅卵石铺地，庭内栽有桂树与柿树，近南墙垒石成桌以置盆景，朴质幽雅。由于五桂楼的“藏书之富甲越中”，闻名于东南，故有“浙东第二藏书楼”之称。

       五桂楼于1981年6月被列入市级文物保护单位，1989年12月升列为省级文物保护单位。 1949年5月，梁弄解放，五桂楼无人管理，由地方政权接管，为地方武装民兵临时住宿，继而为冬学扫盲学校。1954年春，余姚县委根据宁波地委保护文物指示，恢复五桂楼，设专人保管，专职管理员史良(退休老师，己故)，隶属余姚县文管会。1957年秋至1958年9月，梁弄镇利明村在五桂楼设农业高级合作社办公室。1958年冬至1960年春“大跃进”时期，五桂楼为利明大队公共食堂。在此期间，藏书散失千余册。1962年，由梁弄经官致老先生整理散书，装订修复，历时两年，装箱库存，总计13000册。1964年，省厅调拨五桂楼藏书珍贵版本二千四百多册。1974年经国家拨款维修后，为余姚人民政府重点文物保护单位。1989年12月12日为浙江省文物保护单位。据1990年调查统计，五桂楼藏书9993册。负责人葛茂清。现存书本式藏书目录一册。楼舍占地面积279.91平方米，使用面积138平方米。1949年后五桂楼从未对外开放参观阅览。党的十一届三中全会以后，特别是近几年来，经余姚市文管会介绍，前来参观和查阅古籍文献的知名人士、学者、大专院校师生等日益增多。

       内藏有黄澄量手辑《明代文类》一百四十册和著作《姚江书画传》、《四明耆旧传》、《五桂楼书目》。

        黄安澜重新编订了《姚江黄氏五桂楼书目》，于光绪二十一年（1895）春付梓。现存《姚江黄氏五桂楼书目》四卷，有俞樾隶书题签。按此《书目》统计，得书共3666种。

       黄澄量，字式筌，号石泉，生于清乾隆年间，余姚梁弄人。诸生。一生嗜求藏书，“截缣以购，鬻产而求”。师事孙磐，笃志力学，于书无所不窥。博学多艺，擅长丹青。历十多年之功，藏书五万余卷。嘉庆十二年(1807)，于故居四明梁弄(今余姚市梁弄镇)构藏书楼，二年落成，署名“五桂楼”。缘黄氏在宋代有一远祖，兄弟五人皆学识渊博，同科中举，殊著清望，世称“五桂"。澄量极为远慕，因而得名。时五桂楼楼下为黄澄量与友人会文讲学场所，远道前来阅览藏书之客人亦在此接待；楼上为藏书，有高二米半、宽二米之书橱二十个，陈列古籍；另有四个同样大书橱专藏手抄本和书画碑帖。黄澄量允许子孙“登楼读楹书”，亦准文人学士登楼阅读。对待远来之友人，不仅司其阅览，且供膳食。子黄肇震能继父志，增加入藏图书万余卷，时五桂楼藏书曾有“富甲越中”之称。亦有“浙第二藏书楼”之称。内藏有黄澄量手辑《明代文类》一百四十册和著作《姚江书画传》、《四明耆旧传》、《五桂楼书目》。清咸丰年间遭兵燹，藏书有所散失，至同治年间，黄安澜等玄孙经五年搜集恢复原有规模。

       黄澄量死后，由他的儿子黄肇震，字伯器，号药溪，继承父志，继续收集书册，使五桂楼的藏书增至六万多卷。清咸丰十一年（1861），太平军东进浙东，梁弄地处进军要道，五桂楼藏书遭受散失。后有黄澄量孙子黄联镖、曾孙黄安澜重新穷搜散失的书籍，又添买善本，经多年搜讨，终于使五桂楼藏书基本恢复到原来的规模。黄安澜重新编订了《姚江黄氏五桂楼书目》，于光绪二十一年（1895）春付梓。现存《姚江黄氏五桂楼书目》四卷，有俞樾隶书题签。按此《书目》统计，得书共3666种。它以清代刻本为基教，但其中亦颇多宋、元、明代善本，它揭示出了五桂楼书籍的收藏情况，在目录学上也有一定的意义。五桂楼藏书保存至今，不仅在图书文献史上有着较大的价值，对当前及日后的科学研究亦有着重大的史料价值。五桂楼于1981年6月被列入市级文物保护单位，1989年12月升列为省级文物保护单位。 1949年5月，梁弄解放，五桂楼无人管理，由地方政权接管，为地方武装民兵临时住宿，继而为冬学扫盲学校。1954年春，余姚县委根据宁波地委保护文物指示，恢复五桂楼，设专人保管，专职管理员史良(退休老师，己故)，隶属余姚县文管会。1957年秋至1958年9月，梁弄镇利明村在五桂楼设农业高级合作社办公室。1958年冬至1960年春“大跃进”时期，五桂楼为利明大队公共食堂。在此期间，藏书散失千余册。1962年，由梁弄经官致老先生整理散书，装订修复，历时两年，装箱库存，总计13000册。1964年，省厅调拨五桂楼藏书珍贵版本二千四百多册。1974年经国家拨款维修后，为余姚人民政府重点文物保护单位。1989年12月12日为浙江省文物保护单位。据1990年调查统计，五桂楼藏书9993册。负责人葛茂清。现存书本式藏书目录一册。楼舍占地面积279.91平方米，使用面积138平方米。1949年后五桂楼从未对外开放参观阅览。党的十一届三中全会以后，特别是近几年来，经余姚市文管会介绍，前来参观和查阅古籍文献的知名人士、学者、大专院校师生等日益增多。