五峰书院的寿山石室“因势利导”而成的。它始建于明朝中叶。书院西侧还有“学易斋”和纪念陈亮、朱熹、吕东莱的“丽泽祠”（俗称“三贤堂”），都是明代所建。

      五峰书院在五峰景区的寿山石室，南宋乾道八年(1178年)陈亮假此设帐授学，寿山石室声名鹊起，渐成气候。南宋淳熙九年（1182年）秋，朱熹提举渐东常平茶盐举行荒政巡历婺州，访陈亮于五峰。优游之余，乃请朱熹主讲席达半月之久，四方学子闻名而来，从学同游者常在三四百人，颇极一时之盛。因此，五峰书院尽管明嘉靖十五年（1536年）正式建成，其肇始之功却非陈亮莫属。清代康雍乾之后，国运日衰，五峰书院逐渐演变成祭祀型书院。民国25年（1936年），永康县名胜管理委员会筹资对日趋颓败的五峰书院等进行简单的修葺。1937年抗战爆发，次年浙江省政府搬迁方岩办公，五峰书院被辟为省主席办公室。解放后，五峰书院受到了较好的保护。1959年以书院为基础兴办永康师范学校。1982年5月，五峰书院由县人民政府公布，列为县级重点保护单位，总建筑面积近2000平方米。1997年8月，由少浙江省人民政府公布为省重点文物保护单位。尔后，旅游局在文物部门的指导下，对统称为五峰书院的石洞建筑群（包括丽泽祠、易学斋），按照修旧如旧的原则精心修缮，柱础梁架结构不变，穿斗丁拱不事雕饰，较好地保留了明代建筑的法式和覆崖为顶的石洞建筑风格。

五峰书院因方岩寿山有固厚、瀑布、桃花、覆釜、鸡鸣五峰而得名。其地形如城廓，四周岩壁平地拔起，岩根部位突然后缩，生成许多石洞，五峰书院就在固厚峰脚天然的大石洞中，为典型的岩洞建筑，巧妙地把天然洞穴与建筑相结合，形成洞即为屋的建筑特色。洞内用木柱支撑岩壁，洞口紧贴石壁做重檐门面，天然的岩洞为书院讲学之处，风雨莫及，冬暖夏凉。

      书院四周岩壑雄伟，峥嵘奇突。东边天蜜瀑奔腾的瀑流自百米高的悬崖上飞泻而下，如喷珠溅玉；西面有壮观的龙湫飞瀑破壁而出，如飞彩流霞。书院前的天声亭下是弯曲的山溪，流水潺潺，清澈似镜。远近的香樟古柏，云杉竹林，浓阴密布，清幽宁静。书院东侧为重楼，西侧为丽泽祠、学易斋。抗战时期，为浙江省政府办公驻地。为省重点文物保护单位。

      五峰书院是浙东较早的书院之一。宋代以来，一直是文人学士讲学之地。宋淳熙间，朱熹、吕祖谦、陈亮、吕子阳等曾在固厚峰下石洞中读书讲学。宋庆元四年（1198年）朱熹在此完成《大学章句集注》，洞中筑有讲台，台后洞壁有“兜率台”三字，系朱熹手书。从此五峰书院日趋兴盛，四方学者慕名前来探究会讲之道，文风鼎盛。明正德间应典、程文德、李朱溪，程梓、卢可久等在此共倡王守仁“良知之学”，应曲建丽泽祠祀朱熹、吕祖谦、陈亮等。后知府陈受泉又命吕瑗创建正楼三楹，定名五峰书院，奉祀王守仁，以应典、程梓、卢可久配祀。明末，邑人周佑德筑易学斋于楼西，祀郡贤何基、王柏、许谦、章懋、金履祥等。每年秋季，四方学者云集，读书讲学其中。

      1999年，永康市风景旅游局投资50多万元对书院的陈列内容进行调整充实，创建了以“书院与中国文化”为主题的展览馆。展览馆设祭堂、书院历史、书院制度、书院功能（讲堂、刻书坊、藏书楼）、书院与文房四宝、书院与科举制度、五峰书院与永康学派等八个展厅，用大量实物、照片和图表对中国古代书院文化进行全面系统的介绍。中国书院文化展览是五峰书院这株古树抽出的新枝，结下的硕果，闯出了一条在加强文物保护的同时，充分发挥文物的教育作用的新路，因而受到了有关领导、专家和社会各界的好评。

       旅游局在文物部门的指导下，对统称为五峰书院的石洞建筑群（包括丽泽祠、易学斋），按照修旧如旧的原则精心修缮，柱础梁架结构不变，穿斗丁拱不事雕饰，较好地保留了明代建筑的法式和覆崖为顶的石洞建筑风格。