吕四自古人文荟萃，文化成果丰富灿烂，教育文脉悠久。尤其是清明时期，科甲鼎盛，才俊辈出。据史料记载，从明代建文至清代光绪年间，吕四地区取得进士等功名的多达40余人。可见，吕四场学风昌盛，崇尚书文由来已久，义学、书院和藏书楼更是不胜枚举，其中建于清代光绪年间的鹤城书院影响最为深远。

书院，亦称山房，精舍。初为名流会文讲学处所，后来逐渐演变成为修习时文制艺，以备应试科举之用的场所。

鹤城书院由吕四贡生李芸晖创办于吕四城隍庙内，书院开销由吕四盐场盐课助资。鹤城书院规模宏大，有厅堂三间，院内假山花卉，鸟语花香，清幽至极。门额上题“鹤城书院”四字，由吕四名士、奉直大夫张朴庄书写，匾额至今尚存。

在李芸晖等一帮文人的努力下，鹤城书院声誉鹊起，闻名于通东一带。很多学子由四面八乡奔赴鹤城书院求学。志书称其“恢宏教化，声播四方。四方贤隽负笈受业门下，趾踵相接”。清光绪二七年，李芸晖病故，其子李磐硕丁忧返乡。丁忧的三年中，李磐硕继承其父遗志，继续主持鹤城书院的教学工作。

在吕四一带，最早的书院当推创办于清乾隆九年的东瀛书院，由吕四场大使魏大升所建。至清乾隆二十三年，由于年久失修，以致屋宇倾圮。后由吕四场大使杨如本和江沆等捐廉重修，聘请江南名士汪元望讲学，清乾隆末年开始衰败。