嘉靖二十七年(1548)，嘉兴知府赵瀛疏浚市河，将挖出的河泥填入湖中，成一“厚五丈，广二十丈”的小岛，四面环水，俗称湖心岛。次年在岛上建烟雨楼，形成景观。

明嘉靖二十七年（公元1548年），嘉兴知府赵瀛组织将淤泥垒土成岛，次年移建烟雨楼于岛上。清以后又相继建成清晖堂、孤云簃、小蓬莱、来许亭、鑒亭、宝梅亭、东和西御碑亭、访蹤亭等建筑，形成了以烟雨楼为主体的古园林建筑群，是典型的江南园林。