古代文人雅集的滥觞，是汉魏之际的邺下文人胜游，典范则是东晋的兰亭雅集。这之后的文人，或追慕前辈神采，或欣羡晋人风流，在内容和形式上都表现出对往古先贤的模仿，所谓“觞酌流行，丝竹并奏。酒酣耳热，仰而赋诗”。明代文人的文社、诗会多如牛毛，受这种风会影响，无锡一邑的诗文社，如耆英社、惜阴社、碧山吟社等也层出不穷。明清易代，经暂时消歇后，以顺治十一年（1654）顾贞观等在无锡惠山成立“云门社”为代表，重又开始文会雅集，参与的“云门十子”，都是一时之俊异；又有汤斌、汪琬、陈维崧等大佬参与盛会，一时名动远近。

但文人结社，谤议朝政和游心逸乐，这是最容易落下口实的两端，也会起到潜在的消解威权、破坏秩序的作用，深为统治者所忌惮，故在顺治九年和十七年，朝廷即两次下令禁止文人结社集会。然顺治十八年（1661）“奏销案”发，大批江南文士被黜落民间，如叶梦珠所记的“江南英俊，销铄殆尽”。之后的很长一段时间里，除了少数人“幸成蜗角名，十年无品级”，绝大部分则再无出头之日，一生为衣食而仓皇奔走。于是，失意文人借以“文酒之会”的形式，聚集在一起，聊以排遣和娱情。

康熙二年，降贬到无锡任知县的吴兴祚，很快与当时失意的江南文士形成心意上的共鸣和沟通，如其在《念奴娇·春申涧怀古》中所表达的：“云起楼前，天均堂外，兴废谁堪别。春申古涧，云烟樵客能说。”

吴兴祚到任以后，即葺理旧构，先后筑二泉亭、云起楼，后来又相继修复衙署的谯楼“来悦楼”，并建“听梧轩”“尺木堂”等。而秦松龄家的寄畅园、顾岱在明施策大池别业基础上构筑的大池园墅也早已完工，侯杲的亦园也筑成。这些园池楼阁多出自名家张南垣、张鉽之手，特别是云起楼和寄畅园，闻名遐迩，引来江南文人的纷纷游观，并成为举行文酒之会的最佳去处。