纵然无奈，历史的车轮也依旧滚滚向前。公元307年至313年的晋朝永嘉年间，留在中原的蔡族人复兴于陈留，成长于江南，最后形成了以闽浙粤等东南地区为中心的济阳蔡氏。
这一时期，济阳蔡氏人丁兴旺，名人辈出，最后成为中华蔡氏的总堂号。蔡谟，这为晋王朝的开国元勋，就是在这时为蔡氏家族在史册上画上了非比寻常的一笔。
当时因为战乱，晋王室迁往了南方，中原的世家大族，包括当时济阳郡一带的蔡姓氏族，纷纷随之南迁，最后济阳的蔡姓定居在今天的浙江省一带。
蔡谟就是在这个时候避乱南迁的，因为永嘉南渡对后世的影响非常深，所以蔡谟就被视为南渡的蔡姓始祖。在动荡的南北朝历史中，蔡谟历仕五帝，屡被重用，能够在五朝更迭中持续为官，这在中国历史上是极为罕有的。
蔡谟弱冠之年，便被推荐为孝廉，不久又中秀才。后来，他因为平定叛乱有功，被晋成帝提升为五兵尚书，掌管吏部，赐爵济阳男。济阳蔡氏由此载入史册。
蔡谟继承了蔡姓家族的渊博才学，又性格耿直、为人谨慎，正因为他的这种行事风格，在他的仕途生涯中，流传着许多轶事。
魏晋时期，承袭了东汉清议的风气，士族名流相遇时，不谈俗事，专谈老庄、周易，被称为清谈。据说，当时朝廷中的两位谈客，王濛、刘惔因为看不起蔡谟，就总想找机会让蔡谟难堪。
一天，两人去拜访蔡谟，谈了很久后问：“你自己认为自己比起王衍怎样？”
蔡谟冷静地答道：“不如王衍。”
于是，二人对望了一眼讥笑道：“你哪里不如他呀？”
蔡谟则巧妙地语含讥讽说：“王衍没有像你们这样的客人。”
王濛和刘惔自讨没趣，尴尬离去。
为官数年，蔡谟晚年多次称病力辞司徒之职，他在给皇帝的请辞信中说：“自己才德有限，有愧于朝廷的厚爱，所以惶惧战灼，寄颜无所。”
后来，“寄颜无所”就成了成语，意思是指脸面无处安放、无地自容。
这位蔡姓的南渡始祖，也因为这件事情，最终被皇太后下诏废为庶人。
蔡谟被废后，终日隐居在家中不出门，讲诵诗书，教授子弟，将蔡氏家族的仁礼才学继续传承下去。在漫长的岁月中，蔡氏一族以儒学教育和研究为家学传承，重视教育，崇尚文艺，经历不断的播迁、融合、发展之后，逐渐形成中华民族中的一支，具有鲜明特征的名门望族。
