从那件事后，谢安“淡定哥”的名声便传遍了朝野，他周围的朋友也都有了一个共同的认识：跟着谢东山，踏实、放心。
也正因为如此，谢安虽然隐居在东山，可名气却越来越响，朝廷曾多次有人举荐他出来做官。
庾亮死后，其弟扬州刺史庾冰把持朝政，早闻谢东山的名声，便几次派人下郡县邀请谢安出来担任自己属下。虽然谢安极不情愿，但看着这位庾大权臣如此抬爱，也不好意思拒绝，便出去应召。只不过，才过去短短一个月，谢安就因为受不了官场习气辞官了，而后回东山一待便又是七年。
七年后，朝中局势有了新的变化，烜赫一时的庾氏家族没落了，新兴的后起之秀桓温正在筹划西征灭蜀的大计。考虑到谢安名气不减当年，桓温就上报朝廷让谢安做他的司马，这次谢安一点儿面子都不给，直接以世道难行为由，断然拒绝了桓温。
虽然桓温没能将谢安收揽到帐下，但谢安兄长谢奕却成了桓温幕僚。不久，谢安弟弟谢万、堂兄谢尚也分别出仕高官，一时间谢家门前总是车水马龙，门庭若市。这么一来，谢安的夫人刘氏看着有些眼红了，她经常指着那些飞黄腾达的亲戚对谢安说道：“你看看人家，你再看看你，难道大丈夫不应该如此吗？”