臧荣绪呢种故意隐居山林实则窃取名声的人非常厌恶，他曾对朋友说:“这样的小人不过是想博取声誉，谋取做官的本钱，他名为隐士，其实是伪君子，...”这一年，南徐州（当时治所在今江苏镇江市）征召地方官员，邀名士，举秀才，几日之间，官府内外人马拥挤，追名逐利的人忙于交往，好不热闹。而金山上却另有一番风味， 依然是冷落清静，有人来劝臧荣绪，要他不要放过这个做官的机会。

荣绪略带讽刺又饶有风趣地说:“ 那些秀才们不足以做大官，那些官职也配不上我的才能，我还是在这小房里安安稳稳地过日子。”他回绝了别人的劝告。

到了刘宋末年，齐高帝萧道成当时还是太傅,又兼做扬州刺史。这时，臧荣绪在社会上已经有了广泛的声誉，上下远近都知道京口有个才华过人的隐士臧荣绪。萧道成很想把臧荣绪召到自记的门下，便派人到京口请臧荣绪下山，让他担任扬州官府的主薄。臧荣绪婉言拒绝，他不但没有下山，连房门也没走出一步，以表示自己不可动摇的决心。

萧道成以为臧荣绪嫌官位低了，便以宫庭记室参军的官职，又一次派人到京口请臧荣绪入朝，还送去两车绫罗绸缎和金银财宝，并赐给臧荣绪一块匾额。赐匾额是封建统治阶级对所谓忠孝节义及有功之臣加以奖励的一种方式。许多贵族政客得了面额，如获至宝，把它商高挂在门上，炫耀自己。

但这些高官厚禄丝毫没有打动威荣绪的心，他把那些财礼轻蔑地看了一眼说: “我要是有心做官，恐怕早就当上了朝庭的丞相了，你们一再前来，不怕扰乱这山林的安宁吗?请转告太傅大人，让他死了这条心吧。说罢，臧荣绪望了一眼被这番话惊呆了的来使，转过身去，头也不回地走了。

后来，萧道成做了齐朝的开国皇帝，尚书令褚渊在皇帝面前百般称赞臧荣绪，齐高帝当然很想得到这样的人才，但因为以前自已碰过钉子，怕臧荣绪还不答应。可是又一想，自己现在是齐朝的皇帝了，亲自下诏书请他，给他荣华富贵，不怕他不动心。于是派褚渊专程去京口，招聘臧荣绪入宫。