颠沛流离的生活，政治上的失意，虽然给他带来苦恼和不安，但他始终没有忘记一件重要的事情，那就是学习。他每到一地，总去寻访古迹，搜集历史资料。他经常捧出各种书来挑灯夜读，通宵达旦。往往东方破晓，人们起床了，他才“扑”地吹灭了灯火，伏在书案上打个吨。

十几个春秋过去了，臧荣绪风仆尘尘地来到了京口，京口是当时水陆交通的要塞，是有名的商业、文化坊市，也是一些学者、名士聚集的地方。在这里，臧荣绪拜访了知名的学者，闻名的隐士，结识了一些廉洁的朋友。他感到自己的眼界开阔了，生活充满了新的内容，乏味的官场生活再也吸引不住他了，他终于找到了自己的日宿：永远不入仕途，终身做那山林中的隐士，实现自己的抱负。

这个抱负是什么呢？就是他胸中长期酝酿的一个雄心勃勃的计划，编写二部晋代的历史书。

在京口的西北面，有一座山叫金山，它象一把锋利的宝剑插入扬子江中，三面临水，挺拔峻峭。每当山雨欲来、江风四起的时候，整座山云雾飞绕，势欲浮动。因此，人们给它起了个优美的名字二“浮玉”。

那山腰间有一棵千年的古松，枝叶繁盛，苍劲葱光。古松右边有一块天然的小小的石峰，上面长着小树和花章，紧靠石峰的是一座新盖的茅草房，这就是臧荣绪隐居的地方。

小茅屋里真是简陋极了:一张石桌，两条石凳，最醒目的就是床上那一堆厚厚的书。臧荣绪在这里渡过了他以后的几十个春秋。

说起隐居，这种风气自古就有，三国以后颇为盛行，能被称为“隐士”的人大都是些有才华的人，为时人所敬慕和推崇，但他们的遭遇是各不相同的。有的是因为政治上不得志，被排挤出官场，一气之下，跑到山土做隐士。有的是怀才不遇，悲观失望，以隐居消极遁世，渡过自己的余生。还有一些儒生故意隐居山林，窃取名声，等待官员们推荐，实际主是投机做官。