臧荣绪立志要编一部总括东、西二晋的内容丰富的历史书。由于他主要生活在宋、齐两代，因而可以纵观两晋的历史，了解这一时代的社会全貌。同时，离晋朝的灭亡已有好多年了，著史也没有什么忌讳。臧荣绪为了完成这个任务，很早就开始了资料搜集的工作，为《晋书》的编写作了充分的准备。

由在编写过程中，臧荣绪先以王隐、何法盛的书为参考。王隐是东晋初年的著作郎，他的父亲王铨全早先就开始编写西晋史，但没有完成就去世了。王隐继承了父亲的遗志，发奋著述，终于编成《晋书》，有九十卷左右。可惜的是，王隐的著史才能并不高，刘知几在他的史学评论著作《史通》中就指出，王隐很喜欢写书，精神可嘉，但缺乏这方面的修养。书中凡是层次清楚、有条有序的地方，都是他父亲王铨所作，凡是章句混乱不清、令人费解的地方，都是王隐本人所作。对于这样一部《晋书》，臧荣绪当然是不会满意的。

何法盛是刘宋时期的人，他的《晋中兴书》记载东晋一段历史，其中也有漏误。就是这样仅仅书，也不是何法盛的原作。据说，当时有个叫郗绍的人，写成《晋中兴书》，何法盛趁他不在家，偷偷地溜进他的屋子，将《晋中兴书》偷了去，外然后略加删改，便成了自己的书。臧荣绪指出此书的许王漏洞，并且非常痛恨这种剽窃别人劳动成果的行为，主张踏踏实实严谨修史的作风。

这两个人的书对臧荣绪来说，虽是微不足道的，然而他并不以清高自命，还是认真研究了别人的劳动成果，但又不落旧套，不盲目抄袭，而将大量的材料仔细分析鉴别，写出有自己特色的东西来，走自己的路。他夜以继日地择笔疾书B,有时一连几天不出门。他特别喜欢在夜里写作，常常一写就是一个通宵。就这样，经过近十年的努力，终于完成了《晋书》的初稿。