当时，顾恺之只要在街上一走，就有不少人在一旁指手划脚地议论他。可他仍然是象往常一样，东瞧瞧，西望望，碰见什么感兴趣的东西，就呆呆地多看几眼，记在心里。有时，为了加强记忆，他还用手在衣襟上画来画去。时间一长，许多不理解他的人却议论说:

“别看他画得好，怎么平常有点呆头呆脑的!”

顾恺之的名声，终于传到了当时一个著名的大官僚桓温那里了。桓温的家族是东晋最有势力的名门望族之一，他本人又是当时有权有势的官僚，历史学家都认为他是个非常有才能而又有野心的人。东晋元帝时(公元317-323年)他被招为驸马，接着又作了荆州刺史(州一级的行政长官)，后来，还被封为征西大将军。那时，东晋王朝的许多地方被割据政权占领了，这些地方的老百姓因战祸而困苦不堪，他们都希望国家能统一起来。桓温虽说也怀着个人目的，但他主张国家统一步，希望建立正常的生产和生活秩序，因此，他比较能得到一些中小士族集团的支持和老百姓的拥护。这样，他便逐步掌握了东晋的军政大权，当起大司马(掌管全国军事的大臣)兼扬州牧(一州的最高行政长官)来。

当时，还有两家有名的望族，一是王家，一是谢家，也占据了统治集团中许多重要职位。他们与桓温相争，统治阶级内部充满了矛盾，只是由于北方的敌人太强大，他们之间的斗争才没有公开暴露出来。为此，桓温非常想搜罗菜些人才，借以进一步壮大自己的势力。这样，他自然看中了年轻而又有名望的顾恺之了。

桓温对他手下的一个幕僚说:“顾恺之已经誉满京城了，如果能把他请到我手下来干事，那你看怎么样?”

那人回答说:“那当然不错啦!顾恺之是个从小就有名的聪明才子，字写得好，画画得好。将军不是也十分喜欢书画吗?如果能把他请到这里来，那不但能常常为将军写字画画，说不定在许多别的事情上还能给将军出些主意;再说,这样一来，许多原来自以为了不起的读书人也会因此而对将军另眼相看呢。”