后来，司马光命仆人送来酒菜招待客人，大家兴尽而归。苏东坡对这次游览有深刻的印象，他后来这样描写“独乐园”的景致:“青山在屋上，流水在屋下。中有五亩园，花竹香而野。”

司马光的“独乐园”，除了特邀亲朋游览外，在夏天亦往往让人入园观赏和避暑。管园子的人叫吕直，这是一个诚实健壮的老人。许多入园游览的人，往往给他一些小钱。他舍不得花，一文一文积存起来，积了十千钱。

有一天，吕直掂着一袋铜钱去见司马光。他说:“老爷，小人收到游客的赏钱，一共十千。”话音未落，就把钱双手递上去。

司马光接过来打开一看，是铸有各种年号的大小不一的铜钱，又原样包起来交还吕直，笑了笑说:“你终日劳累，生活清苦，还是留给你自己用吧。”吕直迟疑了一会，接过钱，激动得说不出话来。他一向尊敬稳重和气的主人，听了这句话沉思道:“老爷待我这样好，怎能把这些钱装进自己的腰包呢?”后来，他想出一个好主意，准备把这笔钱在园中修一间亭子，以表示对司马光的尊敬。不几日，吕直就把一间红柱绿瓦的亭子建成了。

不久，司马光又来游览和休息，发现园中增建一亭，非常惊讶，忙问吕直:“这间亭子是谁建的?”

“是小人为老爷建的。”吕直坦率地说。“钱从哪里来?”

“是游人的赏钱积存起来的，就是那天给老爷送去的那些钱。”

“为什么不留给自己花呢?”

“端明(司马光曾当过端明殿学士)要作好人，直(即吕直自称)如何不作好人!”吕直深有感慨地说。第二年春天，有个好朋友邀司马光去游春。他们游了几次胜景之后，回到“独乐园”。吕直看到他就 叹息说:“老爷,真可惜呀!你回来了,花也谢了。”

司马光反问道:“你为 什么这样叹息呢?”

“园中花木正盛时，老爷外出数十日，现在不仅春色衰退了，又不曾看一行书,浪费了老爷的宝贵光阴，实在可惜!”吕直诚恳地说。

听了这几句话，司马光觉得很惭愧， 就发誓今后不出游，如果有人强拉，就用吕直这句话来谢绝。