谢灵运是早已不再安坐在秘阁中翻翻故纸堆动动笔墨撰写《晋书》了，尽管要他写的《晋书》已经粗立了条目；在伴君拜陵的时候，他就已经是一个侍中了。.侍中是一个要臣，但他这个侍中却不是要臣，他觉得自己只是一个陪侍。皇帝只是喜欢他的“二宝”而已，自己会成为一个弄臣吗？他再次郁闷着。

在京口，他看到了刘家挂在土墙上的农具，他想起了自己祖上的丰功伟绩；他知道皇上仅仅停留在欣赏赞叹他的“二宝”这一层面上，所以只和他谈论诗文不和他谈论国事。皇上见了他的应诏诗——那里也有他的郁闷，但皇上却装做视而不见对他置之不理。这都让他的心中久久不能平。

从京口回京以后，谢灵运像变了一个人似的。

他不仅不再去撰写《晋书》，而且轮到他入宫值日，他也不去，甚至连朝会也不参加了。有时候，他驱使着数百个童仆在自家占地数十亩的花园里，挖池塘筑篱笆，栽竹子植堇花，忙得不亦乐乎；有时候，他又和族侄谢惠连等人一道，带着童仆出城游玩，远至二百多里，十多天不回京。

他听说江北也有山水佳处，钟离郡（在今安徽凤阳一带）有一山洞，深不可测，奇妙无比，于是他就和谢惠连等人带着行装出了。

他们先是雇了一条能容纳数十人的大船，渡过长江，然后一路北上，直奔钟离。到了钟离，但他们并没有找到那个传说中的山洞。正在大家沮丧的时候，谢灵运却意气风地说：

“当年王徽之居山阴（在今浙江绍兴）时，见雪中景，突然想起隐士戴逵，当即命驾。经过一宿的奔波，天亮时到了戴逵的门前，他却吩咐随从掉转车头返回山阴。随从不解，他说：‘我本乘兴而来，如今兴尽而归，有何不可？’如今也是一样。何况我等兴味未减！不在于是否找到了山洞看到了山洞，而在于离开了局促的建康，离开了憋人的宫廷！这还不足以令人感到惬意吗？”

众人见他有这样的兴致，也都舒心地笑了。

将离开钟离的时候，谢灵运又想继续北上，他想去看看久闻其名的圣地泰山，尽管那里边临魏人。但刚走了一天，因为微染小恙，他才不得不南归。

在外出游玩期间，谢灵运既不上表禀告，又不按例