出外任为永嘉太守，一个由员外散骑常侍出外任为始安（治所在今广西桂林）太守。谢灵运在任一年就辞了官去优游山水了，而颜延之仍为始安太守。

谢灵运回到京城以后，刘义隆就下诏征他做秘书监，但谢灵运不奉诏。秘书监的品位虽然是比州刺史还要高的三品，但它的职责只是负责撰写历史，有时候也负责管管皇家典籍的事务，这和谢灵运想要参与政事相差太远。后来刘义隆让光禄大夫范泰出面敦劝，谢灵运这才应诏。

见了两人，刘义隆先问谢灵运：

“若非范光禄，诗人不应诏。为何？”

嗨，皇上可不是对每个人都了解啊。

谢灵运离席跪拜，说：

“臣愚拙不识大体，还求陛下宽恕。”

刘义隆示意其平身，又问：

“是怪朕至今没有以俗务相扰呢，还是诗人又想东归优游山水呢？”

“臣一向优游惯了，只怕不能再为陛下效力。区区之身，也许无助于当今圣治。”

刘义隆笑了笑：

“和庐陵王交游时，诗人可不是这样。”

嗨，皇上还是不了解谢啊，那时诗人不是这样，那是因为庐陵王要重用他呀！

“近两年来，永嘉的山水改变了臣。”他不说了。他有难言之隐。今天在颜延之等人面前，他只好以他言相应。

刘义隆就不再以此相问。不久前，谢的诗《过庐陵王墓下作》可对自己定大事起过不小的影响呢。那算是一个大功德吗？他转而问谢的诗：

“近来有何新作？”

“至都后便无所作，但臣将回京途中所作几恭录于此，以备圣上赐教。”说毕，他就将随身所带的近作拿出来，侍者接了，他又面向颜延之，“臣延之自南新归，必有所作，臣也想借陛下的光能赏鉴一回。”

这位比谢灵运还要年长一岁的诗人，在陛下和谢灵运的问答过程中就已打好了腹稿。今天，可是第一次面见陛下，这是一次机会。为什么不把自己的愿望和陛下说一说呢？能够面见陛下且能从容而谈的机会，并不是能轮到每一个朝臣。他是和谢灵运一道被逐出京都的，今天陛下同召二人，应该是对过去的否定。