请假，全然是一个逍遥自在的诗人了。这时候，负责纠察朝廷官员的御史中丞开始履行其职责了：

一份弹劾谢灵运身为朝廷大臣竟然目无纲纪的奏章放在了刘义隆的御案上。

刘义隆不想伤害大臣，尤其是诗人谢灵运，于是他叫来中书舍人秋当，吩咐他去找谢灵运。

在谢灵运回京的次日，中书舍人秋当就去登门拜访了。他婉转地转告了皇上的意旨，希望诗人能主动提出辞呈，这样面子上也好看些。于是谢灵运上表，陈说自己疾病缠身，请求辞去所任职务。虽然这只是托词，但这也是君臣都可以接受的。

在接到谢灵运的上表后，刘义隆想想即位数年来对待谢灵运的前前后后，又深深地理解了他的所作所为。他并未免去谢灵运的官职，而是赐假二百日让他东归会稽郡始宁（故治在今浙江上虞附近）以了却其游乐的心愿。

始宁，有谢灵运的父祖置办的大批田产及豪宅，他的父祖也都安葬在那里。自晋氏江左以来，那些南渡的中原望族为了避免和当地富家大族在产业上生矛盾，就远远地离开京都，到江浙一带购置产业，也因此，江浙一带往往有朝廷官员大片的田产和别业（即别墅）。此时，朝廷还依照晋时官员休假制度：朝臣每月休假五日，一年之中有六十日假期，若遇家中有急事，可以合并请假六十日，后来又增至百日；若家住千里之外且道路难行，也可合并请两年假，合计二百日。刘义隆赐假二百日，当然是对谢灵运开的特例：在他看来，既不免谢的职，且赐其长假，这多多少少也算减了自己心中的一些缺憾。

临行，谢灵运求见皇上。并未像其他朝臣那样在求见的表疏呈上后要等上很长一段时间，刘义隆很快就在太极殿接见了他。

问过谢灵运远游了些什么地方见了些什么奇景之后，刘义隆就问他为何求见。谢灵运听了，接过话头：

“在京口北固山，陛下远眺江北，沉默良久，给臣留下了深刻印象。”

“远眺？”刘义隆重复了一遍。

“从北固山北望，除了能见江北的一些朦胧之物，并无可让陛下长久凝神而望者，有的只是……”

“是什么？”

“陛下所眺望的，是那看不见的