从人又东寻西找，遇着土人，帮同找着官船。太守问他：“五位将军到底在家否？”土人道：“怎么不在家？方才渔船上的，就是蒋四爷。”太守吃惊道：“怕你认错了，蒋将军是有名的人，何至如此葳蕤！”土人笑道：“他们五位爷，向来不摆官架子，有时与农夫牧童随意在柳阴中说闲话，有时到庙里同和尚下棋饮酒。我们是同村的人，哪有不认得的呢？”太守回去，知他们有心避世，断不出山，就以出外就医替他禀报出去。
玉堂夫妇虽在金华、金陵、常州各处走走，却在陷空岛住了十年，又生一子，取名白琦。元纲娶妻生子，在江宁领解，白琦就聘了元纲之女丽华。白璟年交十岁，在卢家庄延师读书，甚是聪明。白琦亦已六岁，由杨氏接去抚养，相貌兄似其父，弟似其母，自然英秀不群。翠绡便约玉堂，要到钟山扫墓，留下白璟，免妨功课。道出常州，盘桓数日，便至钟山别业住下。玉堂因翠绡有千里马，多方物色，居然得了一匹青骡，也能日行千里。
这日晚间，叫过元成，分付了许多话，掌书、拂剑已配了元礼，元智，也叫上来赏了几件首饰。唤随来家丁，交给四封书道：“一封是给常州颜参政的，一封是给陷空岛四位爷的，一封是给长庆庄大夫人的，一封是夫人寄给都中元宅的。你们明日起程分送，我同夫人，要在山中探幽习静，一半月未见回来，你们不必候着。”翠绡也给了随身仆妇百金，说是赏你安家，仆妇欣然叩谢。次日清晨，玉堂骑了青骡，翠绡骑了白马，随身装束，各佩宝剑，入山而去。
仆媪辈因他游山是
女之嫌，也须避忌。
岂能因师言而失闺范！后来襄王见逼，我何难高飞远举？一则姑母必致埋投，二则元全不能脱身，所以才想到盗书相救。就因这上作茧自缚，所以说是定数。如果襄王许我还乡，谁还管这闲事？”
玉堂笑道：“夫人竟如此狠心，我从此竟要感激襄王不感激你了。算来襄王全是逼夫人这一着错了，满盘皆输。不然谁能盗得盟书？怕至今还未发动。但夫人从前避嫌，原是正理，既有师父的话，参政求婚时节，在我自不敢忘恩冒昧，何以你又坚执不允呢？”翠绡笑道：“亏将军还是侠义，如何但知有己，不知有人？我守的是理，师父说的是数。实告诉你罢，现在遵了君命，还算遵了师命。若无师父这句话，便单有君命，我也不遵的。”玉堂见他说得郑重，便笑道：“前言戏之耳！夫人何必认真。”翠绡道：“我今日说出师言，后面还有要话，被将军搅断了。将军既决意不出，你的意思在兄弟偕隐，我的意思在师弟重逢。”就把隐娘再见有期的话告知。玉堂惊道：“夫人之意，竞要舍我而去么？”翠绡道：“神仙也有眷属，不必旁征博引，就我师也有磨镜少年。但脱胎换骨，谅来不易，须要自己拿定主意，再看机缘罢。”从此，玉堂于急流勇退之中，又动了超凡入圣的念头。看官，元、白已经定计修仙，何不就此一走？原来翠绡已有五月身孕，所以未能即行。
东下金陵，因避酬应，不复登岸，一径回到陷空岛，知四义告病已准，都照例赏食全俸。玉堂假期满后，又上疏乞病开缺，夭子虽宽予假期，不允所请，亲玉堂立志甚坚，终究遂了私愿。颜参政接信后，虽十分不悦，转念一想：“襄阳之事，为我几乎丧命，一定逼他出来，设有不测，爱之转似害之。”便不再劝他出山。回书说：“老母思乡，兄亦时作退计，终不忍弟兄久别。”玉堂适遇元全入都，便回了许多南中食物，寄与参政。
到十一月十五日夜间，翠绡分娩，生了一子。四义甚喜，玉堂取名白璟。恰好参政书来，亦是此日生了一女，取名芳蕊，意欲缔姻。从此颜、白、柳，元，以义弟兄、义姊妹，又做了儿女亲家。
过了两年，参政果然乞养，奉母回里。玉堂夫妇到常州住了一晌。其时五义同欧、丁都不时来往，赏花钓鱼，游山玩水，真有世外逍遥之乐，离神仙分际，只隔一尘了。
数年以后，偏值西夏有事，展昭放了副经略使，去佐范仲淹，朝廷思及将才，除了兆兰是养亲开缺，未便征召，欧阳春行文到本籍去，无从查问。松江知府奉了征召五义恩旨，知县赍到陷空岛，连去三次，绝无复音。知府急了，只得亲自到卢家庄敦请。
官船渡将过来，公人投刺，见卢家门阑静悄，良久始有人答应，说：“员外们都出去了。”问到哪里去，答道：“不知，三五日回来也不定，一年半载回来也不定。”再要问时，那人已关门去了。
知府闷闷。其时三月天气，望着山光明秀，水势回环，桃李争春，榆杨夹岸，好个地方。便命停舆，自己骑了马，逛逛山前山后，再行回去。哪知山势嵌空玲珑，头头是道，松萝叠翠，容易迷人。绕了进去，竟走不出来，从骑正在急躁，忽见那边一个樵夫，淡黄面皮，细长身子，背着一束茅柴，手持樵斧，唱着樵歌，缓缓而来。从人便叫他引路，樵夫笑道：“做官的到这里干什么？要出去，但看有松树处便转湾，就出去了。”说毕，接着樵歌，仍缓缓的自去。
太守依他，转过山脊，果然到了水边。却不见自己官舫，远望小小渔矶上，有一个瘦小渔翁，披着渔蓑，坐着垂钓。从人隔岸问道：“你见官船么？”渔翁笑道：“此处哪有官船？”一面答话，矶旁泊一小小渔舟，一面将钓的三两尾鲤鱼把柳条穿了，放在船上，自己用篙点开，竟自去了。