连衡返回洛阳，惊愕地发现自己竟已成罪人，连同连氏家族也被波及。他手中只有无头玉佛，不敢交还朝廷，又不敢留在身边，只得将其埋在岐山群山之中，在其上面建起一座关帝庙，以纪念佛军守护。而他则改姓为许，隐居在岐山附近，默默地守护着。
对于河内坂良那，许衡一直耿耿于怀，希望有朝一日可以寻回佛头，奉还朝廷，恢复家族名誉。为此，他拼命钻研金石玉石的鉴别之道，逐渐在当地有了名气，娶妻生子，把根扎在了岐山。儿子成年之后，许衡把家业与鉴古手艺传承给他，留下一篇《自叙》给家人，毅然离开岐山。
在《自叙》里，许衡先是把玉佛的来龙去脉讲了一遍，然后表示自己的时日无多，希望能在临死前去日本，毫无顾忌地放手一搏，才算对得起自己当年的誓言。许衡还表示，如果他没有回到中土，说明佛头的任务失败了，那么这个使命，将由许家子孙一代代传下去，直到玉佛身首归为一为止。
据说后来他化装成僧人，混入鉴真大师的队伍，从此再无任何消息。究竟他是在海难中身亡，还是在日本被杀，就没人知道了。
但许家没有遗忘家族祖先的遗训，将祖先交托的使命一代一代传了下去。笔记里列了一个很详细的家谱清单，上面的记录显示，许家从没有忘记过这个遗训，一直把佛身保护得很好，再窘迫的时候，也没人会提出卖掉它。
