右近太夫は幕府が「第1次鎖国令」を発令する直前に帰国している。鎖国は厳しく、在外日本人の帰国も禁止されたため、カンボジア帰りの右近太夫は肩身が狭かったのだろう。

右近太夫は故郷を離れ、名前を変え、経歴も隠して、父、義太夫の出身地である京都の山崎でひっそりと暮らしたという。