当時妻は、理由をつけて実家に帰っていた

出典 不倫疑惑の妻を尾行した夫　相手男宅訪れたらストーカー扱い│NEWSポストセブン

夫が外に出ている間、頻繁に実家に帰るようなら不倫の可能性があるらしい。