肉体関係を持つか否かが不貞行為の争点となりますが、そもそも不貞行為とは「男女間の性交渉とそれに類似する行為」なので、あくまでも男女間においての関係のみを指します。
同性だった場合、例えば夫が男性と妻が女性といかなる肉体関係を持ったとしても、不貞行為には該当しません。

ただし、例え同性同士であっても、長期的に親密な関係を持つことにより「婚姻関係を破綻させた」場合は、破綻させられた側が慰謝料を請求できる可能性があります。