仕事とは関係ない場面やプライベートでは無理して関わる必要はありません。
例えば飲み会や食事に誘われたときはさらっと理由を伝えてうまく断ったり、できるだけ苦手な人の近くには行かないようにしたりするなど、相手に気付かれない程度で少しずつ距離を置いてみてはどうでしょうか。