任意整理が周囲の人にバレる、ということはまずありません。
まず、任意整理は裁判所を通さない手続きなので、裁判所から連絡が来ることもありませんし、裁判に出廷する必要もありません。
また、裁判所を通さないので、任意整理によってあなたの名前などが公的な資料に残ることもありません。
ですから、裁判が原因で周囲にバレる、という心配はないといえます。