怖がる必要はありません。むしろ電話を折り返ししない人の将来が怖いです。。。
折り返し電話した方が身の為です。延滞しますと信用情報悪化により将来に支障が出てきます。 
現在個人情報保護法が厳しいです。
どの会社も法律に従っています。放っておいて何一ついいことないですよ。