髭をカミソリなどで剃ると、肌の角質も剃り落とします。
その結果、肌のターンオーバー(肌の生まれ変わり)が乱れ炎症などを起こすというわけです。