「陰陽説」です。
これは、古くから日本にある、宇宙に存在する全ての物を陰と陽の二つに分ける考え方である「陰陽」が元になっています。

プラス的な要素がある陽は「ハレ」、マイナス的な要素がある陰を「ケガレ」としていました。
言い換えると、陽=晴れ、陰=汚れ（雨の日）とし、縁起が悪い日とされる雨の日には、お墓参りに行かないという説です。