※赤いラインがパンダ、青いラインがペンギンアップデートの導入時期です。

どちらかのアップデートのタイミングを境にガクッとアクセスが落ちているようでしたらペナルティを受けている可能性が高いです。
ペンギンかパンダどちらか判断できたら、その原因を探って行きましょう。

ペンギンアップデートかなと思ったら、被リンクを調査。
パンダアップデートかなと思ったら、サイト内の重複コンテンツや低品質のページを調査すると良いでしょう。

なんとか手がかりをつかみたいという方には便利なツールです。
こちらはアナリティクスを導入していることが前提となります。