ホーム › 入門・用語 › データスヌーピング

データスヌーピングとは ── 探しすぎると聖杯は必ず見つかる

入門・用語 ／ 検証の落とし穴

「1万通り試したら、勝率80%の最強設定が見つかった!」 ── その喜びこそ罠かもしれません。データスヌーピング(探しすぎ)は、検証で最もだまされやすい落とし穴です。

データスヌーピングとは

膨大な組み合わせ・指標・ルールを片っ端から試し、一番成績の良いものを選ぶこと。試す数が多ければ、まったくのデタラメでも"すごく見える結果"は必ず出ます。それを「発見した!」と勘違いするのがスヌーピングです。過剰最適化の親戚で、"選び方"の段階で起きる偏りです。

仕組み ── 実演してみた

当研究室が100本ノックと称して588通りの戦略を回したところ、シャープレシオ6級の"聖杯"が10個も見つかりました。ところが、値動きをランダムにシャッフルした"意味のないデータ"でも、同じ数だけ聖杯が出たのです。つまり見つかった聖杯は全部、探しすぎが生んだ蜃気楼でした。試行回数が多いほど、偶然のピークは必ず現れます。

使い手にとって何が起きるか

• バックテスト詐欺に引っかかる：「無数に試した中の一番」を切り出せば、どんな手法も魅力的に見せられます。
• 自分でも無自覚にやる：良い結果が出るまで指標・期間を変え続けるのは、立派なスヌーピングです。
• 未来で即死：偶然のピークは次の期間で消えるので、実戦投入した瞬間に崩れます。

だまされない方法

• 試した総数を意識する。「何通り試して、その一番か」を必ず問う。多いほど割り引く。
• シャッフル検定・多重検定補正：デタラメデータで同じ数の"当たり"が出ないかを確かめる。
• 機序を先に立てる：総当たりでなく「なぜ効くか」の仮説を1つ決めて狙い撃つ(→過剰最適化回避と同じ)。
• 検証外・フォワードで確認(→アウトオブサンプル)。

まとめ

データスヌーピングは探しすぎて偶然を実力と勘違いすること。当研究室の実演では、588戦略の"聖杯10個"がシャッフルデータでも同数出て全部まぐれでした。試した総数を意識し、シャッフル検定・機序・検証外で確かめる ── 「たくさん試した中の一番」ほど疑いましょう。

本記事は教育目的の解説・検証であり、投資助言ではありません。投資は自己責任で。