ホーム › 入門・用語 › 統計的有意性

統計的有意性・p値とは ── その勝ちは偶然じゃない?

入門・用語 ／ 検証の落とし穴

「この手法は勝てた」 ── でも、それはただの偶然(まぐれ)ではない? それを確率で判定する道具が統計的有意性(p値)です。検証の誠実さを支える考え方です。

統計的有意性・p値とは

p値＝「もし本当は何の効果も無い(偶然)としたら、これくらい良い結果が出る確率」。小さいほど"偶然では説明しにくい＝効果が本物っぽい"。慣習ではp<0.05(5%)なら有意とされます。t値という近い指標もあり、t≒2以上でおよそp<0.05の目安です。

仕組み ── なぜ必要なのか

コインを10回投げて7回表でも「偏ったコインだ」とは言えません ── 偶然その程度は起きるから。トレードも同じで、数十回の勝ちは偶然でも普通に出ます。p値は「その好成績が偶然でも起こる頻度」を示し、まぐれと実力を切り分けるための最低ラインを与えます。取引回数が多いほど、偶然では説明しにくくなります。

使い手が勘違いしやすい点

• p<0.05＝95%勝てる、ではない：「偶然ではなさそう」を意味するだけで、儲けの大きさや将来の勝ちは保証しません。
• 何度も検定すると偶然当たる：20個試せば1個は偶然p<0.05に(→データスヌーピング)。たくさん試した中の"有意"は割り引く必要があります。
• 有意でも小さい：統計的に有意でも、コスト後に残らない(取引不可能な)ほど小さいエッジは実用になりません。

どう使うか

• 好成績を見たら「取引回数は?」「p値/t値は?」を問う。回数が少ない自慢は割り引く。
• 複数試したら試した数だけ基準を厳しく(多重検定の補正)。当研究室はシャッフル検定で偶然と同数かを確かめます。
• 有意性は足切りであって合格証ではない。機序・コスト耐性・検証外での再現とセットで判断する。

まとめ

p値・統計的有意性はその勝ちが偶然かを測る確率で、p<0.05(t≒2)が目安。数十回の勝ちは偶然でも出るため、まぐれと実力の切り分けに必須です。ただし「有意＝儲かる」ではなく、何度も試せば偶然当たる ── 足切りとして使い、機序やコストと合わせて判断を。

本記事は教育目的の解説・検証であり、投資助言ではありません。投資は自己責任で。