データ分析手法?有意性の検定

　有意性の検定とは、調査した結果が統計的に意味を持つかどうかを判定することである。例えば、Ａ、Ｂ２つの製品の嗜好テストを行った場合、両者の差が大きかったといった場合に、この２つの製品の差は殆どないと思われるのに、たまたまこうした結果になったのか、それともこの差は意味のあるものかを検定する手法である。
　分析に先立ち、２つの製品の嗜好度には殆ど差がないと仮定して、この仮説のもとでテストを行い、テスト結果が出現する確率を計算し、その値が小さければ元の仮説（２つの製品の嗜好度には殆ど差がない）を捨てて、２つの製品に対する嗜好には有意な差があるとみなすという方法である。この時に捨てられる確率を「有意水準」呼ぶ。
　最初に設定した仮説は「帰無仮説」と呼ばれ、その原理は以下のようなものである。例えば、サイコロを何回か投げ続けると、１から６の目が出る確率は1/6であるから、回数が多くなるほどこれに近い目が出るはずである。別の言い方をすれば、特定の目が極端に多く出るはずがないという仮設を立てることになる。
　ところが実際にサイコロを投げてみると、特定の目が連続して出たという場合、これはいかさまだと決め付けてよいかどうかという問題に突き当たる。もし同じ目が６回も続けて出たとしたら、その確率は1/2の６乗、つまり1/64＝1.56％でしかないから、偶然とは思えないということになるであろう。
　しかし、このサイコロはいかさまであると100％決め付けるわけには行かない。すなわち、1.56％の確率では連続して同じ目が出る確率があるからである。通常は５％以下であればまず起こり得ないという考えから、５％の確率で帰無仮説（このサイコロはいかさまではない）という仮説は棄却されるという言い方がされる。
　有意性検定の手順は、まずサイコロが正しく作られているという仮説（帰無仮説）を立てる。次に実際に試行してみた結果で仮説を捨てるのであれば、その結果は統計的に有意であるとみなしたことになり、捨てなければ有意性の判断は保留したことになる。ちなみに、何パーセントの水準で判断するかは分析者の判断による。