1 帰無仮説と対立仮説  
f-denshi.com  最終更新日:11/09/16

1.帰無仮説と対立仮説

[1] 2011年9月,くっまんす王国のバス旅行の日がやってきた。 目指すは隣国アザラシア帝国の関空タウンである。アザラシの踊り食いが楽しめるらしい。バス旅行の費用はすべて国王のジロー君が出す慣わしとなっている。朝から飲めや歌えのドンチャン騒ぎでやってきたが,上から入れば下から出ていくのは自然の摂理,ビハ湖の湖南オーツサービスエリアでトイレ休憩することとなった。観光シーズンと高速道路料金が無料化されたとあって,サービスエリア内は旅行客でごった返していた。トイレにも入り口の外まで長蛇の列ができ,うんこをしたかったジロー君,この光景を見て顔面蒼白となる。

この国の関西地区では,オスグマが男子トイレを利用する割合は99%,残り1%の方が女子トイレを利用することが判明している。 一方,メスグマは女子トイレに皆向かうと思いきや,男子トイレの方にも長蛇の列を作っている。調べたところ,メスグマが女子トイレを使う割合は70%,男子トイレを使う割合は30%であることがわかった。年齢構成にも興味があるがここは深入りしないでおく。

中間まとめ:
  オスグマは99%が男子トイレを利用し, 1%が女子トイレを利用する。
  メスグマは30%が男子トイレを利用し,70%が女子トイレを利用する  

表にしておくと,  

↓事象 ¥ 仮説→ オスグマである
メスグマである
男子トイレが利用される 99 %  30 %
女子トイレが利用される 1 % 70 % 

[2] ここで,着眼点を変える。

女子トイレに張り込んで,利用する者がオスグマかメスグマか調査するのである。このとき,     

 仮説0: 「女子トイレを利用するクマはオスグマである。」 ←誤りである可能性1%
 仮説X: 「女子トイレを利用するクマはメスグマである。」
 

という仮説を立ててみる。しかしながら,この仮説Oは間違っている可能性が高い。オスグマはたった1%しか女子トイレを利用しないからである。なお,オスグマが女子トイレにやってきても見逃す可能性も高い。なぜなら,この惑星で女子トイレを利用するオスグマは完全女装しているからだ。いずれにしろ,この仮説0は可能性が低いものとして棄却された。

今度は男子トイレに張り込んで調査をする。もちろん,男子トイレにやってくるクマが99%オスグマだと考えるのは誤りである。表の99%とはオスグマが男子トイレを利用する確率であって,男子トイレを利用する人の99%がオスグマだといっているワケではないからだ。ここで,     

仮説A: 「男子トイレを利用するクマはオスグマである。」  ←誤りである可能性30%

という仮説Aを立てる。これはどれくらい正しいと言えるであろうか。その答えは,

「間違っている確率はメスグマが男子トイレを利用する確率と同じ30%である。」

と述べることができる。この場合,「間違えてるクマたち」であるメスグマが男子トイレに行く確率30%を用いて仮説Aを評価できるのだ。仮説Aがどの程度間違っているかどうかどうかは,オスグマではなく,メスグマの行動にかかっている。悲しいかな,オスグマには決定権がないのだ。

[3] もし,メスグマが100%男子トイレに向かえば,仮説Aが間違っている可能性は100%なのである。なぜなら,メスグマがトイレを目指した瞬間,100%の確率で彼女を男子トイレで発見すると予言できるからだ!スカートをはいたまま男装することなくやってくるのだから見逃しようがない。この惑星のメスグマは実にずうずうしいのだ。 逆にメスグマが男子トイレを利用する確率が0%であれば,仮説Aが間違っている可能性も0%である。このとき,オスグマの神聖な場所にメスグマは現れず,仮説Aは完全死守されているのだ。そのようなワケで,仮説Aの真偽はメスグマの行動次第で決まり,実態調査の数値から,「仮説Aが間違っている確率は30%」としてよいのである。ああ,男子トイレを支配できないオスグマ,哀れ,orz.

よくある間違いとして,先の表を眺めながら,メスグマが男子トイレを選ぶ割合30%とオスグマが男子トイレを選ぶ割合99%という数字を用いて,

30 ×100=23%
99+30

のような計算をする人がいる。一見,この計算はメスグマが男子トイレを利用する比率を計算したかように見えるので,これを「仮説Aが間違っている確率」としてしたくなる。しかし,残念ながらこんな計算に意味はない。

冒頭調査の生データが  

 オスグマは,男子トイレを99人が利用し,1人が女子トイレを利用する。
 メスグマは,男子トイレを300人が利用し,700人が女子トイレを利用する。
 

という内訳であったら,男子トイレ利用者399人中300人がメスグマということになる。男子トイレ利用者の実態は約75%がメスグマということになり得るからだ。つまり,99%+30%などという計算に意味など持たせようがないのだ。数学的にも確率が100%を超えるような計算が途中に出てくるのはおかしい。      

[4] 今回の問題を一般化してまとめておく。

ある仮説を帰無仮説,それとは相容れない仮説を対立仮説と呼ぶことにする。そのとき,    

↓事象 ¥ 仮説→ 帰無仮説
(オスグマである)
対立仮説
(メスグマである)
A x % p %
B y % q %
↓事象 ¥ 仮説→ オスグマである
メスグマである
男子トイレが利用される 99 %  30 %
女子トイレが利用される 1 % 70 % 

の意味を,    

(1) 帰無仮説が真実であるとき,Aが起きる確率をx%,Bが起きる確率をy%
(2) 対立仮説が真実であるとき,Aが起きる確率をp%,Bが起きる確率をq%  

であることとする。ただし,     

x + y  =100%
p + q =100%
 

を満たしている。ここで,「y%が小さな値(例えば5%)である」ならば,実験によって,     

事象Aが実現したときは帰無仮説を棄却しない。  
  
 (=男子トイレが利用されたとき,オスグマであることを棄却しない。) 
事象Bが実現したときは帰無仮説を棄却する。
   (=女子トイレが利用されたとき,オスグマであることを棄却する。) 

と定めることを仮説検定と呼ぶ。

帰無仮説という言葉は,暗黙の了解として,実験結果として事象Bが実現することが想定(期待)されていて,その結果,棄却されることになるであろう仮説のためにそのように呼ばれる。ところが期待に反して,事象Aが実現することもある。そのときは,

事象Aが実現したとき,帰無仮説が誤っている確率はp%である。
(=男子トイレを利用するのはオスグマだと決め付けると,30%の確率で間違っている。)   

ということができる。以上が仮説検定の基本的な「枠組」である。  

[5] 仮説検定に関してやや堅苦しいが,次のような用語が用意されている。

第1種の誤り: 帰無仮説が真であるにもかかわらず,それを棄却する誤り。
第2種の誤り: 帰無仮説が偽であるにもかかわらず,それを採択する誤り。

第1種の誤りとは,「女子トイレが利用されたとき,それをオスグマが利用したのではない(オスグマ棄却)と判断したところ,実際はオスグマが使っていた」というような誤りのことで,その確率は1%しかない。

第2種の誤りとは,「男子トイレが利用されたとき,それをオスグマが利用した(オスグマ採択)と判断したところ,実際はメスグマが使っていた」というような誤りのことで,その確率は30%もある。

仮説検定としては,第1種,第2種どちらの誤りも小さくなるように検定条件が設定されることが望ましいが,二律相反となることが多い。その例は後ほど,2.で検証する。


閑話休題


さて,はなしを本題に戻そう。

ジロー君はそのようなわけで,男子トイレから続く長蛇の列に並ぶこととなったのであった。

列の長さは50m超。メスグマたちに混じってオス一人,30分の長い闘いが始まったのであった ・・・。

しかし,ジロー君にもうそんな時間は残されていなかった。

脱糞。

「なんや,なんや,このにおい?」

「いゃっだー!」

「うっそー!」

「・・・・・」

「・・・・・」

「・・・・・」

ジロー君はしずかに戦線を離脱した。



2.仮説検定問題の作り方

[1] 男子トイレと女子トイレのどちらが利用されたかという事象は2つに一つの選択でしかなかったが,事象が数値化されており,任意に条件設定できることも多い。そのような場合,どのように事象を区分したら好都合なのであろうか。ここでは1組の実験を行い,その結果から箱の中の玉の色を推定する方法を例にとりあげ考察してみよう。  

手で触っただけでは区別の付かない白玉と赤玉が合計で3つばかり箱の中に入っている。ただし,どちらの色の玉も少なくとも一つは含まれている。つまり,     

○○
●●
仮説 A 仮説 B
仮説 A: 箱の中に赤玉が1つで,残りは2つ白玉である。[帰無仮説]
仮説 B: 箱の中に赤玉が2つで,残りは1つ白玉である。[対立仮説]

の2とおりの可能性があることとする  

このとき,「箱から1つ玉を取り出してその色を調べてから元へ戻す」という実験(復元抽出)を5回続けて行い,出てきた玉の色の数から仮説A(帰無仮説)とB(対立仮説)のどちらがより正しいかを推測することとしよう。  

[2] まず,5つの玉の色の出方を各仮説それぞれの場合について調べる。

仮説Aが正しいのであれば,箱の中から玉を1つ取り出したとき,赤玉である確率は1/3,白玉である確率は2/3である。 5回連続して玉を取り出したとき,すべて白玉である(E0)という実験結果が得られる確率は,     

(2/3)5=32/243  

となる。一方,もし箱の中身が仮説Bのとおりであれば,すべて白球となる確率は,

(1/3)5=1/243

となる。次に5回のうち,1回だけ赤球が取り出される確率を求めると。これは仮説Aの下であれば,     

5C1×(1/3)×(2/3)4=80/243  

と計算される。ここで,箱の中身を推定するために,何回目に赤が出たか順番を問う必要はない。箱の中の様子を推定するのに役立つ情報は赤玉が選び出される頻度であって,取り出される順番は関係ないからだ。

以上のような方法で2つの仮説の下で5回連続して玉を取り出すという実験を行ったとき,赤玉の出数で分類した事象の起きる確率は,     

↓事象(赤玉の出数) A:○○  B:●●
E0: 5C0×(1/3)0×(2/3)5 5C0×(2/3)0×(1/3)5
E1: 5C1×(1/3)1×(2/3)4 5C1×(2/3)1×(1/3)4
E2:●● 5C2×(1/3)2×(2/3)3 5C2×(2/3)2×(1/3)3
E3:●●● 5C3×(1/3)3×(2/3)2 5C3×(2/3)3×(1/3)2
E4:●●●● 5C4×(1/3)4×(2/3)1 5C4×(2/3)4×(1/3)1
E5:●●●●● 5C5×(1/3)5×(2/3)0  5C5×(2/3)5×(1/3)0

のように計算式で表される。さらに見やすいように計算を実行したあとの結果だけを表にすると,          

↓事象(赤玉の出数) A:○○   B:●●
E0: 32/243 1/243
E1: 80/243 10/243
E2:●●  80/243 40/243
E3:●●● 40/243 80/243
E4:●●●● 10/243 80/243
E5:●●●●● 1/243 32/243

とまとめられる。

[3] さて,これで準備が整った。箱の中身を推定するもっとも簡単な方法として,実験で,「赤玉の出た回数が過半数であるならば,箱の中には赤玉が多く存在すると判断し,白玉の出た回数が過半数であるならば,箱の中には白玉が多く存在する」とすればよいだろう。そこで,これを検定方法1とする。すなわち,実験の結果がE0,E1,E2のいずれかがであれば,箱の中は白玉が多いA:○○であり,E3,E4,E5のいずれかであれば,箱の中は赤玉の多いB:●●○と判定を下す方法だ。

各仮説の下で,事象E0+E1+E2E3+E4+E5の起きる確率を表にすると次のようになる。

検定方法1
↓事象(赤玉の出数) A:○○   B:●●
E0+E1+E2
●●以下
192/243
(79%)
51/243
(21%)
E3+E4+E5
●●●以上
51/243
(21%)
192/243
(79%)

この分析方法を統計学の言葉で言い直しておこう。

出た赤玉が過半数である事象E3+E4+E5(●●●以上) が起きたときに,

仮説A(白玉が多い)を棄却したときに,それが誤りである可能性は21%である[第1種の誤り]

と言うことができる。さらに,事象E0+E1+E2(●●以下)が起きて,

仮説A(白玉が多い)を採択したときに,それが誤りである可能性は21%である[第2種の誤り]

ということもできる。(2つ目の21%は表の右上の数字を拾っている。)

これは別の言い方もされ,事象E3+E4+E5(●●●以上) が起きたときに,

仮説A(白玉が多い)を有意水準21%で棄却する。

と言うこともある。

[4] 重大な問題でなければ,この程度の確からしさで判定を下しても十分でしょう。しかし,人命の関わるようなケースではこの程度の確からしさでは到底満足できいと思われる。100回のフライトで21回エンジンが停止するような部品を飛行機に用いることは絶対許されないのだ。  

そこで,この判定方法の精度をあげるためにすぐに思いつく改善は,赤玉の出方がさらに多い場合にだけに「箱の中に白球が2つあるという仮説Aを棄却する」方法だ。たとえば,事象がE0,E1,E2,E3のいずれかであるときは,「仮説A」が正しく,事象がE4,E5のいずれかであるときは仮説Bが正しい」とみなすことにしてみる。そのような区分けでの各仮説の下で各事象が起こりうる確率を計算しなおすと次のようになる。    

検定方法2
↓事象(赤玉の出数) A:○○   B:●● 良
E0+E1+E2+E3  
●●●
以下
232/243
(95%)
131/243
(54%)
E4+E5
●●●●以上
11/243
(5%)
112/243
(46%)

この表からわかることは,

事象E4+E5(●●以上) が起きたときに,

仮説A(白玉が多い)を棄却したときに,それが誤りである可能性は5%である

事象E0+E1+E2+E3(●●●以下)起きて,

仮説A(白玉が多い)を採択したときに,それが誤りである可能性は54%ある

などとなる。

もし,赤球が4つ以上選び出されれば,「箱の中はAではない」と述べてもそれが誤っている確率は5%しかない。ところが,赤球が3つ以下しか選ばれなかったときに「箱の中はAである。」と述べてしまうと,それは54%もの確率で誤りであることになってしまうのだ。

つまり,実験結果に基づく判断基準を検定方法2のように設定すると,事象E4+E5が起きたときは,高い精度でもってAを棄却することができるが,事象E0+E1+E2+E3が起きた場合は高い精度では何も言えないことになる。そこで,

「E4+E5 となったときはAを棄却する。」  
「E0+E1+E2+E3となったときはAを棄却しない。」  ←採択という言葉は用いない

と後半を控えめに表現する方が適切だといえる。

[5] なお,ここで,E0+E1+E2+E3であったとき,仮説Aが真である可能性を95%と考えるのは間違いである。この95%とは,AであるときにE0,E1,E2,E3となる確率であって,その逆,すなわち,E0,E1,E2,E3のいずれかであったときにAである確率ではないからだ。上の表から,Bであるとき,事象E0+E1+E2+E3が起きる確率が54%あるということができるので,これから,

「E0+E1+E2+E3であるとき,Aであるとの主張は54%の確率で間違っている。」

とすることが正しい。

多くの場合,統計的判断は「仮説を立ててそれを否定する」という方法が用いられることになる。上の例では, 「A:箱の中は○○である。」 という仮説を立てて,実験結果として,5回のうち4回以上がでたらこの仮説を棄却するという検定を行えば,その判断が誤りである可能性は5%と低くすることができるのだ。

容易にわかるように,

「起こりにくいことを仮説として立て,それを否定する場合に検定の精度はよいものとなる。」

それで,最初に立てる仮説は,しばしば「帰無仮説」と呼ばれるのだ。つまり,無に帰するために用意した仮説ということである。

[6] さらに,別の検定方法3として,  

「E0+E1+E2+E3+E4 であるときは仮説Aを棄却しない。」
「E5であるときは仮説Aを棄却する。」  

という方法を考えることもできる。

この場合,結果だけ示すと,

検定方法
↓事象(赤玉の出数) A:○○   B:●●
E0+E1+E2+E3+E4
●●●●以下
242/243
(99.6%)
211/243
(87%)
E5
●●●●●
1/243
(0.4%)
32/243
(13%)

仮説Aが真実であるとき,5回の実験ですべてが取り出される確率はたった0.4%で,それ以外の組み合わせで玉が取り出される確率は99.6%である。
仮説Bが真実であるとき,5回の実験ですべてが取り出される確率は13%で,それ以外の組み合わせで玉が取り出される確率は87%である。

箱の中がわからない状態で実験をしたところ,5回ともが取り出されたとする。これは,もし,Aであるならば,たった0.4%の確率でしか起こりえないので,Aではありえないと棄却することは妥当でしょう。

一方,取り出されたの回数が4つ以下(E0+E1+E2+E3+E4)であったら何が言えるのか?仮に箱の中がAであれば,これは99.6%の確率で(E0+E1+E2+E3+E4)が起こりえるが,箱の中がBであっても,(E0+E1+E2+E3+E4)は87%の高い確率で起こり得る。これでは何も結論めいたことは主張できそうにない。しかもほとんどの実験結果はE0+E1+E2+E3+E4となるはずで,結局,実験を行ったが何もわからず,まったく意味がなかったという結末になりそうな検定方法が検定方法3であると考えられる。もちろん,それでは困る。

以上まとめると,

第1種の誤り 第2種の誤り
検定方法1 21% 21%
検定方法2 5% 54%
検定方法3 0.4% 87%

つまり,第1種の誤りと第2種の誤りの両方を同時に小さくすることはできなかった。

帰無仮説を棄却できるような事象(実験結果)が得られたときにたいへん都合がよい検定基準を作ると,実験によって思惑通り「棄却」された場合は良いが,そうでない実験結果が出たときは,信憑性のあることは何も言えないという可能性が高くなる。

予算や時間の都合で,実験が1度しか行えないようなときは,「何をどの程度の確からしさで結論付けたいのか,バランスを考えて検定方法を定めなければならない」というのがここでの結論である。


[目次]