40%

承前*1

『毎日』の記事;


国学力テスト:抽出40% 費用30億円に圧縮−−文科省調整

 来年度の全国学力・学習状況調査(全国学力テスト)について、文部科学省が、小6と中3の40%程度を抽出して実施する方向で調整していることが分かった。対象の教科と学年は現行方式を維持するが、11年度以降の拡大を視野に入れ、調査費を含めて来年度予算の概算要求に計上する。採点や発送などのコスト削減で、今年度は58億円かかった費用が約30億円にまで圧縮可能となる見通し。

 全員方式から抽出方式への転換を模索していた文科省の政務三役が、コストを削減した上で、調査の精度を保てる抽出率を統計の専門家に問い合わせるなどしていた。

 その結果、各地域の事情を踏まえて、都道府県単位の学力状況を高い精度で把握し、検証・改善に結びつけるため、40%程度が必要と判断。政府予算案が決まる年末までに率を確定させ、抽出方法については、市町村単位で抜き出すか学校単位とするかも検討する。

 一方、対象から漏れても、希望すれば参加が可能な仕組みとする方針。その場合、模範解答を元に各学校が採点することになる。「希望参加」を自治体ごとで認めるか、学校に認めるかは未定。

 全員対象の学力テストは64年を最後に打ち切られ、07年度に復活。80、90年代に何度か実施された全国テストは抽出率が1%程度だった。【加藤隆寛】
 ◇全数調査に近い−−沢田利夫・東京理科大教授(数学教育)の話

 抽出方式の方向は正しいと思うが、40%程度の抽出率は多すぎて、実態としては全数調査に近い。国際的な学力調査を日本で行う場合も、抽出率は10%程度だが、調査対象校を都市部、農村部からどのくらい選ぶかなど抽出条件を細かく設定すれば、全国の正確な状況は把握できる。しかし無作為抽出で行われているため、人口の少ない県は一校も選ばれないケースがあった。40%程度というのは、各都道府県の主要都市から満遍なく調査校を選べるようにした結果ではないか。
http://mainichi.jp/select/seiji/news/20091015dde001100068000c.html

これに対して、奥村晴彦氏は、

統計の専門家なら,1%で十分と答えるのではないだろうか。

同記事には「国際的な学力調査を日本で行う場合も、抽出率は10%程度」とあるが,これは何かの間違いだろう。例えばPISA 2006は,文科省のページからリンクされている要約(PDF)によれば,高校1年120万人中約6000人を抽出している。また,TIMSS 2007は,国立教育政策研究所のページからリンクされている概要(PDF)によれば,小学4年4487人,中学2年4312人を抽出している。いずれも抽出率は1%にも満たない。
http://oku.edu.mie-u.ac.jp/~okumura/blog/node/2502

とコメントしている。
たしかに、抽出率40%は高すぎるような感じがする。サンプリングにおいて問題になる標本誤差について、ちょっと復習してみる。中道實「標本の抽出の仕方」(in 宝月誠 et al. 『社会調査』)によると*2、標準誤差には以下のような特性がある。(1)標本のサイズ(n)が大きくなればなるほど標準誤差は小さくなるが、標準誤差はnの平方根に反比例して小さくなるので、nが増えれば増えるほど、それに対する精度の上昇は小さくなる。(2)母集団のサイズ(N)がnに比べて大きいときには、N-n ≒ N-1と見なされ、標準誤差は抽出率(n/N)に影響されなくなる。精度はnの大きさによって決まる。Nが大きくなれば、抽出率は同じでも、nが大きくなるので、標準誤差は小さくなる。(3)母分散が小さいほど、標準誤差は小さくなるので、母集団の異質性が高い場合にはnを増やす必要がある(pp.97-98)。適切な標本数は一般に、


n ≦ (k/b)2 ×P(1-P)

または

n ≦ k2P (1-P)/ (P-p)2


という式で決定される。kは信頼係数、bは目標精度。P(1-P)は母分散、P-pは誤差=母平均と標本平均の差(p.100、102)。勿論、母分散を前以て知ることができないことは多いが、P(1-P)は理論上、Pが0.5のときに最大値を取ることになっている(p.102)。この本には2つ練習問題が載っている。


A市(有権者数80,000)の政党支持率を信頼度95%で推定したい。過去のデータによれば各政党の支持率はA党20%、B党15%、C党15%、D党10%、支持政党なし40%であった。相対精度a=0.10で推定するのに、どれだけの標本数が必要か。(pp.100-101)
ここでは、信頼度95%(k=1.96)として、A党の支持率20%に準拠し、標本数1537が正解とされている。上の式に当て嵌めれば、


(1.96/0.02)2 × 0.2(1-0.2) ≒ 1536.6

また、


A市の有権者(30万人)を対象に、消費税にたいする賛否を調べたい。誤差を3%以内に、かつ95%の信頼度をもたらすためには標本をいくつ選べばよいか。(p.102)
この正解は、下の式を使い、P=0.5として、1068。
上の例では抽出率は2%未満だし、下の例では0.3%強。これから見ると、文部科学省のいう40%というのは凄い抽出率だということになる。
社会調査 (有斐閣Sシリーズ)

社会調査 (有斐閣Sシリーズ)

上の記事で、沢田利夫氏が「調査対象校を都市部、農村部からどのくらい選ぶかなど抽出条件を細かく設定すれば、全国の正確な状況は把握できる」とコメントしているが、これは層化抽出法(stratified sampling)または多段抽出法(multi-staged sampling)のことであろう。中道氏は、「層化多段抽出法の標本誤差は理論的に複雑で、母集団での各層の分散が既知でないと算定できないが、経験的には、単純無作為抽出法よりも2段抽出で1.5 – 2倍、3段抽出で2 – 3倍ぐらいをみておけばよいとされる」(p.112)と述べている。また、2段抽出の場合は、標本誤差が単純無作為抽出よりもおおよそルート2倍大きくなるので、標本サイズを2倍にすればいいとも(p.118)。
それでも40%というのはまだまだ大きい。勿論、クロス集計を行っているうちに段々と分母が痩せ細っていくので、標本数が大きいに越したことはないのだが、それだったら「各地域の事情を踏まえて、都道府県単位の学力状況を高い精度で把握し、検証・改善に結びつけるため」という曖昧な表現ではなく、分析において考慮したい変数の種類の大小とかに言及すべきであろう。
私のような統計学についてミニマムな知識しかない人間にとっても疑問は多々あり、文部科学省としてはもっと明確な統計学的根拠を出すべきだろうとは思う。

*1:http://d.hatena.ne.jp/sumita-m/20091012/1255289827 http://d.hatena.ne.jp/sumita-m/20091015/1255629124

*2:統計学や社会調査の教科書であれば、どれでも略同じようなことが書いてあると思う。