２００３年春合宿

■　２００３年春合宿　（文責：鈴木武　２００３年２月）　２月３日から５日まで、三浦セミナーハウスでゼミ合宿をしました。かなり前に卒業した皆さんはご存じないと思いますが、法政大学にはセミナーハウスが３つあります。河口湖近くにある富士セミナーハウス、石岡運動場に併設されたセミナーハウスに、三浦です。京急三浦海岸駅から１５分ほどのところにあります。海岸には近いのですが、それ以外には遊ぶところが何もないので、勉強の春合宿にはうってつけです。　今回は、計量経済学を講義することにしました。この４月からゼミに入る２年生、ゼミで必要なのに私の担当の計量経営分析をとらない３年生、それに統計学をマスターしていない卒業間近の４年生、計２６名が参加しました。（写真：セミナーハウスの前で　４年生　３年生　２年生）初日午後の授業　初日は午後１時集合、２時から授業です。回帰分析の考え方、気持ちを話しました。例として、体重を身長で説明するケースをとりあげます。もちろん、１００％説明できるわけではありません。同じ１７０㎝の人でも、身長以外の様々な要因によって影響され、体重は異なります。しかし、身長以外の要因は細かいものだと考えます。もし、かなり重要な要因があるとすれば、身長と並べて説明変数に加えればよいのです。その残りは細かい要因ということになります。それら細かい要因が全体として体重に及ぼす影響が異なるので、同じ身長でも体重が違ってきます。細かい要因からなる体重への影響全体をひっくるめて誤差項と呼ぶことにしましょう。誤差項は同じ１７０㎝の人でも異なる値をとるので、確率変数と考えられます。したがって、考えているモデルは次のような式で表現されます。ここで、Ｙは被説明変数、Ｘは説明変数、ｕは誤差項です。とりあえず、ＹはＸの一次式だとしましょう。　Ｙ＝　ａ　＋　ｂＸ　＋　ｕもし、Ｘ以外にＺという説明変数があるならば、＋ｃＺを式に加えます。ここで、ａ、ｂ、あるいは　ｃ　をパラメータ（母数）といい、その真の値がわからないで、それを推定したいのです。　もうひとつ、誤差項の様子もわかりません。そこで、誤差項について考えてみましょう。たとえば、身長１７０㎝の人の体重はどのように分布しているでしょうか。実際には、１７０㎝の人をすべて測らなければ、体重の真の分布はわかりません。しかし、なんらか真の分布があることは確かです。　分布を表現するにはどうしたらよいでしょうか。グラフを描いてみるとか、平均や分散を計算してみるとか、いくつか方法があります。その中で、分布の概略でもよいから単純に把握できる方法は？　そうです、平均と分散を把握することです。なぜか？　世の中には、山が真ん中にきて、左右対称で、釣り鐘型をしている正規分布というものに近い分布が多いからです。その正規分布は、横軸の位置の代表値をあらわす平均と、分布の広がりを表現する分散の２つがわかれば、分布の形がきちんと定まるのです。　さらにもうひとつ、世の中には、なぜ正規分布に近い分布が多いのでしょうか？　それは中心極限定理が成り立つからです。数多くの細かい要因を積み重ねた結果出てくる現象の値は、正規分布に従ってばらついているのです。もう少し正確に言えば、互いに独立な確率変数の和の分布は、和の数が多くなると正規分布に近づくと証明できます。そのさい、もう少し細かい条件を満たさなければなりませんが。　したがって、誤差項を把握するためには、平均と分散を知ればよいのです。ついでに、誤差項は正規分布をしていると考えてもよいでしょう。　さて、誤差項が満たすべき要件を考えてみましょう。もし１７０㎝の人の体重の分布を調べたら、その平均が仮に６０㎏であったとします。その場合、身長から説明できる　ａ＋ｂＸ　の部分の値が６０としてよいでしょう。身長以外のすべての細かい要因からなる誤差項の大きさは、６０㎏からどれだけズレているかを現しています。したがって、Ｘ＝１７０　のときのＹの平均、すなわち、期待値は　Ｅ（Ｙ｜Ｘ＝１７０）＝ａ＋ｂ・１７０＝６０　となります。一般的には、Ｅ（Ｙ｜Ｘ＝ｘ）＝ａ＋ｂｘ　ということです。ここで、ｙ＝Ｅ（Ｙ｜Ｘ＝ｘ）を回帰曲線といいます。いまのケースでは、ｙ＝ａ＋ｂｘ　ということになります。この場合には直線ですので、回帰直線と言います。　　ということで、誤差項の分布の平均は０としてよいですね。ただし、誤差項の分布といっても、身長が１６０㎝の人の場合と、身長が１８０㎝の人の場合とでは、体重のばらつき具合は違うと考えた方がよいでしょう。すなわち、ｕ｜Ｘ＝１６０　の分布と、ｕ｜Ｘ＝１８０　の分布は異なるということです。誤差項の分布の平均は０であり、正規分布をしているとするならば、分散が異なっているということです。回帰直線　ｙ＝ａ＋ｂＸ　だけでなく、誤差項についても把握しないと、きちんと説明できたことになりません。したがって、各身長に対応する誤差項の分散を推定する必要があります。しかし、そうすると、身長１５１、１５２、１５３，・・・　と、すべての身長に対する分散を推定しなければなりません。これは膨大な数になります。これでは、よほど標本数がなければ無理です。　そこで、現実からは乖離するかもしれませんが、誤差項の分布はどの身長の場合でも同じだと仮定しましょう。そうすれば、分散はすべての身長に共通になるので、ひとつ推定すればよいわけです。もちろん、現実からはズレたものになってしまうかもしれません。そのときは、モデルを修正することによって対応すればよいのです。すなわち、誤差項に対する仮定は　＊　１番目は、平均が０。すなわち、Ｅ（ｕ｜Ｘ）＝０　＊　２番目は、分散が共通。Ｖ（ｕ｜Ｘ）＝σ² 　＊　３番目をとばして４番目の仮定は、誤差項の分布は正規分布。ｕ｜Ｘ～正規分布。　もうひとつ、３番目の仮定は少しわかりにくいですが、Ｘが異なる場合の誤差項の分布は互いに独立である、ということです。ということで、　＊　３番目の仮定は、ｕ｜Ｘ＝ｘ_i　と　ｕ｜Ｘ＝ｘ_j　は独立。　ここで、いちいちＸの条件付き分布だということで、｜Ｘ　と書くことは面倒くさいので、それは省いて書いてしまいましょう。もしｎ組のサンプルがあるならば、ｉ番目のサンプルは(ｙ_i, ｘ_i)と表現しましょう。観測されない誤差項はｕ_i　と書けます。　誤差項の仮定は　①　E(u_i）＝０　②　V(u_i）＝σ²　（未知だけれど共通な値）　③　ｕ_i　と　ｕ_j　は独立　④　各誤差項は正規分布　まとめると、モデル　Ｙ＝ａ＋ｂＸ＋ｕ　で、ｕは確率変数で①～④の仮定を満たす。Ｘは確率変数ではないので、非確率変数という。Ｙはｕが確率変数なので、確率変数になる。確率変数Ｙの分布の形を決めるのは、ａ、ｂ、σ²　である。分布の形を決めるものをパラメータ（母数）という。したがって、ここのケースではパラメータは３つ。パラメータの真の値がわからないので、それをｎ組の観測値（サンプル）から推定する。この場合のサンプルは、（Ｙ₁，Ｘ₁），・・・，（Ｙ_n，Ｘ_n）。　ここまでの話には、なんとかついてこられたようです。まだゼミ生の顔に余裕がありますね。よかった、よかった！　ぼくも話していて、ハリアイがあります。（写真：初日午後の授業風景１　２　３）　はい、はい、夕食です。脳を使えば、腹も減る。バイトの疲れとはひと味違う。食もすすむということ！（写真：初日夕食風景１　２　３　４）初日夜の授業　さて、夜の授業を始めましょう。８時から９時半まで。モデルはわかったので、こんどはパラメータをどうやって推定するかの話です。いろいろな考え方がありますが、とりあえず直感的に方法を考えましょう。ｎ組のサンプルが入手できるのですが、そのｉ番目のサンプルは　Ｙ_i ＝　ａ　＋　ｂＸ_i　＋　ｕ_i です。ここで、ａ、ｂ、ｕ_i　はわかっていません。もしａの推定値としてを、ｂの推定値としてを代入するならば、誤差項の推定値（残差）_i として　_i　＝Ｙ_i －　（　＋　Ｘ_i）が得られます。　モデルが正しいならば、説明変数で説明できる割合は最大限大きく、それ以外の誤差項の部分で説明できる割合は最大限小さい方がもっともらしいと考えられます。というわけで、誤差項自身は観測されていないので、その推定値としての残差 _i が小さくなるようにパラメータの推定値を求めましょう。といっても、残差は ₁ から _n まで、ｎ個あります。したがって、ｎ個の全体を小さくすることを考えます。残差にはプラス、マイナスがあるので、単純に足してしまうと、相殺されてゼロに近くなります。そこで残差をすべてプラスにして足すのですが、そのさい２乗してプラスにします。すなわち、　₁² ＋・・・＋ _n² を最小にする、を求めます。これから求めたａ、ｂの推定量、を最小２乗推定量といいます。すなわち、残差の２乗を最小にするようにして求めた推定量という意味です。　推定「量」というから、量だと思えば、これは推定のためのサンプルからなる関数という意味です。このケースでは　＝Ｓ_XY／Ｓ_XX　　＝－ただし、はサンプルｎ個からなるＹの平均、はＸの平均です。普通、平均はＸとかＹの上にバーをつけて表します。ついでに言えば、推定量は上にハット（＾）をつけて表現します。　Ｓ_XY はＸＹの共変動で、∑(Ｘ_i－)(Ｙ_i－)を意味します。Ｓ_XX はＸの変動で、∑(Ｘ_i－)² です。変動を（ｎ－１）で割れば標本の分散を、共変動のときは共分散を表します。したがって、Ｘの変動は、Ｘのばらつきを表すと考えてよいでしょう。（写真：初日夜の授業風景１　２　３　４）　ここまでくると、もうほとんど誰も聞いていない！　写真３の左端、ケイちゃん、あくびして。写真４、サッちゃん、「ＦＲＩＳＫ」って、プリントに根をつめて描くくらいなら、少しはぼくの話でも聞いたら！　こんどは、ａ、ｂというパラメータの推定方法はいろいろ考えられるのに、その中で最小２乗法をなぜ選ぶの？　という話。例として、ｂの推定量をとりあげましょう。はｎ組のＸ、Ｙからなる関数です。Ｘは非確率変数ですが、Ｙは確率変数です。したがって、も確率変数になります。　ここで断っておきますが、Ｘ、Ｙの観測値を得たあとでを計算すれば、はひとつの確定した値になります。しかし、いまは観測値を得る前に、推定する仕組みを作っておきたいのです。したがって、Ｘ、Ｙの値はわかっていません。というわけで、の値も定まってはいません。　Ｘの値を与えれば、Ｙの分布が決まってきます。ただし、パラメータａ、ｂ、σ² は未知なので、自分にはわかっていませんが、なんらか決まることは確かです。はＸ、Ｙの関数なので、その分布は３つのパラメータと、ｎ個のＸの値がわかれば決まってくる確率変数ということになります。　さて、の分布ですが。の関数を変形すれば、Ｙ₁，・・・，Ｙ_n の一次結合で表せることがわかります。一次結合ということがわからないんでしょう！　(なんとか)Ｙ₁＋・・・＋(なんとか)Ｙ_n と表せるということです。ただし、(なんとか)の部分にはＹ_i を含んではいけません。このケースでは、(なんとか)の部分はｎ個のＸで表されます。がこう表現できることを「線形性」と呼んでいます。　Ｙ_i は確率変数で、ａ＋ｂＸ_i の部分は非確率的、ｕ_i の部分は正規分布をする確率変数です。したがって、Ｙ_i も正規分布をします。さらに、ｕ₁，・・・，ｕ_n は独立だから、Ｙ₁，・・・，Ｙ_n も独立。独立な正規分布の和の分布は、正規分布。よって、は正規分布をする、ということです。　が正規分布だったら、平均と分散がわかればいい。の平均、期待値Ｅ（）は？　どうってことなく計算できるのだが、みんなにはムリ。結果は、　Ｅ（）＝　ｂ推定したい真の値に一致するってこと！　推定量のこういう性質を「不偏性」といいます。これは、いい性質だよね。さらに分散は　Ｖ（）＝σ²／(なんとか) ここでも、(なんとか)はＸの関数からなるものです。説明変数１つのいま話しているケースでは、Ｓ_XX です。この場合でも、ａの推定量の(なんとか)の部分は、とは別のものになります。　結論として、の分布は正規分布で、平均がパラメータｂに一致し、分散はσ²／(なんとか) になる。記号で書くと　　～　Ｎ（ｂ，σ²／(なんとか)）　さて、不偏性を満たす推定量のうち分散が最小であれば、真の値に近い値を多くとることになるよね。だから、それが良い推定量。最良推定量ってわけだ。ガウス＝マルコフの定理というのがある。この場合には、不偏性のほかに線形性も加えて、少し限定された範囲で推定量を考えないといけないのだけれど。もっとも、普通に考えて、おかしくないと思われる推定量はみなこの範囲に入っている。最小２乗推定量は、線形性、不偏性を満たす推定量の中で分散が最小である、ということを証明できる。それが、この定理。　ということで、結論として、パラメータａ、ｂの推定量として最良のものは、最小２乗推定量ということが言える。ただし、注意事項は、誤差項に関する仮定を①～④まで挙げたが、そのうち④はともかく、③まで満たすことが条件。とくに②、③を満たさないと、最小２乗推定量は決して良い推定量ではない。真の値から、かなりはずれた推定値が出てきてしまうことがある。その意味で、残差の２乗和より、残差の絶対値の和を最小にする方が優れていることもある。　最小２乗法を用いるときに気をつけることは、誤差項の仮定を満たしているかを必ずチェックすること！　それを残差分析という。　残差分析が重要だということを納得してもらうために、Anscombe の例題を挙げよう。Anscombe はこの例題を考えた統計学者の名前だよ。Ｘ、Ｙの値が①～④まで４組あり、それぞれ１１個のサンプルからできている。そのデータとグラフを示そう。　最小２乗法により求めた回帰直線はすべて同じで、ｙ＝３＋0.5ｘ　になる。図には回帰直線を描いておいた。また、ＸでもってＹをどの程度説明できているかという指標である決定係数もすべて同じで、ここでは2/3になる。すなわち、0.666 だ。その平方根が相関係数で、0.82 になる。決定係数については、あとで話そうね。ちなみに、残差のグラフは次のようになっている。　この例題をみて気づくことは、最小２乗法の結果は同じなのに、データはまったく違うということだ。計算結果だけを見ていると、どのケースを議論しているのか分からないよね。だから、そこから得られた結論は、まったく的はずれということも起こりうるわけだ。ここで注意することは、誤差項の仮定を満たしているかどうかをチェックすること、だよね。　ケース②は、残差が放物線のようになっているでしょう。だから、第３の仮定である、誤差項は互いに独立であるというのに反する。だから、これに最小２乗法を用いるのはよくないね。ケース③は、同じく独立という仮定に反する。ケース④は第２の仮定である、誤差項の分散が共通であるという仮定に反する。ということで、ケース①には最小２乗法を適用してもよいが、あとの３つは適用してはダメだね。もし適用したいなら、誤差項の仮定を満たすように修正してからでないとね。今回の合宿では、ここまでは話さないけれど。　初日の授業はここまで。みんな、勉強したね。頭に入ったかどうか、知らないけど。（写真：初日夜の授業が終わって１　２　３）２日目午前の授業　回帰式を求めるとき、最初にすることは誤差項の条件についてチェックすることですが、それについてはいろいろな方法があります。ここでは、とりあえず残差分析ということで、グラフを描いて直観的に判断して下さい。縦軸に残差、横軸に説明変数の値をプロットしたものです。数字で判断するものとしてポピュラーなのは、「ダービン・ワトソン比」です。これは③の仮定である、誤差項が互いに独立かどうか、をチェックするものです。そのうち特に系列相関といわれるものについて判断します。この話は後にしましょう。　回帰式が計算できたとして次にすることは、うまく推定できたかどうかをチェックすることです。最初に、決定係数について話しましょう。これは、全体として説明がどの程度できたかを判断する尺度です。　Ｙ＝ａ＋ｂＸ＋ｕ　であっても、　Ｙ＝ａ＋ｂＸ＋ｃＺ＋ｕ　というモデルであってもかまいません。説明変数Ｘ、あるいはＸ、Ｚで、被説明変数Ｙがどの程度説明できたかを示す尺度を作りたいのです。このとき、Ｙがいつも同じ値しかとらないならば、その値をあてれば、それ以上説明は必要ないでしょう。しかし、Ｙはそのつど異なる値をとるのが普通です。とすれば、Ｙの値は適当にばらついています。そのばらつき具合をどの程度説明できたかという観点から尺度を作ります。ばらつき具合を表す尺度は、分散で表します。分散の場合はサンプル数でわって求めますが、サンプル数でわる前を変動といいます。すなわち、Ｙの変動Ｓ_YY は　　(Ｙ₁－)²＋・・・＋(Ｙ_n－)² と表されます。この変動が、説明変数で説明できた部分と、できなかった部分に、うまく２つの部分に分解できるのです。説明できた部分を回帰変動、説明できなかった部分を残差変動といい、全体を総変動といいます。したがって、　　総変動　＝　回帰変動　＋　残差変動となります。説明できた割合とは、回帰変動／総変動　のことになります。これを決定係数と呼んでいます。　総変動を２つに分解できるということについて説明しましょう。もう一度、モデルを確認しておきましょう。簡単のために、説明変数はＸだけとします。サンプルはｎ個あるとし、そのｉ番目の式を書くと、　　Ｙ_i　＝　ａ　＋　ｂＸ_i　＋　ｕ_i です。ここで、最小２乗法を用いて、パラメータａ、ｂを推定するのですが、その結果はすでに示しました。この場面で必要なのは、の部分です。それを書き直すと　　　＝　　＋　になります。前の式からこの式を引くと、ａと、ｂとが違いますが、これから最小２乗法の幾何学的な説明をするので、それぞれ同じだと思って下さい。引いた後のｉ番目の式は　　Ｙ_i－　＝　ｂ（Ｘ_i－）　＋　ｕ_i です。この式をｎ個ならべて、ベクトルで表現するとになります。それぞれのベクトルを太文字ｙ、ｘ、ｕで表しましょう。もう一度書き直すと　　　ｙ　＝　ｂｘ　＋　ｕです。これを幾何学的に図で表現してみましょう。　左図がベクトル式を幾何学的に表現したものです。分からない人は、２次元のグラフを描いて確認してみて下さい。それでも分からない人は訊きに来て下さい。Ｙの変動Ｓ_YYは、ｙベクトルの長さの２乗になります。これも、分からない人は２次元のグラフで直角三角形を描き、ピタゴラスの定理から斜辺の長さを計算してみて下さい。　同様に、回帰変動はｂｘベクトルの長さの２乗、残差変動はｕベクトルの長さの２乗になります。最小２乗法とは、残差の２乗和（残差変動）が最小になるようにパラメータを推定することです。右図を見てください。残差変動を最小にするには、ｙベクトルからｘベクトルに垂線を引けばよいのです。その結果、直角三角形ができました。ピタゴラスの定理から、斜辺の２乗（総変動）が対辺の２乗（回帰変動と残差変動）の和になります。　実際の例で、決定係数について考えてみよう。体重を身長で説明するという例です。ぼくの手元に男子1369人のデータがあります。身長を横軸、体重を縦軸にしてプロットしたのが左図です。回帰直線も描いてあります。右図は残差のグラフです。決定係数は0.245でした。体重の変動は、1/4しか身長で説明されません。さて、問題です。体重は身長で説明されたといってよいでしょうか？　1/4しか説明できなければ、「説明されていない」といった方がよいでしょうかね。次の左図は、同じ1369人のデータを用いて身長を１㎝刻みに区分し、それぞれの階級に該当する人の体重の平均をプロットしたものです。同様に、右図は３㎝刻みでプロットしました。それぞれの決定係数を計算すると、左図は0.890、右図は0.961です。この場合は、「説明されている」ですか。何かおかしいですね。１㎝、３㎝刻みと集計した方の決定係数は大きく、集計しない方の決定係数は小さい。集計しない方が、個々のことも分かって情報が多いはずなのに。　結論を言えば、集計しない方の決定係数0.245で十分説明されているということです。集計した場合には、それぞれの階級の平均体重をとるので、平均からズレる個々の要因が打ち消しあってしまいます。集計する前は、個々の要因による変動の割合が大きいのですが、集計するとそれらの要因が相殺されて、その変動の割合が小さくなるのです。決定係数をみて気をつけることは、単に決定係数が大きいからよく説明されているというわけではない、サンプル数も考慮して決定係数をみる必要がある、ということです。　個々のデータをいちいち集計しなければ、決定係数の説明力が分からないの？　この場合、Ｆ値というものをみればよいのです。決定係数をもう一度述べると　　決定係数　＝　回帰変動／総変動です。説明力があるかどうかは、決定係数として大きな値が出たかどうかを知ればよいのです。大きな値とは、例えば決定係数の分布のうち、大きい方から５％までの値とか、です。そのためには、決定係数の分布が分かればよいのですが、残念ながら、うまくいきません。というのは、総変動の中に回帰変動が含まれているので、両者が独立ではなく、関係しているからです。独立でない場合には、その関係の仕方によって、分布がすべて違ってきてしまいます。ということで、決定係数の分布を求めることは困難なのです。　したがって、分母、分子が独立なもので考えればいいですね。そうです、これです！　　回帰変動／残差変動です。これはピタゴラスの定理の話のところでもしたように、直交していますね。だから、関係ありません。独立です。あとは、この比を、なんとか分かっている分布に帰着させればいいのです。そして、大きな値が出たら説明されている、小さな値なら説明されていない、とします。ということで、次は分布の話。　回帰分析で、このような検定に用いる分布としては、Ｆ分布、ｔ分布があります。これらの分布は、標準正規分布、χ²分布（カイ２乗分布）から導かれます。　まず、標準正規分布。なに？　授業やめて外に遊びに行きたい！　結局は、午後は海岸に出かけました。授業の内容もとりあえず中断。はいはい、海岸での皆の様子。（写真：午後海岸で１　２　３　４　５　６　集合写真）２日目夜の授業　はい、始めましょう。午後遊んで、食事をして風呂に入って、さっぱりしましたね。（写真：夕食後の授業開始前リフレッシュした写真）まず、標準正規分布。これはたぶん皆知っているね。左右対称の釣り鐘型の分布で、平均は０、分散が１、従って、その平方根である標準偏差も１の分布だね。　分布がよく分からない学生諸君！　ここで復習しておくから、よく頭にたたき込んでおくのだね。分布を把握するときには、まず、横軸の位置の代表値をみる。多くの分布は正規分布のように山が真ん中にきて、左右対称に近い。だから、横軸の位置の代表値は、分布の真ん中くらいにきている。位置の代表値としては、最頻値、中央値、平均値と３つのアイデアがあるが、普通は平均値（μ：ミュー）を使う。正規分布では３つとも同じになるが。ここでは平均値は０。次に、分布の広がりを把握する。広がりの代表値という。いくつか考え方があるが、よく使われるのは分散（σ²）だ。それは各値と平均との差の２乗(Ｘ_i－μ)²、それらの値を平均したものだ。ここでは分散は１。分散の平方根を標準偏差という。分布の広がりをどう把握するかというと、平均から標準偏差ごとに区切っていくのだ。標準正規分布の場合には、標準偏差が１だから、平均０から１、２、３と区切っていく。また負の方向に、－１、－２、－３と区切っていく。もし正規分布なら、－１から１までの間に全体の2/3の値が生じる。－２から２までの間に９５％の値が、－３から３までの間にほぼ１００％の値が生じることになる。上に描いたグラフをみながら、－１から１までの面積が2/3とか、－２から２までの面積が0.95とか、対応させてください。たいていの分布は、これに準じて考えればよい。　こんどはカイ２乗分布だ。これはＸが標準正規分布をするとして、Ｘ²の分布はどうなるかを考える。Ｘは－∞から∞までの値をとるが、主として－３から３までの値。その２乗だから、マイナスはとらない。主として０から９までの値か。とくに０から４までの値で９５％はとることになる。左図がそのグラフ。これは平均１、分散２になる。　つぎにＸ₁、Ｘ₂がそれぞれ標準正規分布に従い、互いに独立な場合を考える。その２乗和Ｘ₁²＋Ｘ₂² の分布を考える。その平均は２、分散は４になる。このようなことをｆ個の独立な標準正規分布で考える。すなわち、Ｘ₁²＋・・・＋Ｘ_f²の分布である。それを自由度ｆのカイ２乗分布という。平均はｆ、分散は２ｆになる。ちなみに、右図は自由度５のカイ２乗分布である。　ここで、回帰変動／残差変動　の分布がどうなるかという話につなげるために、次のことを言っておこう。正規母集団があるとする。例えば、２０歳の男子が１００万人いる。それが対象となる母集団。そのなかで、身長という属性について調べ、その分布を描く。それが母集団分布。もし、それが正規分布をしているならば、正規母集団という。平均をμ、分散をσ²とする。これをＮ(μ，σ²)と書こう。Ｎは正規分布（Normal Distribution）の頭文字。　この母集団からサンプルをｎ個とる。１番目のサンプルをＸ₁とする。これを実際に観測すれば、具体的な値になる。例えば、１７０㎝とか。ところが、いまは観測する前にやり方を考えておきたい。だから観測していない。従って、Ｘ₁の値はわからない。しかし、母集団から抜いてくることは確かなのだから、Ｘ₁はＮ(μ，σ²)に従っている。身長を例にとるならば、平均は１７２㎝くらい、標準偏差は６㎝くらいだから、３標準偏差離れたところで考えると、１５４㎝～１９０㎝のどれかの値がでる。そのうち１７２㎝付近の値がもっとも出やすい、ということ。２番目の標本も同じだ。以下、ｎ番目の標本まで同じである。　Ｘ₁はＮ(μ，σ²)に従っているから、Ｘ₁から平均μを引き、標準偏差σで割った値は標準正規分布に従う。以下、ｎ個の標本まで同じ。よって、これらはすべて独立だから、その２乗和は自由度ｎのカイ２乗分布になる。この分布の平均はｎ、分散は２ｎである。　標本分散はである。その分布を知りたい。次の式が成り立つ。この式を導くのは簡単である。右辺の２つの項は独立であることも言える。ここで、回帰分析との対応で言えば、左辺が総変動、右辺第１項が回帰変動、第２項が残差変動に相当する。μが推定されるもので、が推定された値。回帰式の場合には、ａ＋ｂＸが推定されるもので、＋Ｘが推定された値となる。その関係を頭に入れて式をみれば、理解してもらえるだろうか。　それぞれを母分散でわると左辺は自由度ｎのカイ２乗分布になる。右辺第１項は自由度１のカイ２乗分布である。というのは、標本平均の分布は従って、この２乗が右辺第１項である。右辺第１項と第２項は独立で、和の分布が自由度ｎのカイ２乗分布になるから、右辺第２項の分布は自由度（ｎ－１）のカイ２乗分布になる。　標本分散はｎではなく、（ｎ－１）で割るのはなぜか？　右辺第２項が自由度（ｎ－１）のカイ２乗分布になり、その平均が（ｎ－１）になるからである。すなわち右式のカッコの中は標本分散であるが、その期待値（平均値）が推定したいσ²になっている。期待値があてたいパラメータに一致している性質を不偏性という。不偏性を満たしている中でいちばん分散が小さいのが、よい推定量。標本分散はそうなっている。だから、ｎ－１で割っている。　さて、回帰式の話に戻ろう。回帰変動／残差変動　の分布を知りたかった。分子、分母はどのような分布になるか？　総変動　＝　回帰変動　＋　残差変動であった。誤差項の仮定の②は、どのサンプルについても誤差項の分散は共通である、ということ。誤差項の分散をσ²とする。これでもって上式の両辺をわる。　左辺の　総変動／σ²　は　Σ(Ｙ－)²／σ²　であるから、いま話したように、自由度（ｎ－１）のカイ２乗分布。ここのところで、ａ＋ｂＸ　のａの部分を推定していることになるので、右辺第１項はｂのみを推定している。（ここは分かりにくいか？　ベクトルで説明した話のところで、２つの式を引いてａを消去したのがあるでしょう。そこを考えれば、分かるのだが）　したがって、回帰変動／σ²　は自由度１のカイ２乗分布。もし説明変数が２つあれば、自由度２。ｋ個あれば、自由度ｋのカイ２乗分布になる。残りの　残差変動／σ²　は自由度を引けばよい。いまの場合は、自由度（ｎ－２）のカイ２乗分布。もし説明変数がｋ個あれば、残差の部分は自由度（ｎ－ｋ－１）のカイ２乗分布になる。　回帰変動／残差変動　の分布は、（自由度ｋのカイ２乗分布）／（自由度ｎ－ｋ－１のカイ２乗分布）の分布になる。これは Fisher という統計学者が考えた分布だから、Ｆ分布と呼ばれている。　Ｆ分布は２つの独立なカイ２乗分布の比として定義する。もし独立でないと、２変数の関係の仕方によって、分布がすべて異なってくる。すべての関係を尽くすことはできないし、膨大なものになってくるので無理。そこで２変数が関係していない、独立だという条件が必要なのだ。　いま、Ｐ～（自由度ｆのカイ２乗分布）、Ｑ～（自由度ｇのカイ２乗分布）とし、互いに独立とする。Ｐ／Ｑの分布を考えると、Ｐの期待値（平均値）はｆ、Ｑの期待値はｇであるので、比の期待値は　ｆ／ｇ　になると想像される。ｆ、ｇはそれぞれいろいろな値が考えられるので、比の期待値がそのつど変わるのも、表を作成する上でうまくない。期待値を１に基準化しておきたい。そのためには自由度でわって、Ｐ／ｆ　や　Ｑ／ｇ　を扱った方がよい。Ｐ／ｆ　の場合には、平均が１で、分散が２／ｆになる。下図は自由度５と３０のカイ２乗分布について、自由度でわった分布を示している。自由度が大きくなれば中心極限定理が働くので、正規分布に近づいてくることが分かるでしょう。また、分散が小さくなってくるので、１の付近の値を多くとるようになる。自由度が非常に大きい場合には、１だけの値をとるようになる。　F分布の定義は、（Ｐ／ｆ）／（Ｑ／ｇ）　でする。この場合、自由度（ｆ、ｇ）のＦ分布という。こう定義すると、Ｆ分布のは１付近の値を多くとることになり、扱いやすい。下図は自由度(1,14)、(5,5)のＦ分布です。(1,14)のＦ分布は、自由度１のカイ２乗分布に近いでしょう。分母が（自由度１４のカイ２乗分布／１４）なので、その分散が 2/14 となり、１付近の値が多くなる。したがって、分母を１だとみなしてしまうと、(1,14)のＦ分布は自由度１のカイ２乗分布になってしまうからです。　さて、もう忘れてしまったかもしれないが、体重を身長で説明する例に戻りましょう。1369人のサンプルから計算すると、決定係数が 0.245 でした。これでも十分説明できていると言いたいわけですが、Ｆ値を計算してみます。　　（回帰変動／1）／（残差変動／(1369-2)）＝444.4 です。自由度(1,1367）のＦ分布で、444.4 以上の値の出る確率は？　EXCELで計算するには、=fdist(444.4,1,1367) とすればよい。その結果は　1.21084E-85　です。これは1.21084 かける１０の８５乗という数字です。気の遠くなるほど小さな値です。したがって、Ｆ値は非常に大きな値ということになり、身長で体重を十分説明できているということになります。グラフでみるには、自由度１のカイ２乗分布とみなしてよいでしょう。図では横軸は４までしか示していませんが、444.4以上の面積はほとんど０ということが分かるでしょう。　もうれつに疲れたかい？　ぼくも書くのに疲れた。聞く方はボーとしているからいいが、書くのは大変だ！　とりあえず、今日の講義はここまで。あとは飲み会。（写真：夜飲み会１　２　３　４　５　ビンゴも終わって　６　７　８　９　１０）３日目朝の授業　きょうは最終日。それぞれの部屋を片づけて、手荷物をもって演習室に集合。昨夜は遅くまで起きていたから、だれも講義を聴いてはいない。それでも話すだけは話してしまう。教員という仕事もむなしいね。　きょうの話はｔ値について。生産関数の推定を例にとって話そう。説明変数が２つ以上あった方が分かりやすいから。　資本（Ｋ）と労働（Ｌ）を用いて生産する。産出量をＹとする。コブ＝ダグラス型の生産関数を想定すると、　　Ｙ＝ＡＫ^bＬ^c　と表現できる。ふつうは　ｂ＋ｃ＝１　という制約を設けるのだが、ここでは制約を設けないで推定してみよう。両辺の対数をとり、誤差項を加える。　　log（Ｙ）＝ａ＋ｂlog（Ｋ）＋ｃlog（Ｌ）＋ｕ　データは下の左表に示したが、1981年から1995年までの１５年間のものを指数化している。推定結果は右に記載した。　全体のあてはまりを示す決定係数は0.933、Ｆ値は83.1なので、２つの変数でよく説明されている。ただし、ほかの前提条件をチェックしていないので、この推定結果がよいか悪いかは、まだ判断できない。　全体での説明力は分かったが、資本、労働という個々の変数が説明として寄与しているかどうかは分からない。たとえば、労働が説明に大いに寄与しているので、資本が寄与していなくても、全体で説明できているようにみえるのかもしれない。というわけで、個々の変数の説明力があるのかどうかをチェックしたい。それがｔ値ということになる。　資本Ｋが説明として寄与しているかどうかをみよう。もし寄与していないとすると、Ｋがどのような値をとろうとも、Ｙには影響しない。ということは、Ｋの係数であるｂが０だということになる。仮説として、ｂ＝０　を考える。ほんとうは、Ｋは説明力があると考えているので、データからこの仮説を否定したい。そういう意味で、帰無仮説（Ｈ₀）という。主張したい仮説は、ｂ≠０　である。これを対立仮説（Ｈ₁）という。　　Ｈ₀：ｂ＝０　　Ｈ₁：ｂ≠０　どちらの仮説を採用したらよいかをデータから判断する。それを仮説検定という。ここでのデータは、ｎ組の（Ｙ，Ｋ，Ｌ）の値である。仮説を判断するために、データの関数φ（ファイ）を考えよう。これを検定量という。　　φ＝φ（Ｙ₁，Ｋ₁，Ｌ₁，・・・，Ｙ_n，Ｋ_n，Ｌ_n）　検定量がどの値をとった場合、Ｈ₀だと判断し、どの値の場合にはＨ₁だと判断するかという領域を定めなければならない。それを棄却域という。　このケースでの検定量は、ｂの推定量であるを工夫して作るのが自然であろう。はすでに述べたように　　～　Ｎ（ｂ，σ²／(なんとか)）となる。これを変形してもしＨ₀が正しければ、ｂ＝０　であるから　下図は標準正規分布であるが、赤色の部分の値がでたら、かなり出にくい値が出たことになる。ここでは、赤色の部分２つあわせて５％になるようにしてある。出にくいという基準を何％にするかは、事例によってそのつど判断することになるが、ふつうは５％をとることが多い。この値を有意水準といっている。　ところで、と（なんとか）の部分はデータから計算できるが、σは分からない。σの代わりにデータから求めた標準誤差（ｓ）を用いることになる。標準誤差は標本分散（ｓ²）の平方根である。標本分散は、残差変動（あるいは残差平方和、ＳＳＲ：Sum of Squared Residual）を自由度（ｎ－ｋ－１）で割ったものである。　　ｓ²＝ＳＳＲ／（ｎ－ｋ－１）　σの代わりにｓで置き換えたものは、標準正規分布には従わなくなる。それは自由度（ｎ－ｋ－１）のｔ分布になる。というのは一番右の式の分子は、標準正規分布をする。分母は自由度（ｎ－ｋ－１）のカイ２乗分布をその自由度で割ったものの平方根である。自由度ｆのｔ分布は、Ｐを標準正規分布、Ｑを自由度ｆのカイ２乗分布で互いに独立としたときで定義される。したがって、σの代わりにｓで置き換えたものは自由度（ｎ－ｋ－１）のｔ分布になり、これが検定量というわけだ。　ここのケースでは、検定量は自由度１３のｔ分布になり、下の左図で示したものになる。ちなみにｔ分布と標準正規分布との関係は右図に示してある。ｔ分布の方が正規分布よりも両端の裾野が広いというわけだ。それだけ平均よりはずれた値が出やすくなる。自由度が大きくなれば、Ｑ／ｆの値がほどんと１になるので、標準正規分布に近づくことになる。　棄却域はｔ分布表から求めればよい。有意水準を５％とすれば 2.16 という数字が得られる。エクセルで求めるとすれば、=tinv(0.05,13)　で計算できる。したがって、棄却域は検定量の値が -2.16 以下か、2.16 以上の値である。係数ｂのｔ値を上記の結果からみると、11.2468 なので、棄却域に入っている。よって、帰無仮説であるｂ＝０を否定することになる。ということはｂ≠０なので、資本Ｋは説明力があると判断する。　ウッウッ・・・　疲れた！　読むのも疲れたろうが、書く方はもっと辛い。ここで写真の番外編。（写真：合宿終了後、横須賀の戦艦三笠で）　さて、この合宿最後の講義。系列相関の話だ。これは誤差項の仮定③、互いに独立かどうか、をチェックするために行う。誤差項が互いに影響しあっているというのは、データが順番に並んでいるから考えられる。その典型的なケースは時系列データだ。時間の順序でデータをとっていく。それに対して、ある一時点で都道府県データを集めてきたとしよう。本来、都道府県はどう並べてもよいはずだ。そのようなのをクロスセクション・データという。ここでは時系列データを考えているので、添え字はいままでのｉではなく、時間を表すｔにしよう。　データから誤差項が互いに独立でないということを棄却すればよいのだが、独立でないというケースはいろいろ考えられる。そこで独立でないケースで、一番簡単なものを想定しよう。当期の誤差項が１期前の誤差項から影響を受けるケースである。もちろん、当期の誤差項は1期前の誤差項のさらに1期前から間接的に影響は受けることになる。しかし、本質的には1期前だけからだ。　　ｕ_t　＝　ρｕ_t-1　＋　ｖ_t とする。ここで、ｖ_tは1期前の誤差項で説明つかなかった部分である。独立でないケースのうち、とくに1期前の1次式で表されるケースを系列相関という。　もし系列相関がなければ、ρ＝０である。このときは、独立でない他のいろいろなケースを調べてはいないが、誤差項は互いに独立と考えよう。ρ≠０であれば、誤差項は互いに独立ではない。　直接 ρ＝０かどうかを検定することは、歴史的な経緯から、していない。これを研究したダービンとワトソンは、次の検定量を考えた。　ｕ_tの回帰式で、ρの最小２乗推定量はになる。これは、いいかい？＝Ｓ_XY／Ｓ_XX となるのを話したでしょう。それを当てはめれば、できる。しかし、ｕ自身は観測されないので、その推定量である残差を代入する。それがだから、これはρの推定量の推定量という感じだね。でも面倒だから、ρハットとしておいた。　ダービン・ワトソン比（ＤＷ比）の値は、系列相関がないρ＝０のときは、２の値をとることになる。ρ＞０（正の系列相関）のときは２よりも小さい。ρ＜０（負の系列相関）のときは２よりも大きい。　さて、棄却域なのだが、これが少しやっかいだ。とりあえず、帰無仮説は「系列相関がないこと」である。もちろん、対立仮説は「系列相関がある」になる。棄却域がやっかいなのは、ＤＷ比が残差からできていることによる。ＤＷ比の分布を考えるのだが、からできているということは、説明変数の関数になっているということ。ということは、説明変数のいろいろな値によって分布が異なってくる。したがって、棄却域も説明変数の値によって異なってくる。これでは数表を作る上でやっかいだね。だから、どんな説明変数の値がきても対応できる数表にしておきたい。たとえば５％の有意水準の場合、いろいろな説明変数に対応する棄却域のうち、もっとも２に近い棄却域の値（上限）と、もっとも２から遠い棄却域（下限）が考えられるでしょう。その間の値は、どの説明変数の棄却域に対応しているかわからないので判断できないよね。　さて、結論。ＤＷ比で上限より２に近い値が出たときには、系列相関がないと判断する。下限より０に近い値が出たときには正の系列相関があると判断する。上限と下限の間の値のときは、判断不能とする。２よりも大きい場合は負の系列相関だが、正のケースと対称に判断すればよい。　　生産関数の例では、残差の時系列は上図のようである。ＤＷ比は0.848 である。ＤＷ比の数表を引く。ｎ＝１５、ｋ^'＝２の交点をみる。ｄ_L＝0.95、ｄ_U＝1.54 である。よって、ＤＷ比の値は下限よりも小さいので、系列相関があると判断する。ちなみに、マクロの時系列データの場合には、ほとんどの場合、正の系列相関がある。ダービン・ワトソン比の数表　はい、これで合宿の授業は終了！　ふ～～。