■　２００４年春合宿　（文責：鈴木武　２００４年２月）

　２月３日から５日まで、富士セミナーハウスでゼミ合宿をしました。セミナーハウスは河口湖近くの鳴沢村にあります。近くには富士五湖のほか樹海も広がっており、快適な環境です。しかし、あいにくというか幸いなことに、用意できた車は２台。全員が移動するには２往復必要なので、勉強するしか手がありません。卒業間近の４年生が３人、あとは３年生と４月からゼミに入る２年生、あわせて２３名が参加しました。今回も昨年の合宿と同様、計量経済学を講義することにしました。

（集合写真：河口湖畔で）


配付資料

資料１　　：回帰計算の例題
資料２　　：ANSCOMBE の例題
資料３　　：体重を身長で回帰
資料４　　：独立を説明するための例
資料５　　：誤差項の前提
資料６　　：最小２乗推定量
資料７　　：回帰分析推定値の説明
資料８　　：生産関数の推定
資料９　　：偏回帰係数の意味
資料１０　：偏回帰係数について
資料１１　：多重共線性
資料１２　：生鮮魚介消費量の説明--多重共線性と自由度修正決定係
資料１３　：身長を１cm、３cm刻みにとり、各階級の平均体重を身長で回帰して説明
資料１４　：よく使う分布
資料１５　：自由度修正決定係数
資料１６　：コンビニ店舗数推計問題


授業内容

（１）
　資料１を用いて、最小２乗法による回帰計算を、手計算してみる。考えているモデルは
　　　　ｙｉ　＝　α　＋　βｘｉ　＋　ｕｉ　
データは変数Ｘ、Ｙについて１１組の観測値が与えられている。したがって、添え字ｉは１から１１までの観測値のうち、ｉ番目のものを表している。ただし、誤差項ｕは観測されていないことに注意しよう。もちろん、係数α、βもわかっていない。そこで、この１１組のデータを用いて、α、βの値を推定することになる。そのときの方法として最小２乗法という考え方を用いる。
　推定されたα、βは、本当の値（真の値）とは違うかもしれない。うまく当っていないかもしれないというわけだ。したがって、真の値と推定された値とは区別しておかないと混乱する。推定された値にはハットをつけることが約束である。ここでは、それが面倒なので、α、βの推定された値をａ、ｂという記号で表そう。
　ａ、ｂをデータから計算する式が資料１には書いてあるが、その式のことを推定量といい、実際に計算された値を推定値と呼んでいる。計算式が分からない人はいないだろうね！　ｘ、ｙの上のバーの記号は平均を表す。ｘバーは、ｘの１１個の値の平均である。Σの記号は足し算を表している。ｉは１から１１までを表すので、１１組の値を代入して、それを足せばよい。一度は計算してみた方がよい。ａ＝３、ｂ＝0.5　になる。

（２）
　資料２は、アンスコムという人が作った例題。４ケースとも計算結果が同じになる。すなわち、ａ＝３、ｂ＝0.5。さらに当てはまりを示す決定係数も 0.666 と同じになる。しかし、グラフをみるとまったく違う。とくに右にある残差のグラフをみてほしい。@は残差が不規則に並んでいるが、A〜Cは規則的である。
　残差というのは、誤差項ｕの推定量である。誤差項は観測されていないから、ａ、ｂが計算されると、ｘｉ、ｙｉが観測されているから、ｕｉが計算される。ただし、それが真の誤差項の値かどうかは分からないから、残差という名前で区別している。
　誤差項がどういう性質をもっているか考えてみよう。ＹをＸで説明しようとしているが、Ｘ以外の説明要因をすべてひっくるめて誤差項としている。具体的な例でないとわかりにくいか！　資料３をみてみよう。体重を身長で説明しようとしている。データは１５９０人。体重は身長以外の要因によっても影響されるが、各要因が体重に与える影響はごくわずかであると考えている。もし影響が大きい要因があるならば、それを説明変数に加えて、残りの細かい要因による影響をひっくるめて誤差項とすればよい。
　身長以外の要因をＺ１、・・・、Ｚｎとしよう。誤差項は
　　　　ｕ　＝　ｃ１Ｚ１　＋　・・・　＋　ｃｎＺｎ
と表される。各要因のとる値は人によって異なる。たとえば、Ｚ１をこの１年間で食べた肉の量としよう。Ｚ１は人によって異なる。すべての人について調べ、横軸に肉の量、縦軸に度数をとるならば、度数分布が描ける。したがって、Ｚ１はある分布をもつことになる。すなわち、確率変数である。ここで、Ｚ１、・・・、Ｚｎが互いに独立だとするならば、ｕは正規分布に近いものになる。これは中心極限定理から言える。すなわち、独立な確率変数の和の分布は正規分布に近づく。「独立」がわからない人は、資料４をやってみて、納得してください。
　ということで、誤差項は正規分布に従ってランダムに値が得られると想定してよい。ということは、期待されている残差のグラフは@であって、AからCのように規則的なものではない。

（３）
　資料５の「誤差項の前提」をみよう。係数α、βを推定するさいに、どのような条件もとで、どういう方法を用いて行えば一番よい結果が得られるかについて示してある。結論は、誤差項の前提@〜Dを満たすとき、最小２乗法で推定するとよいことが、ガウス＝マルコフの定理から言える。前提@は一致性のために必要。これは資料６のプリント１を読んでください。また、ガウス＝マルコフの定理の証明についてはプリント２に書いてあります。念のため、ガウス＝マルコフの定理を証明するために必要な前提は@〜Cまで。Dは推定量の分布について議論するときに必要です。
　ちなみに誤差項の分布が正規分布だとしよう。正規分布は平均と分散の値がわかれば、きちんと描くことができます。分布を描くために必要な値を母数といいます。正規分布では、母数は平均と分散です。いま、前提Aで誤差項の平均を０としているので、分散がわかれば誤差項の分布が決まります。身長が１６０cm、１７０cm、１８０cmと異なれば、誤差項の分布も異なってくるのが普通でしょう。その意味では、分散はＸが異なれば別の値をとります。それだと議論が複雑になるので、ここではすべてのＸの値について、分散は共通であると仮定しているのです。ただし、共通な分散がいくらかはわかっていません。それが前提Bです。
　前提Cは少し分かりにくいでしょうが、独立という仮定がないと、同時分布が計算できないからです。基礎統計で習ったと思いますが、事象ＡとＢの同時確率は、
　　　　Ｐ（Ａ，Ｂ）＝Ｐ（Ａ）Ｐ（Ｂ｜Ａ）
となります。もしＡとＢが独立ならば、Ｐ（Ｂ｜Ａ）＝Ｐ（Ｂ）になるので、
　　　　Ｐ（Ａ，Ｂ）＝Ｐ（Ａ）Ｐ（Ｂ）
になります。したがって、ＡとＢの確率が分かっていれば計算できます。もし独立でなければ、条件付き確率が分からないと計算できないので、やっかいです。

（４）
　アンスコムの例題では、最小２乗法で計算すると係数推定値が４ケースともすべて同じ値になります。しかし、残差のグラフはまったく異なります。誤差項の前提を満たすのはケース@だけで、ほかは前提を満たしていません。たとえばケースAは、残差が放物線を描いています。ということは、誤差項が互いに独立とは言えません。ケースCは残差の広がりが異なっています。したがって、分散が共通ではありません。
　最小２乗法を用いた推定量の特徴は、前提を満たしていれば最も良い推定方法なのですが、前提からはずれると、とんでもなく悪い値が得られることがある、ということです。前提が多少はずれているときには、その程度に応じて悪い推定値が得られるというのならば、許せます。しかし、多少はずれているときに、極端に悪い推定値になる可能性があるとなると、信用できません。「頑健性」というものがないのです。したがって、前提が守られていることを厳しくチェックする必要があります。そのために残差をみて判断することになります。それを残差分析とよんでいます。
　数値で判断する方法もあります。これは資料７に書いておきました。今回のゼミ合宿では、そこまでは話していません。また、もし前提条件を満たしていなかったらどうするか、についても話していません。要は、前提を満たすようにモデルを変形することです。

（初日の授業風景：１ 　２ 　３ 　４ 　５ 　６）


（５）
　説明変数が複数ある場合にはどうなるでしょうか。資料８の生産関数の例で説明しましょう。被説明変数は生産量Ｙで、説明変数は資本Ｘと労働Ｚの投入量です。モデルは
　　　　ｙｉ　＝　α　＋　βｘｉ　＋　γｚｉ　＋　ｕｉ　
です。生産関数の場合には対数をとっていますので、Ｙに相当するのがlog(Y)、Ｘはlog(K)、Ｚはlog(L)　となっています。考え方は１変数の説明の場合と同じです。計算はコンピューターがしてくれるので気にしないでください。注意することは、係数推定値の意味です。資料９を参考にしてください。
　回帰係数は、正確に表現すると「偏回帰係数」と呼ばれています。偏（partial）とは、他の変数の値を一定にしたときに得られる値という意味です。偏微分という概念がありますが、他の変数を一定として、注目している変数についてだけ微分する方法です。他の変数は係数と同じようにみなします。
　資料９の例では、資本Ｋ（ここではlog(K)）の係数の意味を述べています。他の変数、この場合には労働Ｌ（ここではlog(L)）ですが、その影響を取り除いて回帰したときと同じであることが示されています。すなわち、ＫからＬの影響を取り除く。それは、ＫをＬに回帰して、その残差を求めます。残差がＬの影響を取り除いたＫの値ということになります。資料９では、RES(LK)という変数にしています。同様に、ＹからＬの影響を取り除きます。変数RES(LY)です。RES(LY)をRES(LK)に回帰します。その推定値を初めと比べてください。同じ値になっています。
　練習問題として、資料１０をやってみてください。また、資料６プリント１の右に、偏回帰係数の説明をしておきました。

（２日目の授業風景：１）


（６）
　次の話です。最小２方法を幾何学的に説明するとどうなるか、ということです。資料６プリント２の右、「平方和の分解」をみてください。サンプルがｎ組のとき、被説明変数Ｙ、説明変数Ｘ、誤差項ｕはそれぞれｎ個の値になります。ただし、観測されているのはＹとＸの値だけです。それぞれｎ個の値からなるまとまりを１つのベクトルと考えましょう。ここでは太文字でｙ、ｘ、ｕとしています。
　最小２乗法とは、残差の２乗和が最小になるように係数推定値を決める方法です。残差２乗和とは、グラフでいえば、ベクトルｕの長さの二乗ということです。これが理解できない人は、２次元のグラフで、たとえば、原点と点Ａ(3,4)とを結んだ長さが、成分３と４の２乗和になることをピタゴラスの定理から確かめてみてください。さらに３次元空間の場合で、原点と点Ｂ(3,4,2)を結んだ長さの二乗が　３2＋４2＋２2　となっていることを確かめてみてください。
　「平方和の分解」で、ｙ、ｘはすでに観測されていますから、固定されています。ｕは観測されていません。係数推定値は、このｕが最小になるように決めることです。というのは、得られたデータから説明が最大限有効になされていると想定しているからです。ということは、説明されない残差の部分ができるだけ小さくなるようにすることです。これが最小２乗法の考え方です。
　ついでに、説明変数が２つあるケースについてみましょう。資料１１をみてください。ここでは、説明変数はＸとＺです。その観測値がなすｎ次元ベクトルｘ、ｚに、被説明変数ベクトルｙから垂線をおろします。それが残差ベクトルになります。このケースでの問題点は、ｘとｚのなす角が狭いときに起こります。すなわち、説明変数どうしが似ているときです。ｘ、ｚは観測値なので、サンプルが違えば、違ったベクトルになります。角度が小さいと、ｘとｚからできる平面が大きく振れやすくなります。したがって、ｙから下ろした垂線の足の位置も大きく振れます。すなわち、係数推定値が大きくばらつき、その分散が大きくなるということです。それだけ信頼性がなくなります。この現象を多重共線性といいます。多重共線性については、資料１２の問題をしてみてください。ただし、あとから説明するｔ値の知識がないと理解できないでしょう。

（７）
　平方和の分解から、|ｙ|２＝|ｘ|２＋|ｕ|２　が成り立ちます。言葉でいうと、
　　　総変動　＝　回帰変動　＋　残差変動
変動は「平方和」とも言いますので、
　　　総平方和　＝　回帰平方和　＋　残差平方和
と言ってもよいです。平方和を自由度で割れば分散になります。分散は分布のバラツキを表す指標なので、
　　（説明したいバラツキ）＝（説明されたバラツキ）＋（説明し残したバラツキ）
とも言えます。この式から、総変動がどの程度説明されたかの尺度を考えましょう。すなおに考えれば、
　　　決定係数＝回帰変動／総変動
が、その尺度になるでしょう。説明変数が複数あっても、この尺度でよいでしょう。資料１１の左図をみながら、確かめてください。その意味で、説明変数全体でどの程度説明できたかをみる尺度になります。
　ちなみに、決定係数は０から１までの値のどれかになります。０はまったく説明できていない。１は完全に説明できている、です。

（８）
　資料３の決定係数をみてください。0.247541　という値です。体重を身長で説明すると２５％しか説明できていない。これで説明できたと言えるのか。ここで資料１３をみてください。身長を１cmきざみで区切り、それに該当する人の平均体重を求めます。そのようにしてプロットしたグラフが「男子１cmきざみ集計」の図です。そのときの決定係数は 0.889。さらに３cmきざみのときは、0.961 になります。この数字だったら、十分説明できていると言えるでしょう。
　ところが、少し考えてください。資料３で用いたデータを集計して、資料１３のデータを作っています。集計したので、個々のデータがいくらかという情報は落としています。その意味で、情報量としては資料３の方が多いのです。したがって、資料３のデータで説明されていないとは考えられません。この疑問は分布をきちんと考えないと理解できません。というわけで、次はよく使う分布の話です。

（２日目午後、セミナーハウス前：１ 　２ 　３）

（２日目午後、天上山、河口湖：１ 　２ 　３ 　４）


（９）
　分布の話を書くのは疲れたので、昨年の春合宿の報告を読んでください。「２日目夜の授業」で、カイ２乗分布とＦ分布について、「３日目朝の授業」でｔ分布について書いてあります。その知識が理解できたとして、次のことが言えます。
　　　総変動／σ２　　〜　自由度（ｎ−１）のカイ２乗分布
　　　回帰変動／σ２　〜　自由度（ｋ）のカイ２乗分布。ここでｋは説明変数の数。
　　　残差変動／σ２　〜　自由度（ｎ−ｋ−１）のカイ２乗分布
　決定係数のとる値の分布を考えたい。もし、0.25　以上の値をとる可能性がほとんどないのなら、決定係数が0.247であっても、大きな値と言うことができるでしょう。総変動＝回帰変動＋残差変動　です。したがって、総変動は回帰変動とは独立ではありません。分母と分子が独立ならば、その比はＦ分布として定義できます。独立でないと、分布の計算は依存の仕方によって変わってきてしまい、非常にやっかいです。したがって、決定係数＝回帰変動／総変動　で分布を考えることはできません。
　分布が考えやすく、説明の尺度として使えるのは、回帰変動／残差変動　です。回帰変動と残差変動は直交しているので、互いに独立になります。この値が大きいときには、説明されているバラツキが、説明されていないバラツキよりも大きくなるので、説明されていると判断します。小さいときには、説明されていないと判断します。
　Ｆ分布にするためには、それぞれ自由度で割る必要があります。すなわち、
　　　　（回帰変動／ｋ）／（残差変動／（ｎ−ｋ−１））
が自由度（ｋ、ｎ−ｋ−１）のＦ分布に従います。資料３の例では、自由度（1, 1588）のＦ分布に従います。
　残差変動の値は、「Sum of squared residuals」の79766.2　です。回帰変動はここのアウトプットでは直接は出ていませんので、総変動を計算し、そこから残差変動を引いて求めます。総変動は「Std. div. of dep. var.」から計算できます。これは従属変数の標準偏差です。２乗して分散。分散は変動を自由度で割ったのもですから、変動＝分散ｘ自由度　になります。したがって、
　　　　総変動＝（8.16782 の２乗）ｘ（1590-1）＝ 106007.4
　　　　回帰変動＝106007.4 − 79766.2 ＝　26241.2
　　　　Ｆ値＝（26241.2÷1）／（76766.2÷1588）＝522.415
ここで、Ｆ値は資料３の「F(zero slopes)」の値になっています。
　自由度（1, 1588）のＦ分布において、522 以上の値がどの程度出やすいか、その確率を求めます。それは０と言ってよいでしょう。その確率は、522.415 の右にある[.000] で示されています。このＦ分布は平均１、分散２ですから、ほとんどの値が１付近の値をとります。522 という値はとてつもなく大きな値になります。したがって、体重は身長で十分説明されていることになります。
　といっても、気になりますね。７５％は身長以外の要因で説明されるのです。しかし、これらは非常に多くの細かい要因からできています。それらの要因は体重をプラスの方向に変化させるものもあり、マイナスの方向に変化させるものもあります。平均すると、プラス・マイナスが相殺されて、０の付近の値になってしまいます。それだから、１cmきざみ、３cmきざみと平均をとる数を多くしていくほど、細かい要因が相殺されて、残差変動の部分が小さくなっていきます。それゆえ、決定係数が１に近づいていきます。

（１０）
　サンプル数が大きいときは、資料３のように、個別要因による残差変動の部分が大きくなり、決定係数が小さくなります。逆に、サンプル数が少ないと、決定係数が１に近づいてきます。極端なケースは、サンプル数が説明変数の数と同じ場合です。このときには、決定係数は１になります。決定係数が１に近いからといって、よく説明されているというわけではありまん。したがって、サンプル数が少ない場合には、それを念頭において決定係数をみる必要があります。その尺度が自由度修正ずみの決定係数です。これは資料１５を読んでください。

（１１）
　最後に、ｔ値を説明しましょう。これは、昨年の春合宿の報告のうち、「３日目朝の授業」を読んでください。そこでは資料８を用いて説明がされています。生産量Ｙを説明するのに、資本Ｋと労働Ｌの投入量を用いています。説明変数全体でどれだけ説明できたかの尺度は決定係数でみます。しかし、個々の説明変数が役に立っているかどうかは、これではわかりません。それをみる尺度がｔ値です。Ｋの係数が０であるならば、Ｋは説明変数として役に立っていないことになります。Ｋの係数が０かどうかを判断する検定量がｔ分布になるのです。それをｔ値と言っています。式の説明は「３日目朝の授業」のほか、資料１６でも記述しています。それをみてください。
　ただし、資料１６では係数ｂ＝０かどうかを問題にしているのではなく、ｂ＝１かどうかを問題にしています。そのさいの検定量としてｔ分布を用いています。それが通常のｔ値とは違います。
　多重共線性の説明で、ｔ値の知識が必要であると言いました。それは、
　　　ｔ値＝（係数推定値）／（係数推定値の標準誤差）
と書けるからです。係数推定値のバラツキが大きいということは、係数推定値の標準誤差が大きな値になるということです。したがって、ｔ値は小さくなります。決定係数が大きく説明変数全体では説明できているのに、各ｔ値が小さく、それぞれの説明変数が役に立っていないようにみえるときには、多重共線性が起こっています。この説明を参考にしながら、資料１２の結果を読んでみてください。

（１２）
　合宿では、これ以上の説明はできなかった。計量経営分析の授業をとって勉強するか、あるいは、ゼミの時間に質問してください。

（２日目夜、飲み会：１ 　２ 　３ 　４ 　５ 　６）