自由度2重調整済み寄与率(R**2)って何者なの?

仕事で日科技研製の統計ソフト「JUSE-StatWorks」を使っていたら、重回帰分析の結果に3つの寄与率(決定係数)が出てきた。
私は、

  • 寄与率 R^2
  • 自由度調整済み寄与率 R^{*2}

の2つしか知らなかったので、 R^{**2}って一体…?となり、今回調べることとした。

自由度2重調整済み寄与率

 R^{**2}は、「自由度2重調整済み寄与率」と呼ぶそうだ。
日科技研がインターネットで定義を公開している。
寄与率等の算出について(PDF)

自由度2重調整済み寄与率 R^{**2}は、1976年に芳賀らが提唱した統計量である。
www.jstage.jst.go.jp

この論文では、

  • 重回帰分析のモデル式の良否を決める指標として残差平方和がある
  • しかし、残差平方和は説明変数を多くするほど小さくなるので、残差平方和を指標にモデル式を作ると、すべての説明変数を使用することになる。(この欠点は寄与率 R^2も同じである。)
  • また、残差平方和( R^2も)は、与えられたデータへの当てはまりが最良であることを保証するが、予測精度の良さは保証しない。

と、既存の指標を批判した上で、「予測精度を良くするための指標」の作成に焦点を当てている。
ここで紹介されている自由度2重調整済み寄与率 R^{**2}は、予測精度の良いモデル式を作成するための指標として提唱されている。

自由度2重調整済み寄与率に対する批判

一方で、自由度2重調整済み寄与率 R^{**2}について、永田は以下の論文で批判している。
www.jstage.jst.go.jp

永田はここで

自由度調整済み寄与率や自由度2重調製済み寄与率は変数選択の立場から導入されたものである.変数選択の観点からよい統計量であるかどうかと,母寄与率の点推定の観点からよい統計量であるかどうかは別の問題である.

と問題提起し、母寄与率の点推定の立場から、各統計量を比較している。
永田は本論文で

推定精度の観点からは,どのタイプの寄与率もサンプルサイズがかなり大きくないと信頼しにくい.
このことを念頭に入れた上でモデルの適合度の尺度として用いるのならば,バイアスの程度とMSEの観点からR*^<2+>を用いるのが一番望ましい.
R^2には重大な上側へのバイアスが存在する.
また,自由度2重調製済み寄与率R**^2やその修正寄与率R**^<2+>は下側へのバイアスが重大であり,MSEも他の寄与率に比べて大きいので母寄与率の点推定量として適切ではない.

と結論付け、母寄与率の点推定の観点からは自由度調整済み寄与率 R^{*2}が最良であるとしている。

ここまでの流れに加え、 R^{**2}が40年以上前に提唱された指標であるにも関わらず、

  • RやSPSS、エクセルのデータ分析において、 R^{*2}は採用されているが R^{**2}は採用されていないこと
  •  R^{**2}を採用している論文が少ないこと*1

を踏まえると、取り立てて R^{**2}を使う理由はないかな、と思います。

芳賀らも先述の論文の最後に

これはまた, MallowsのCp統計量やAkaikeの情報量, AIC基準とも結果的に一致する.

と書いているので(この文の「これ」が何を指しているのかがいまいち読み取れなかったが)、
それならAICを使えばいいのではないでしょうか。

自由度2重調整済み寄与率と赤池情報量規準AIC

芳賀らは、先述の論文の前書きで

重回帰分析において説明変数の数pが30以上にもなると, その中から最適な組を選ぶのは容易ではない.

と書いており、説明変数となる候補が膨大にある中で、どれを説明変数として採用してよいのか、モデル式の仮説が立てられない状況下を想定して議論を始めている。
そのような際によく用いられる指標は、赤池情報量規準AIC)である。
AICは文字通り赤池が1973年に発表した統計量である。これは芳賀らが R^{**2}を提案した3年前である。
ci.nii.ac.jp

世界的には、圧倒的にAICの方がメジャーである。RでもAICは求められる。

*1:2020年11月28日の時点で、Google Scholarで"自由度2重調整"でヒットした論文は31件。うち2件は、先述の芳賀らの論文と永田の論文である。土木や品質管理の分野に偏っており、重複する著者も数人見られた。