広告 回帰分析

R言語でLASSO回帰（ラッソ回帰）をマスター！ 初心者でも理解できる実践ガイド

2024年4月13日

はじめに

LASSO回帰（らっそかいき）は、機械学習でよく用いられる線形回帰モデルの一種です。LASSO回帰は、過学習を防ぎ、モデルの解釈性を高めるという特徴を持ちます。近年、データ分析や予測モデル構築において、LASSO回帰は非常に重要な役割を果たしています。

このブログ記事では、R言語を用いたLASSO回帰の実践的な方法を解説します。初学者の方でも理解しやすいように、基礎的な説明から具体的な操作手順まで、丁寧に説明していきます。

L1正則化とは？

L1正則化は、損失関数に対して係数の絶対値の和を加えることにより、一部の係数をゼロにすることを目指す正則化手法です。この特性により、無関係または重要でない特徴をモデルから除外することができ、結果としてよりシンプルで解釈しやすいモデルを生成します。

L1正則化を含む損失関数は通常、以下のように表されます

ここで、MSE は平均二乗誤差、β はモデルの係数、λは正則化の強度を調整するパラメータです。パラメータ λの値が大きいほど、多くの係数がゼロになります。

L1正則化の利点

  1. 特徴選択: 自動的に無関係な特徴を削除し、モデルをシンプルにします。
  2. 多重共線性の対処: 相関の高い変数が存在する場合でも、一部の変数のみを選択して他を無視します。
  3. 解釈の容易さ: 生成されたスパースなモデルは、どの変数が予測に重要かを理解しやすくします。

R言語でのL1正則化の実装例

R言語でL1正則化を適用するには、前述したようにglmnetパッケージが最も一般的です。
以下に簡単な例を示します。

install.packages("glmnet")　#パッケージのインストールがまだの場合
library(glmnet)

# データ生成
set.seed(101)
X <- matrix(rnorm(100 * 20), nrow = 100, ncol = 20)
beta <- runif(20, min = -2, max = 2)
y <- X %*% beta + rnorm(100, sd = 0.5)

# L1正則化を用いたモデルフィッティング
fit <- glmnet(X, y, alpha = 1)

# 係数の確認
print(coef(fit))

スクリプトの解説

ライブラリの読み込み: glmnet パッケージを読み込んでいます。このパッケージは、リニアおよびロジスティック回帰モデルにL1正則化（ラッソ）やL2正則化（リッジ）を適用するための関数を提供します。

乱数シードの設定: set.seed() 関数は乱数の生成に使われるシードを設定します。これにより、コードを実行するたびに同じ乱数が生成され、結果が再現可能になります

set.seed(101)：乱数生成のシードを設定し、結果の再現性を保証します。

X <- matrix(rnorm(100 * 20), nrow = 100, ncol = 20)：100個の観測値と20個の特徴を持つデータ行列を生成します。ここで、rnorm(100 * 20) は標準正規分布からランダムな数値を生成します。

beta <- runif(20, min = -2, max = 2)：20個の係数を、-2から2の範囲で一様分布からランダムに生成します。

y <- X %*% beta + rnorm(100, sd = 0.5)：生成した係数betaと説明変数Xを用いて応答変数yを計算します。このモデルには、0.5の標準偏差を持つ正規分布のノイズを加えます。

fit <- glmnet(x, y, alpha = 1)：L1正則化（ラッソ回帰）を使用してモデルをフィットします。ここで、xとyはそれぞれ説明変数と応答変数です。alpha = 1はラッソ回帰を指定しています。

print(coef(fit))：フィットされたモデルの係数を表示します。coef()関数はモデルの係数を抽出し、print()関数でこれをコンソールに出力します。ラッソ回帰では、多くの係数がゼロになる可能性があります。これは、ラッソ回帰が特徴選択を行いながら回帰を実行するためです。

結果の解釈の仕方

上記スクリプトを実行した結果は、glmnetでフィットされたL1正則化（ラッソ）モデルの係数を示しています。ここで、異なる正則化パラメータ（ラムダ）の値に対応し、各行が異なる予測変数（V1からV20）の係数です。また、「Intercept」は切片（モデルの定数項）を示しています。

解釈のポイント:

  1. スパース性（係数がゼロになる）:

    • L1正則化の主な特徴は、不要な係数をゼロにすることでモデルをスパースにする能力です。この表で多くの.（ドット）が見られるのは、その係数がゼロになっていることを意味します。例えば、V1、V2、V5、V6、V9などの変数は多くの場合で係数がゼロです。

  2. 係数の変化:

    • ラムダの値が小さくなるにつれて（左から右へ）、係数の絶対値が増加することが多いです。これは、ラムダが小さいと正則化の影響が減少し、より多くの係数がモデルに「生き残る」ことを意味します。

  3. 重要な予測変数の識別:

    • 係数がゼロでない変数（例えば、V3、V4、V7、V8、V10）は、モデルがその予測において重要だと判断している変数です。これらの変数の係数は、予測変数が目的変数に与える影響の大きさと方向を表します。

  4. ラムダの選択:

    • 実際のモデリングでは、過剰適合を避けつつ最も予測性能の高いラムダの値を選択することが重要です。これは通常、交差検証を使用して決定されます。ここでは、61個の異なるラムダ値に対するモデルが示されていますが、どのラムダが最適かはデータに依存します。

  5. プロットの利用:

    • plot(fit) を使用すると、ラムダに対する各係数の経路（パス）が描かれ、どの変数がどのラムダ値でモデルに入ったり出たりするかを視覚的に確認できます。これはモデル選択の際に非常に有益です。

この表から、どの予測変数が目的変数に影響を与える可能性が高いか、またその影響の強さと方向を把握することができます。また、多くの予測変数がモデルから省略されていることから、データセット内の情報の冗長性や不要な特徴を省くことに成功しているとも言えます。

交差検証機能を使ったLASSO回帰のやり方

実際のモデリングで最適なラムダの値を選択するために、glmnet パッケージで提供されている交差検証機能を使用する方法について詳しく解説します。交差検証は、モデルの一般化能力を評価し、過学習を防ぐために非常に有効な手段です。

交差検証の基本

交差検証では、データセットを複数のサブセット（通常は「フォールド」と呼ばれます）に分割し、それぞれのフォールドを一度ずつテストセットとして使用し、残りのフォールドを訓練セットとして使用します。このプロセスを繰り返し、各フォールドに対するモデルのパフォーマンスを評価します。これにより、特定のデータセットに過度に適合することなく、モデルのパフォーマンスをより公平に評価することが可能になります。

R言語での交差検証実装方法

# ライブラリのロード
library(glmnet)

# データの生成
set.seed(101)
X <- matrix(rnorm(100 * 20), nrow = 100, ncol = 20)
beta <- runif(20, min = -2, max = 2)
y <- X %*% beta + rnorm(100, sd = 0.5)

# 交差検証を用いたLASSOモデルのフィッティング
cv_fit <- cv.glmnet(X, y, alpha = 1, type.measure="mse", nfolds = 10)

# 交差検証の結果のプロット
plot(cv_fit, main="LASSO Cross-Validation Plot")

# lambda.min に対する赤い点線の追加
abline(v=log(cv_fit$lambda.min), col="red", lwd=2, lty=2)

# lambda.1se に対する青い点線の追加
abline(v=log(cv_fit$lambda.1se), col="blue", lwd=2, lty=2)

スクリプトの解説

このスクリプトは、R言語を使用してLASSO回帰（L1正則化を含む線形回帰モデル）を適用し、その性能を交差検証で評価する一連のプロセスを示しています。具体的には、データの生成からモデルのフィッティング、そして結果の可視化までを含んでいます。以下、スクリプトの各部分について詳しく解説します。

glmnetライブラリをロードします。このライブラリは、LASSO回帰やリッジ回帰など、正則化を含む線形モデルを実装するための関数を提供しています。

set.seed(101)で乱数のシードを設定し、結果の再現性を保証します。

Xは100行20列の行列で、各要素は標準正規分布から生成されます。これが説明変数（特徴量）です。

betaは20個の係数で、各係数は-2から2の範囲の一様分布から生成されます。これらは各説明変数の真の係数です。

yは応答変数で、線形結合 X %*% beta に標準偏差0.5の正規分布ノイズを加えたものです。

cv.glmnetは、指定されたデータにLASSOモデルをフィッティングし、交差検証を通じてその性能を評価します。

alpha = 1はLASSO回帰を指定しています（alpha = 0はリッジ、0 < alpha < 1はエラスティックネット回帰）。

type.measure="mse"は性能評価の基準として平均二乗誤差（MSE）を使用することを指定します。

nfolds = 10はデータを10分割して交差検証を行うことを指定します。

plot関数により、LASSOモデルの交差検証結果がプロットされます。このプロットは、様々なラムダ値におけるMSEを示し、どのラムダ値が最適かを視覚的に評価するのに役立ちます。

abline関数を使用して、プロット上に特定のラムダ値を示す線を追加します。lambda.minはMSEが最小となるラムダの値、lambda.1seは最小MSEの1標準誤差以内で最も単純なモデルを提供するラムダの値です。

log(cv_fit$lambda.min)とlog(cv_fit$lambda.1se)で、ラムダ値の対数を取っています（プロットが対数スケールの場合）。

colで線の色を指定し（赤と青）、lwdで線の太さ、ltyで線のスタイル（点線）を指定しています。

結果の解釈の仕方

先ほどのスクリプトを実行すると次のようなプロットが得られます。

LASSO回帰におけるlambda.min（赤い点線）とlambda.1se（青い点線）の選択は、モデルの予測性能と複雑性（または疎性）のトレードオフを考慮する必要があります。ここでの選択は、データの特性、モデルの目的、および過学習のリスクへの対応に基づいて行われます。

lambda.min（赤い点線）

  • 定義: このラムダ値は、交差検証で得られた平均二乗誤差（MSE）が最小になる点です。
  • 利点: このラムダ値を選択すると、交差検証に基づいて最も良い予測精度を持つモデルを得ることができます。つまり、このラムダでフィットしたモデルは、利用可能なデータに最も適合するモデルです。
  • 欠点: 最小のMSEを追求することは、特にデータセットが小さいまたは変数が多い場合に過学習（overfitting）を引き起こす可能性があります。過学習したモデルは新しい未知のデータに対してうまく一般化できないかもしれません。

lambda.1se（青い点線）

  • 定義: このラムダ値は、最小MSEに1標準誤差を加えたときのラムダ値であり、これを選択すると少し性能は落ちるものの、より単純で堅牢なモデルを得ることができます。
  • 利点: lambda.1seはモデルをより単純化し、過学習のリスクを減らします。このラムダ値でのモデルは、必要以上に複雑になることなく、データの基本的なパターンを捉えることができるため、新しいデータや外部のサンプルに対してもうまく機能する可能性が高いです。
  • 欠点: 予測精度がわずかに低下する可能性がありますが、これは過学習を避けるためのトレードオフです。

選択基準

どちらのラムダ値を選択するかは、モデリングの目的に強く依存します。以下に一般的な指針を示します：

  • 予測性能の最大化が重要な場合（たとえば、競争やパフォーマンスが最も重視される状況）: lambda.minを選択します。
  • モデルの解釈性や一般化が重要な場合（たとえば、新しいデータに対する予測が求められる場合や、モデルの結果を説明する必要がある場合）: lambda.1seを選択します。

最終的に、これらの選択は、特定のデータとモデルの使用状況に基づいて慎重に検討されるべきです。また、異なるラムダ値におけるモデルのパフォーマンスを評価するために追加の検証やテストを行うことも一般的です。

回帰分析

2025/2/26

偏回帰分析とは？基本概念から解釈、Rによる実装まで徹底解説！

統計分析において、「ある説明変数が目的変数に与える影響を評価したい」と考えることはよくあります。しかし、多くのデータには 複数の説明変数が同時に影響を及ぼしている ため、単純な単回帰分析では正しい評価ができないことがあります。 そこで活用されるのが 偏回帰分析（Partial Regression Analysis） です。 ✅ 偏回帰分析の主な目的 特定の変数が目的変数に与える影響を、他の変数の影響を除外した上で評価する 多変量データの中で、各説明変数の相対的な寄与度を明確にする 重回帰分 ...

ReadMore

回帰分析

2025/2/26

ロジスティック回帰分析とは？基本概念から具体例、Rでの実装まで徹底解説！

統計学において、ある変数が特定のカテゴリに分類されるかどうかを予測する手法は非常に重要です。その中でも、ロジスティック回帰分析 は、2値（0または1）の分類問題 に適した統計モデルとして広く用いられています。 たとえば、以下のような予測問題に適用されます。 ✅ ロジスティック回帰が使われる例 医療分野：患者が特定の病気にかかるかどうか（0＝なし、1＝あり） マーケティング：ある顧客が商品を購入するかどうか（0＝購入しない、1＝購入する） 信用リスク評価：借入希望者がローンを返済できるかどうか ...

ReadMore

回帰分析

2024/4/26

R言語で始めるRidge（リッジ）回帰：理論から実践まで【初心者向けガイド】

はじめに リッジ回帰は線形回帰モデルの一種で、予測変数間の多重共線性を扱いやすくするために正則化項を導入します。この記事では、R言語を使用してリッジ回帰を行う方法を、理論の説明から具体的なコードの実行まで段階的に解説します。 リッジ回帰の基礎 リッジ回帰（Ridge Regression）は、回帰分析において共線性を緩和し、モデルの過学習を防ぐために導入される技法です。具体的には、損失関数にL2正則化項（係数の二乗の和）を加えることで、係数の絶対値を抑え、より一般化されたモデルを生成します。 データの生成 ...

ReadMore

特殊なグラフ

2024/4/26

R言語でQQプロットを作成する方法

はじめに QQプロット（Quantile-Quantileプロット）は統計分析で非常に役立つツールです。これを使って、データセットが特定の理論分布に従っているかどうかを視覚的に評価することができます。R言語には、この種のプロットを簡単に作成できる強力なツールが用意されています。この記事では、R言語を使用してQQプロットを作成する基本的なステップを説明します。 必要なパッケージ QQプロットを描くためには、基本的にstatsパッケージが必要ですが、これはRの標準パッケージに含まれているため、特別なインストー ...

ReadMore

グラフのカスタマイズ

2024/4/17

Rでエラーバー付きのグラフを作成する方法

はじめに データの可視化において、エラーバーはデータの変動や不確実性を表現する重要な手段です。R言語を用いたグラフ作成においてエラーバーを追加する方法を学ぶことで、データの解釈をより深く行うことが可能になります。この記事では、基本的なエラーバーの追加方法から、カスタマイズする方法までを段階的に解説します。 エラーバーを含むグラフの重要性 エラーバーは、データ点のばらつきや測定の不確かさを表すのに役立ちます。科学研究や技術報告でよく見られるこの表現方法は、データの信頼性や有効性を視覚的に伝えるために不可欠で ...

ReadMore

グラフのカスタマイズ

2024/4/17

R言語でのグラフ作成：X軸とY軸のスケール比の設定方法

はじめに R言語はデータ分析と可視化に非常に強力なツールです。特にグラフ作成機能は多くのデータサイエンティストや研究者に利用されています。この記事では、R言語でグラフを作成する際にX軸とY軸のスケール比を設定する方法を詳しく解説します。スケール比を調整することで、データの比率や関係性をより正確に表現することが可能になります。 グラフの基本的な作成方法 まず、R言語で基本的なグラフを作成する方法から見ていきましょう。ここでは、plot() 関数を使用してシンプルな散布図を描きます。 # サンプルデータの生成 ...

ReadMore

-回帰分析
-

S