回帰手法の選び方：保証されるのは精度より凸性

実装分野の寿命予測に機械学習を使うとき、候補の手法は 10 個以上あります。では、何を基準に 1 つを選ぶのか。

精度で選ぼうとすると、たいていどれも似た数字になって決め手を欠きます。この記事が対象にするのは、精度以外の基準です。

最後に、実際に効果が出た 1 件を分解します。入力を 12 本から 8 本へ削って誤差が 33% 落ちた事例の、内訳です。

凸だから、初期値によらず同じ解に着く

サポートベクター回帰は、条件付き二次計画問題として書かれます。目的関数が凸で、条件式が線形。

だから、どこから探索を始めても同じ解に着きます。

ニューラルネットワークは違います。目的関数が非凸なので、初期の重みが変われば別の谷に落ちます。同じデータ、同じ構造、同じハイパーパラメータでも、乱数の種が違えば結果が動く。

損失関数が凸かどうかという軸そのものを両者で比べた2026 年の研究¹1Convex Loss Functions for Support Vector Machines and Neural Networks (2026)があるとおり、この差は実装の巧拙ではなく、問題の形から来ます。

この性質が、現場の要求と直結します。機械学習を入れる動機が「人ごとの答えを揃えること」なら、種で答えが動くモデルが満たすのは、その動機の半分どまりです。

最小化している対象が別：構造リスクと経験リスク

2 つめの差は、目的関数そのものにあります。

前者は手元のデータ上の誤差だけを小さくします。後者は誤差と複雑さの和を小さくします。

「正則化を入れれば同じでは」という反論が来ます。

罰則の重みは外から選ぶ量なので、選び方しだいで経験リスクへ戻せます。構造リスクの側では、外すという選択肢がありません。

訓練データが有限要素解析の出力で数百件規模だとすると、経験リスクは原理的に過学習しやすい側にいます。特性曲線の当てはめに一般回帰型のニューラルネットを使った2013 年の報告²2Application of General Regression Neural Network in Characteristic Curve Fitting (2013)のような手法は、そのぶん点数を要求します。

$\epsilon$ は精度のつまみより、複雑さのつまみ

サポートベクター回帰が探すのは、点を通る曲線ではありません。幅 $\epsilon$ の帯を引き、帯の中に収まった誤差は損失への寄与がゼロです。

だから解を動かしているのは、帯の外側にある点だけです。それがサポートベクターになります。

$\epsilon$ が、そのままモデルの複雑さのつまみです。この損失の形そのものを主題にした2023 年の逐次最小最適化による研究³3Epsilon-Insensitive Least Squares Support Vector Regression with Sequential Minimal Optimization (2023)や、異常点に強い形へ切り替えた2023 年の報告⁴4Robust Online Support Vector Regression with Truncated Epsilon-Insensitive Pinball Loss (2023)があるとおり、帯の設計が手法の性格を決めます。

「できるだけ平坦に」という目的も同じ向きです。平坦とは、重みの大きさが小さいこと。入力の変化に対する出力の応答が鈍いので、外挿での暴れが小さくなります。

最小二乗が止まるのは、最後の 1 手だけ

多重共線性の問題を、式の上で正確に辿ります。最小二乗の損失は

$\beta$ で偏微分してゼロとすると

ここまで逆行列の出番はゼロです。正規方程式そのものは、いつでも立ちます。

手が止まるのは、この最後の 1 手だけです。入力どうしに強い相関があると $X^{\mathsf{T}}X$ がフルランクを失い、逆行列が求まらなくなります。

多重共線性がパラメータ推定を危うくすることを正面から主題にした2020 年の研究⁵5Ridge Fuzzy Regression Modelling for Solving Multicollinearity (2020)があるとおり、これは回帰に共通の病です。実装分野の設計パラメータは、まさにこれが起きます。チップ厚とパッケージ厚、はんだ高さと立ち上がり高さ、パッド径とバンプ径。独立に振っているつもりでも、物理的に連動しています。

リッジは固有値を持ち上げる——条件数に上限が付く

罰則を足すと解けるようになる理由を、固有値で書きます。損失へ $\lambda \Vert \beta {\Vert }^2$ を足すと

$X^{\mathsf{T}}X$ は対称かつ半正定値なので、固有値 ${\lambda }_j$ はすべて 0 以上。単位行列の $\lambda$ 倍を足すと、固有値だけが $\lambda$ ずつ持ち上がります。

ゼロだった固有値も正になるので、逆行列が必ず存在します。

条件数に上限が付きます。

${\lambda }_{\min }$ が消えます。どれだけ潰れた方向があっても、条件数は $\lambda$ だけで抑えられる。${\lambda }_{\max }=100$ のとき

上限の式から ${\lambda }_{\min }$ が落ちるので、2 行が同じ値になります。多重共線性への対処としてのリッジを主題にした2020 年の研究⁵や、推定量へ条件を課した2021 年の報告⁶6Restricted Ridge Regression estimator as a parameter estimation in multiple linear regression model with multicollinearity (2021)が対象にするのは、この持ち上げの設計です。

代償は不偏性です。バイアスを受け入れて分散を下げる、という取引。潰れていた方向は、$\lambda$ の分だけ持ち上げられた形で生き延びます。

潰れた方向を「縮める」か「捨てる」か

同じ特異性に、別の手が 2 つあります。主成分を取る手と、出力との共分散で取る手です。

主成分回帰が参照するのは $X$ の分散だけです。考えているのは情報損失の最小化だけなので、入力と出力の相関は計算に入っていません。

潜在構造への射影として定式化された2010 年の部分最小二乗の総説⁷7Partial least squares regression and projection on latent structure regression (2010)が主題にするとおり、部分最小二乗は $Y$ との共分散で方向を選びます。「振り幅は小さいが、出力をよく動かす」方向が生き延びます。

強く出る変数ほど、振れ幅が小さい

主成分回帰の危うさを、現場の条件で言い換えます。潜在変数を $Y$ との関係で取る枠組み（2010 年の総説⁷）が生まれた動機も、ここにあります。

「変動が小さい」は、しばしば「重要である」ことの証拠になります。

実装設計のデータでも同じことが起きます。寸法の振り幅は物理的に許される範囲で決まり、層によって桁が別です。壊れるのは、振れ幅の乏しい層のほうです。

だから使い分けが線で引けます。

カーネル行列が壁：$N^2$ の記憶と $N^3$ の仕事

カーネル法の限界も数で出ます。$N$ 点のカーネル行列は $N^2$ 要素、解くのに $O(N^3)$。

数千点までは快適で、数万点でつまずきます。

分割して解く手が使われます。$n$ 点を $k$ 個のクラスタへ等分すると、1 クラスタは $n/k$ 点。

クラスタ数の 2 乗で速くなります。$n=10,000$ で $k=10$ なら 100 倍。大規模なカーネル法を部分空間のクラスタリングで主題にした2023 年の研究⁸8Large-Scale Subspace Clustering Based on Purity Kernel Tensor Learning (2023)が対象にするのも、この壁です。

ただし分割した時点で、クラスタをまたぐ相関を捨てています。速さと引き換えに落としているのはそこで、「精度を大きく損なわずに」という条件節は、この捨てた分を指します。

判断の目安が 3 つ揃いました。データが数千以下、出力がスカラー、再現性が要る。実装分野の寿命予測は、ちょうどこの条件に当てはまります。

入力を 4 本削った 33% のうち、18.4 点は本数のぶん

最後に、効果が出た 1 件を分解します。入力の本数そのものが推定の分散へ入る構図は、推定量へ条件を課す 2021 年の報告⁶が対象にする枠組みと同じ土台に乗ります。層間絶縁膜の信頼性予測で、候補の入力は 12 個ありました。相関係数の $p$ 値を取り、$p>0.05$ の 4 つを落とします。

この 33% を、そのまま選抜の手柄と受け取るのは早いです。

入力を減らせば、選び方が下手でも誤差は下がります。最小二乗の予測の分散は、入力の本数 $p$ とサンプル数 $N$ で

誤差の大きさが分散に支配されているなら、それは標準偏差、つまり $\sqrt{p}$ に比例します。

この 18.4 点は、どの 4 本を落としても得られます。差し引きます。

おおむね半分が本数、半分が選び方です。

分解した意味は、次の一手にあります。本数のぶんは $\sqrt{p}$ で決まるので、削り続ければ必ず得られます。選び方のぶんは、落とした 4 本の寄与が小さかったことの証拠です。

この分解を通さずに「選抜で 33% 改善」と報告すると、手法の実力を 1.8 倍に見積もります。次に 8 本から 6 本へ削るときは、$\sqrt{6/8}=0.866$ で本数のぶんが 13.4% に落ちるので、同じ手法でも改善幅は必ず小さくなります。