アンサンブルに足す損得：偏り 6 倍が境目

複数のモデルを混ぜると精度が上がる。この言い方には条件が抜けています。

混ぜて良くなるのは、足したメンバーが十分に正確なときだけです。理論的に向いているはずの手法でも、単体の精度が低ければ全体を引き下げます。

分散は $1/ M$ で縮むが、床は $ρ σ^{2}$

2024 年のアンサンブル手法の概観¹が挙げる 3 方式のうち、まず等重みの平均を式にします。 $M$ 個のモデルについて、各メンバーの誤差の分散を $σ^{2}$ 、任意の 2 つのあいだの相関を $ρ$ とすると、平均の分散は

σ_{ens}^{2} = σ^{2} [ρ + \frac{1 - ρ}{M}]

$M \to \infty$ の極限で

σ_{ens}^{2} ⟶ ρ σ^{2}

床は $ρ σ^{2}$ です。メンバーをいくら増やしても、下がるのはここまでです。

$ρ$	$M = 2$	$M = 4$	$M = 10$	$M \to \infty$
0.0	0.50	0.25	0.10	0.00
0.3	0.65	0.48	0.37	0.30
0.5	0.75	0.625	0.55	0.50
0.8	0.90	0.85	0.82	0.80

$ρ = 0.8$ では、10 個混ぜても下がるのは 18% までです。多様性が低いと、数を増やす見返りが小さい。

用語

偏りは、平均されるだけ

分散は $M$ で縮む一方、偏り（バイアス）は変わりません。

等重み平均の偏りは、各メンバーの偏りの平均です。

b_{ens} = \frac{1}{M} i = 1 \sum M b_{i}

だから偏った新メンバーを足すと、全体の偏りが上がります。

$M$ 個の平均偏りが $b ˉ$ のところへ、偏り $b_{new}$ のメンバーを足すと

b_{ens}^{'} = \frac{M b ˉ + b _{new}}{M + 1}

$b ˉ = 0.1$ 、 $M = 3$ のとき

$b_{new}$	新しい $b_{ens}$
0.1（同じ）	0.100
0.3	0.150
0.5	0.200
1.0	0.325

偏り 1.0 のメンバーを 1 つ足すと、全体の偏りが 3.25 倍になります。

平均二乗誤差は、偏りの 2 乗と分散の和です。

MSE = b_{ens}^{2} + σ_{ens}^{2}

足すことで分散は下がり、偏りは上がる。損得の境目はこの 2 つの釣り合いで決まります。

4 人目を足す損得の境目は、既存の偏りの 6 倍

境目を解きます。この判断は、2026 年の射出成形の反りの研究²が 6 つのモデルを比べたときの「どれを組み合わせに入れるか」と同じ形です。 $M$ 個から $M + 1$ 個へ増やすとき、

分散の利得は

Δ σ^{2} = σ^{2} (1 - ρ) [\frac{1}{M} - \frac{1}{M + 1}] = \frac{σ ^{2} ( 1 - ρ )}{M ( M + 1 )}

偏りの損失は

Δ b^{2} = (\frac{M b ˉ + b _{new}}{M + 1})^{2} - b ˉ^{2}

足して得になる条件は $Δ b^{2} \leq Δ σ^{2}$ です。

$b ˉ = 0.1$ 、 $M = 3$ 、 $σ^{2} = 1$ 、 $ρ = 0.5$ として

Δ σ^{2} = \frac{1 \times 0.5}{3 \times 4} = 0.0417

(\frac{0.3 + b _{new}}{4})^{2} - 0.01 \leq 0.0417 ⟹ b_{new} \leq 0.61

新メンバーの偏りが 0.61 以下なら得、それを超えると損です。既存の平均偏り 0.1 に対して 6.1 倍。

境目が

M

でどう動くか

同じ計算を $M$ を変えて繰り返します（ $b ˉ = 0.1$ 、 $σ^{2} = 1$ 、 $ρ = 0.5$ ）。

既存の $M$	分散の利得	許される $b_{new}$	既存の偏りに対する倍率
2	0.0833	1.06	10.6 倍
3	0.0417	0.61	6.1 倍
5	0.0167	0.42	4.2 倍
10	0.0045	0.28	2.8 倍
20	0.0012	0.20	2.0 倍

メンバーが増えるほど、許容される偏りの倍率が下がります。分散の利得が $1/ [M (M + 1)]$ で縮むためです。

$M = 20$ では、新メンバーの偏りが既存の平均の 2 倍を超えるだけで損になります。最初の数個は緩く、後になるほど厳しい。

$ρ$ が高いほど、境目が厳しくなります。分散の利得が $(1 - ρ)$ に比例するためです。 $ρ = 0.8$ なら利得が 5 分の 2 になり、許される偏りも縮みます。

現場での手順はこうなります。

各メンバーの偏りと分散を、検証データで別々に測る
既存アンサンブルの $ρ$ を、メンバー間の誤差の相関から求める
上の不等式で、新メンバーを足すかどうかを確定する

「多様性があるから足す」という判断は、 $ρ$ だけを見ています。偏りの側が抜けます。

再標本化の方式で、順位が入れ替わる

アンサンブルの作り方にも選択があります。既定はブートストラップ（バギング）ですが、最良の位置は測ってから決まります。

2026 年の中規模データセットにおける QSAR モデルの研究³が、この点を調べています。訓練集合の再標本化の既定設定は通常ブートストラップ（バギング）であるとして、非復元抽出による再標本化と、訓練集合の大きさを変えて比べています。

結果が手法ごとに割れます。

「データセットと再標本化のハイパーパラメータによる影響はかなりランダムであったが、モデルの型への有意な依存が検出された。」

具体名が挙げられます。

「xgboost、ランダムフォレスト回帰、サポートベクター回帰のモデルでは、既定のバギングの使用は非復元抽出による再標本化より劣る。」

モデル	既定のバギング
xgboost	非復元抽出より劣る
ランダムフォレスト回帰	非復元抽出より劣る
サポートベクター回帰	非復元抽出より劣る

3 つとも、既定の設定より良い選択肢が見つかっています。

同じ研究は、モデルの複雑さの選び方についても報告しています。

「中規模データセットでは、データセットと多層ニューラルネットのハイパーパラメータに応じて、モデルの複雑さの探索で両方の領域を考慮すべきである。」ここでの「両方」とは、従来の偏り・分散のトレードオフと二重降下（double descent）の 2 つです。

活性化関数で割れます。

活性化関数	好ましい領域
ReLU	二重降下の解が主に好ましい
ロジスティック、双曲線正接	偏り・分散のトレードオフ領域での探索も要る

活性化関数を替えると、複雑さを探す領域そのものが替わります。

「どの手法が良いか」への答えは、問題の族ごとに立つ

手法の選択そのものについて、理論の側に有名な結果があります。

2016 年のノーフリーランチ定理の実証的概観と、実世界の機械学習分類への影響⁴が、それを追っています。

「直観にかなり反するが、ノーフリーランチ（NFL）定理は、すべての最適化問題の戦略が、可能なすべての問題にわたって平均すると等しく良く機能する、と述べている。」

緊張関係が指摘されます。「この事実は、より良いアルゴリズムへ向けて払われている努力と衝突するように映る。」

そのうえでこの研究は、実世界のデータセットに対して、いくつかの一般的な機械学習分類手法について、NFL 定理の効果を実証的に探っています。

用語

NFL 定理の、正しい使い方と誤った使い方

受け取り方	妥当か
「どの手法も同じだから、選ぶ意味が消える」	誤り。平均は「すべての可能な問題」上で取られている
「手法を選ぶ根拠は、問題の構造を特定してから立つ」	こちらが妥当
「手法の優劣は、問題の族を指定して初めて言える」	こちらも妥当

要点は、平均を取る範囲です。実際に相手にする問題は、「すべての可能な問題」のごく一部の族に偏っています。その偏りが、手法の優劣を生みます。

だから手法を選ぶ手順は、2 段になります。

自分の問題の族を特定する。点数、特徴次元、雑音の性質、単調性、滑らかさ
その族で比べた実測を探すか、自分で比べる

1 段目を飛ばすと、比較そのものが宙に浮きます。2026 年の表形式データにおける予測アルゴリズムの比較解析⁵のような研究が値打ちを持つのは、族を「表形式データ」に限定しているからです。

逆に言えば、そこで出た順位は表形式データの族の中だけのものです。別の族へ持ち込むときは、根拠を引き直します。

手法を混ぜる方式が、3 つある

混ぜ方そのものにも種類があります。2024 年の機械学習におけるアンサンブル手法——ブースティング、バギング、スタッキング¹が、3 つを並べています。

方式	何を動かすか	分散・偏りのどちらへ乗るか
バギング	訓練集合を再標本化して、並列に学習	主に分散
ブースティング	前のモデルの誤りを重く、逐次に学習	主に偏り
スタッキング	複数モデルの出力を、別のモデルで統合	両方

前半の式と対応づきます。

偏りが大きいなら、バギングを増やしても $b_{ens}$ は変わりません。ブースティングの側です
分散が大きいなら、ブースティングは過適合を進めうる。バギングの側です

2023 年の教育分野におけるアンサンブル手法の比較研究——バギングとブースティング⁶も、この 2 つを同じ土俵で比べています。

2026 年の射出成形の反りの研究²が採ったのはスタッキングに近い形です。3 つの手法を最適な重み係数で組み合わせる。等重みの平均より、重みを最適化するほうが前半の境目を緩めます。

重みを最適化すると、境目はどう動くか

等重みでは、偏った新メンバーが $1/ (M + 1)$ の重みで必ず入ります。重みを最適化する道があるなら、その重みを小さく取れます。

極端には、偏りの大きいメンバーの重みをゼロにすれば、足したときの害もゼロです。

だから重み最適化の道があるなら、「足すかどうか」の判断が「重みをいくつにするか」へ移ります。

ただし重みを推定するにもデータが要ります。メンバーが $M$ 個なら重みも $M$ 個で、特徴次元が $M$ 増えたのと同じです。

少数データの壁 $T \geq 13.8 D$ をここへ当てると、

メンバー数 $M$	重みの推定に要る点数
3	41
6	83
10	138

9 点のデータで 3 つの重みを最適化すると、 $T / D = 3$ で壁の 4 分の 1 以下です。

現実的な折り合いは 2 つあります。

重みを粗く刻む。0、0.25、0.5、0.75、1 の 5 段にすれば、推定の自由度が下がります
交差検証で重みを定め、その手続き込みで性能を測る。重みの推定に使ったデータで性能を測ると、楽観側へ傾きます

現場で動く判断

アンサンブルの分散の床は $ρ σ^{2}$ です。 $ρ = 0.8$ なら、10 個混ぜても下がるのは 18% まで。まず $ρ$ を測ります。

偏りは平均されるだけで、 $M$ を増やしても変わりません。偏り 1.0 のメンバーを 3 個の平均へ足すと、全体の偏りが 3.25 倍になります。

足す損得の境目を、不等式で求めます。 $b ˉ = 0.1$ 、 $M = 3$ 、 $ρ = 0.5$ なら、新メンバーの偏りは 0.61 まで。既存の 6.1 倍が線です。

$M$ が増えるほど、許される偏りの倍率が下がります。 $M = 2$ で 10.6 倍、 $M = 20$ で 2.0 倍。後から足すほど厳しくなります。

再標本化は既定のバギングを疑います。2026 年の報告³では、xgboost・ランダムフォレスト回帰・サポートベクター回帰の 3 つで、非復元抽出のほうが良いとされています。

活性化関数を替えたら、複雑さを探す領域も替えます。ReLU では二重降下側、ロジスティック・双曲線正接では偏り・分散のトレードオフ側も探します。

手法の比較は、問題の族を特定してから行います。NFL 定理⁴が示すのは、優劣を言う根拠が族の指定とともに立つということです。

重みを最適化するなら、重みの数だけ特徴次元が増えたと数えます。3 メンバーの重み推定に 41 点。9 点では壁の 4 分の 1 以下です。

アンサンブルに足す損得：偏り 6 倍が境目

分散は $1/ M$ で縮むが、床は $ρ σ^{2}$

4 人目を足す損得の境目は、既存の偏りの 6 倍

再標本化の方式で、順位が入れ替わる

「どの手法が良いか」への答えは、問題の族ごとに立つ

手法を混ぜる方式が、3 つある

現場で動く判断

出典

AIに聞く

分散は 1/M で縮むが、床は ρσ2

4 人目を足す損得の境目は、既存の偏りの 6 倍

再標本化の方式で、順位が入れ替わる

「どの手法が良いか」への答えは、問題の族ごとに立つ

手法を混ぜる方式が、3 つある

現場で動く判断

出典

あわせて読む

分散は $1/ M$ で縮むが、床は $ρ σ^{2}$