少数データの当てはめ：点数は特徴量の 13.8 倍が下限

実験を 9 回回しました。そのデータで、何個の係数を決められるでしょうか。

直感では「9 個まで」と答えたくなります。ところが頑健な当てはめに要る点数は、係数の数より 1 桁多いことが実測されています。

2020 年の機械学習における少数データ問題の過適合の壁に関する研究¹1On a Scalable Entropic Breaching of the Overfitting Barrier for Small Data Problems in Machine Learning (2020)が、その比を数字で出しています。

頑健な当てはめには、13.8 倍が要る

2020 年の論文¹の問題設定はこうです。過適合と少数データの相手取り方は、機械学習で最も難しい問題に数えられる。相対的に小さいデータ統計量が、相対的に大きいデータ特徴次元に対して頑健な当てはめを与えるだけの量を下回るときに起きます。

大規模な並列解析で、一般的な分類問題について、データ統計量と特徴次元のさまざまな組み合わせを調べています。

結果が壁として出ます。

「一般的な機械学習の手法に、統計的に有意な線形の過適合の壁が存在することを示す。結果が明らかにするのは、バイオインフォマティクス由来の一般的な問題を長短期記憶（LSTM）深層学習分類器で頑健に分類するには、最良の場合でも特徴次元の少なくとも 13.8 倍の統計量が要る、ということである。」

「最良の場合でも」と書かれているのが要点です。13.8 は下限で、余裕はその上に積みます。

壁を破る道が、計算量の側から提案されている

同じ論文¹は壁を示したうえで、破る手法も提示しています。

「この過適合の壁は、エントロピー最適でスケーラブルな確率的近似アルゴリズム（eSPA）により、計算コストの 10 分の 1 の割合で破れることを示す。エントロピー最適なベイジアンネットワーク推論と特徴空間の分割を同時に解くことによってである。」

2 つを同時に解くのが要点です。

適用例での改善が数字で並びます。

計算コストは 10 分の 1 の割合で。

「特徴選択とモデル当てはめを同時に解く」という設計原理が、少数データの側で効いています。2 段に分けると、1 段目の選択が 2 段目のデータを使ってしまう——その情報の重複が、過適合の一因になります。

9 点だけのときに、実際に行われていること

では現場ではどうしているか。2026 年の射出成形品の反り変形を予測する、誤差逆伝播ニューラルネットワーク・クリギング代理モデル・サポートベクターマシンを組み合わせたアルゴリズムの研究²2A hybrid back-propagation neural network, Kriging surrogate model and support vector machine combined algorithm for predicting warpage deformation of injection molding products (2026)が、実例になっています。

データの量が書かれています。推奨される工学的な工程パラメータのもとで、成形シミュレーションソフトを用いて 9 回の実験を行い、反り量を得た。

9 点です。前節の計算では、頑健に当てられる特徴次元が 1 個の手前で止まる領域。

そこで取られた方法が、組み合わせです。

最適な重み係数を通じて 3 つを組み合わせ、3 つの組み合わせモデルを作る。3 つの単独モデルと合わせて 6 つで予測を比べています。

隠れ層を増やすより、先に確かめること

モデルの複雑さをどこまで上げるか。理論の側に、上げる手前の目安があります。

隠れ層にニューロンを 1 個だけ持つ単一隠れ層フィードフォワードネットワークが任意の 1 変数関数を近似できることを明らかにした研究³3A Single Hidden Layer Feedforward Network with Only One Neuron in the Hidden Layer Can Approximate Any Univariate Function (2016)が、極端な形で示しています。1 変数の関数なら、ニューロン 1 個で近似できる。

2017 年の、重みを定数にした単一隠れ層フィードフォワードネットワークによる近似の研究⁴4On the approximation by single hidden layer feedforward neural networks with fixed weights (2017)も、同じ方向です。

この結果の使い方は、慎重に取ります。

少数データで当てはめが崩れるとき、原因は表現力より点数にあります。前半の $T\ge 13.8D$ が示しているのは、まさにそれです。

だから隠れ層を増やす前に、$T/D$ を計算します。比が壁を下回っているなら、モデルを大きくした先で改善は止まったままです。むしろ $D$ が増えるので、比が悪化します。

物理を入れると、必要な点数が減る

点数と特徴の両方が固定のとき、3 つ目の道があります。物理法則をモデルへ組み込む。

2024 年の物理情報ニューラルネットワークを用いた多重走査の熱シミュレーションの研究⁵5Multi-Scan Thermal Simulation Using Physics-Informed Neural Network (2024)が、その方向です。支配方程式を損失関数へ入れると、データの外の領域でも解が物理に従います。

働き方を $T/D$ の枠組みで受け取ります。

3 つ目が要点です。熱伝導方程式を課せば、温度場の自由度はパラメータの数より大幅に少なくなります。当てはめる自由度が減るので、同じ点数でより頑健になります。

代償も明確です。物理を入れるには、支配方程式が分かっている必要があります。反りのように多くの機構が絡む量では、方程式そのものが近似になります。

対象そのものが持つ規模の条件

最後に、データがなぜ乏しいのかを確かめます。

2025 年の中小企業向けの半導体製造最適化——システムダイナミクスと機械学習の手法⁶6Optimizing Semiconductor Manufacturing for Small and Medium Enterprises, A System-Dynamics and Machine Learning Approach (2025)が対象にするのは、規模の小さい事業者です。装置の台数も、流れるロットの本数も限られます。

2006 年のフリップチップ BGA パッケージの反りの研究⁷7Warpage of Flip Chip BGA Package (2006)が示すとおり、反りのような量は 1 点の測定に時間と費用が掛かります。

点数が乏しい理由は、2 つへ割れます。

2 つ目では、$T$ を増やす道が塞がっています。残るのは $D$ を減らすか、物理を入れるか。前半で出した 3 つの作法——組み合わせ、複数指標、実物での検証——が、そのまま手順になります。

現場で動く判断

1. 当てはめの前に、$T/D$ を計算します。測られた下限は 13.8 倍¹。8 因子＋交互作用なら 497 点、9 点では 55 分の 1 です。

1. 13.8 は「最良の場合でも」の値です。手法と問題で比は動きますが、壁が存在するという構造は共通です。自分の系で比を測り直します。

1. $T$ が固定なら、$D$ を減らします。「何を当てにいくか」を先に絞る。交互作用を落とすだけで、$D$ が 36 から 8 へ落ちます。

1. 点数が乏しいときは、複数のモデルへ重みを付けて混ぜます。どれが正しいかを判別する材料そのものが乏しいためです。

1. 誤差指標を 3 つ書き入れます。二乗和・平均絶対・平均相対。3 つとも同じ順位なら、順位が指標の選び方から独立です。

1. 最後に実物 1 点で確かめます。1 点で足りるのは当てはめより検証で、予測との離れ方はそこで測れます。

1. 隠れ層を増やす前に、$T/D$ を確かめます。少数データで当てはめが崩れる原因は、表現力より点数の側にあります。モデルを大きくすると $D$ が増え、比が悪化します。

1. 支配方程式が分かっているなら、物理を入れて実効的な $D$ を下げます。ただし方程式そのものが近似になる量では、この道が細くなります。