再帰型ネットワークの重み共有：模型が小さくなるのは h < p − 1 のとき

再帰型の網は、時系列のために作られた道具です。ところが実装分野で挙がっている用途には、時間軸がありません。

それでも「再帰型のほうが精度が高い」と報告されます。そこで実際に効いているのは何なのか。それを、どう確かめるのか。

時間軸の無い問題に、時系列の道具が使われている

用途として挙がっているのはこうです。「複数の入力パラメータが 1 つの信頼性予測につながる場合。」

チップ厚、パッド径、はんだ高さ。同時に与えられる設計パラメータの組から、寿命という 1 つの数を求める。

順序も時間も、この写像には入っていません。静的な回帰です。

4 つの網を、差分だけで書き出します。

素の再帰型より上に足されているものは、全部「長い系列のための対策」です。標準の再帰型・長短期記憶・ゲート付き再帰単位を同じ予測課題で比べた2021 年の研究¹1Solar Energy Production Forecast Using Standard Recurrent Neural Networks, Long Short-Term Memory, and Gated Recurrent Units (2021)や、2 つのゲート付き構造を突き合わせた2023 年の比較²2A Comparative Study of Long Short-Term Memory and Gated Recurrent Unit (2023)が対象にするのは、系列が長い側の問題です。

系列が短い、あるいは順序が無意味な問題では、対策が増やすのはパラメータ数だけです。

同じ節に、逆向きの判断が 2 つ並ぶ

報告そのものが割れています。3 つの再帰型構造を同じ課題で突き合わせた2021 年の研究¹のように、比較は条件を揃えてはじめて順位になります。

同じ節の中で、逆を向いています。

だから外から検査します。「時間方向の依存関係を学習できる」という通常の筋は、依存関係を欠く問題では成り立ちません。残る候補は 3 つです。

候補 1「重み共有で正則化」を、パラメータ数で検査する

この筋は、数えれば決着します。

ゲート構造どうしの差をパラメータの数え方から詰めた2023 年の比較²と同じ数え方で進めます。$p$ 個の設計パラメータを、長さ $p$ の系列として 1 個ずつ食わせるとし、隠れ状態の幅を $h$ とすると

比較対象の全結合網は、同じ幅 $h$ の隠れ層 1 枚で

比を取ると $h$ が約分されます。

再帰型のほうが小さくなる条件は

隠れ状態の幅が、設計パラメータの本数より狭いときだけです。

$p=8$ で数を入れます。

$h=32$ で 3.78 倍、$h=64$ で 7.33 倍。再帰型のほうが大きい。

設計パラメータが 8 本なら、隠れ状態は 7 より狭くする必要があります。実装で普通に使われる 32 や 64 は、その条件のはるか外側です。

だから「重み共有が正則化として働く」という筋は、ここで落ちます。正則化どころか、パラメータを 4 倍から 7 倍に増やしています。

ゲートは、それをさらに 3〜4 倍にする

ゲートを足すと、同じ $h$ に対して重み行列の組が増えます。2 つのゲート構造を並べた2023 年の比較²が数える対象も、この組数です。

ゲートは、長距離の依存のために足された機構です。依存を欠けば、追加のパラメータだけが残ります。

報告の側にも、同じ向きの観察が付いています。ゲート付き再帰単位の予測性能は一貫した改善の手前で止まり、隠れ層を増やすとしばしば失敗した。「時系列が短い、あるいは関連性が低い可能性がある」という留保が添えられています。

$h=32$ なら、全結合網の 288 に対して長短期記憶は 4,352。15.1 倍です。

候補 3「前処理と損失関数の差」が残る

候補 2（入力順序の暗黙の構造）は、順序を無作為に入れ替えて再学習すれば検査が済みます。差が消えれば、順序の寄与はゼロです。

候補 3 が、報告の文面そのものに書かれています。

「再帰型の最適性能は、中央値と四分位範囲による前処理と、損失関数としての平均絶対百分率誤差で得られることが多い。」

これはアーキテクチャとは別の話です。同じ前処理と同じ損失関数を全結合網へ与えれば、差が消える可能性があります。

手順が 1 行で書けます。

それで差が消えるなら、再帰型を使う理由が消えます。損失関数の形そのものが学習の性格を定めることを正面から主題にした2026 年の研究³3Convex Loss Functions for Support Vector Machines and Neural Networks (2026)があるとおり、損失の選択はアーキテクチャと同じ階層の設計変数です。

以下、その 2 つが効く理由を求めます。

中央値と四分位範囲：1 件の早期故障で標準偏差が 241% 動く

信頼性データには長い裾があります。早期故障が 1 件混ざると何が起きるかを、数で出します。

寿命が 900, 950, 1000, 1050, 1100, 1150, 1200 サイクルの 7 件に、58 サイクルの早期故障を 1 件足します。

標準偏差が 3.4 倍に跳ねます。平均と標準偏差で正規化すると、全データがこの 1 件に引きずられます。

中央値と四分位範囲は、同じ値のままです。異常点に強い学習機を組む2022 年の研究⁴4Outlier robust extreme learning machine to simulate discharge coefficient of side slots (2022)が対象にするのも、この性質です。

平均絶対百分率誤差との差は、$e_i$ を $y_i$ で割るかどうかの 1 か所

2 つの損失を書き出します。$e_i=y_i-{\hat{y}}_i$ として

違いは分母の $y_i$ だけです。同じ大きさの誤差が寿命 $y_i$ と $y_j$ の試料に出たとき、寄与の比は

寿命に反比例します。二乗誤差のほうは $y$ が式に入っていないので、この比は 1 のままです。

誤差はどちらも 100 サイクル。

二乗誤差では同点、百分率誤差では 10 倍の差。

100 サイクルで落ちる試料の予測を 100 外すのは、寿命をまるごと外したのと同じです。二乗誤差はそれを、1,000 サイクルを 10% 外したのと同点に数えます。

寿命データは対数正規に近い分布をするので、相対誤差で測るのが素直です。相対精度の測り方そのものを主題にした2013 年の研究⁵5Measuring Relative Accuracy - A Better Alternative to Mean Absolute Percentage Error (2013)や、対称化した変種の危うさを主題にした2026 年の報告⁶6The Symmetric Mean Absolute Percentage Error - Unnecessary or Dangerous (2026)、2 つの指標を並べて比べた2020 年の報告⁷7Forecast Error Calculation with Mean Squared Error and Mean Absolute Percentage Error (2020)があるとおり、この選択そのものが研究の対象です。

2 つの選択は、同じ 1 つの向きを持ちます。

前処理と損失関数を揃える手前で比べた勝敗は、前処理と損失の勝敗です。

誤差を半分にするたび、データと時間が 4 倍

報告には、もう 1 つ実務的な観察があります。訓練データを増やすと性能は上がるが、向上が飽和する点があり、訓練時間は上がり続ける。

飽和の形を式にします。統計誤差が $N^{-1/2}$ で落ちるなら

訓練時間は $N$ にほぼ比例するので、時間も 4 倍です。

精度の値段は、半減の回数に対して指数です。

限界利得のほうも出しておきます。

9,000 件の時点で、1 件追加する価値は 256 件のときの 0.5% です。有限要素解析 1 回の実行が高いので、この寝はじめる点を測ることに直接の金額差が出ます。

飽和点の測り方は素直です。データ数を変えて学習曲線を描く。配線構造ごとに多層基板の反りを解いた2023 年の研究⁸8Analysis of warpage in multi-layer printed circuit boards depending on the trace structure (2023)のように、入力がレイアウトそのものである場合も、同じ曲線を描いて止め時を決めます。