エコーステートネットワーク（ESN）とは？

01 Basics

エコーステートネットワーク（ESN）とは

エコーステートネットワーク（Echo State Network：ESN）とは、乱数で生成して固定したリカレント結合（リザバー）で入力時系列を高次元の状態へ写像し、読み出し層の重みW_outだけを学習するリカレントニューラルネットワークです。2001年にH. Jaegerが提案し、リザバーコンピューティングの代表モデルとして時系列の予測・分類・異常検知などに使われています。

位置づけを整理すると、ESNはリザバーコンピューティングという枠組みの代表的な一実装です。スパイキングニューラルネットを使うLSM、光や材料の応答を使う物理リザバーなど、枠組み全体の地図やRNN／LSTMとの比較は親記事「リザバーコンピューティングとは」で、ESN以外の方式（リング・スパイキング／LSM・結合振動子・次世代RC）の比較は「リザバーコンピューティングの種類」で解説しています。本ページはESNに絞り、読み終えたら自分の手で実装・チューニングできることをゴールにします。

登場する重みは3つ。学習するのは1つだけ

• W_in（入力重み）：入力を各ノードへ配る。乱数で作って固定。大きさは入力スケーリングで調整する。
• W（リザバー内部の再帰重み）：ノード同士を疎に結ぶ。乱数で作って固定。スペクトル半径で「残響の長さ」を調整する。
• W_out（読み出し重み）：状態から出力を作る。唯一の学習対象で、リッジ回帰などで求める。

QuantumCoreでは、ESNを含むリザバーコンピューティング技術を時系列解析・エッジAI向けに展開し、Qoreシリーズ、ノーコード検証環境のQore Cloud、音・振動の異常検知向けVADQoreを提供しています。

02 Formula

数式は1本だけ ― 状態更新式の読み方

ESNの動作は、次の1本の状態更新式で決まります。記号が多く見えますが、色分けすると役割は4つだけです。

• (1−α) x(t)：前の状態をどれだけ残すか。αはリーク率（0＜α≦1）。
• W_in u(t+1)：いまの入力を各ノードへ配る。
• W x(t)：直前の状態を混ぜ返す＝過去の残響。ESNの記憶の源。
• α f(・)：新しい情報の取り込み量と非線形変換。fはtanhが定番で、状態を−1〜1に収める。

つまり「前の状態を少し残しつつ、いまの入力と過去の残響を混ぜて非線形に変換する」を毎時刻くり返すだけです。出力は状態の線形読み出しで作ります。

※ 実装ではバイアス項や入力u(t)も読み出しへ連結する（[1; u(t); x(t)]）と精度が上がることが多く、「発展」で扱います。

表は左右にスクロールできます。

初期値の影響は消える ― エコーステート性とウォッシュアウト

適切に調整されたESNでは、初期状態の違いは時間とともに洗い流され、状態は入力の履歴だけで決まるようになります。これがエコーステート性です。序盤の数十〜数百ステップは初期値の影響が残るため、ウォッシュアウト区間として学習から除外します。エコーステート性を成り立たせる代表的な調整がスペクトル半径ρで、詳しくは「早見表」で扱います。

03 Training

学習はリッジ回帰1回 ― BPTTはいらない

リザバーを固定しているので、学習は「集めて、解く」の2段階だけです。

1. 状態を集める：入力を最初から最後まで流し、各時刻の状態x(t)を行列X（行＝時刻、列＝ノード）に積む。ウォッシュアウト区間の行は捨てる。
2. 読み出しを解く：教師出力dとの二乗誤差＋L2正則化を最小にするW_outを、閉形式（解の公式）で一発計算する。

これはリッジ回帰そのものです。リザバーのノード同士は応答が似通って強く相関するため、素の最小二乗では解が数値的に不安定になり、過学習もしやすくなります。正則化係数βがその両方を抑えます。学習が行列計算1回で終わること――これがESNの「速くて簡単」の正体で、時間方向の誤差逆伝播（BPTT）を使わないため勾配消失・爆発への対策も不要です（この背景は親記事のRNN／LSTM比較を参照）。

分類タスクではどうする？

系列全体に1つのラベルを付ける分類では、状態の時間平均や最終状態を系列の特徴ベクトルとして取り出し、その上にリッジ分類やロジスティック回帰を載せるのが定番です。フレームごとにラベルがあるタスクなら、回帰と同じく各時刻の状態から直接解けます。

04 How to Build

Python実装 ― NumPyだけ、ちょうど50行

必要なのはPython 3とNumPyだけです。題材は時系列予測ベンチマークの定番Mackey-Glass系列の1ステップ先予測。コードをコピーしてpython esn.pyで動きます（乱数シード固定済み。図3は実際にこのコードを実行した結果です）。

import numpy as np

rng = np.random.default_rng(42)                      # 乱数を固定（再現性の確保）

# ---------- 1. データ：Mackey-Glass時系列を生成 ----------
def mackey_glass(n, tau=17):
    """時系列予測ベンチマークの定番。カオス的に振る舞う系列"""
    x = np.full(n + tau, 1.2)
    for t in range(tau, n + tau - 1):
        x[t + 1] = x[t] + 0.2 * x[t - tau] / (1 + x[t - tau] ** 10) - 0.1 * x[t]
    return x[tau:]

data = mackey_glass(4000)
n_train = 3000                                       # 前半3000点で学習、残りでテスト
mu, sd = data[:n_train].mean(), data[:n_train].std()
data = (data - mu) / sd                              # 学習区間の統計だけで標準化（リーク防止）
u = data[:-1]                                        # 入力：現在の値
d = data[1:]                                         # 教師：1ステップ先の値

# ---------- 2. リザバーを作る（作ったら固定） ----------
N       = 300                                        # ノード数
rho     = 0.9                                        # スペクトル半径
s_in    = 0.5                                        # 入力スケーリング
alpha   = 0.3                                        # リーク率
density = 0.05                                       # 接続密度
beta    = 1e-6                                       # リッジ回帰の正則化係数
washout = 100                                        # ウォッシュアウト長

W_in = rng.uniform(-s_in, s_in, (N, 2))              # 入力重み（バイアス列込み）
W = rng.uniform(-1.0, 1.0, (N, N))
W[rng.random((N, N)) > density] = 0.0                # 疎な結合にする
W *= rho / max(abs(np.linalg.eigvals(W)))            # スペクトル半径をrhoへ調整

# ---------- 3. 状態を集める（学習はまだしない） ----------
T = len(u)
X = np.zeros((T, N))
x = np.zeros(N)
for t in range(T):
    pre = W_in @ np.array([1.0, u[t]]) + W @ x       # 状態更新式はこの1本
    x = (1 - alpha) * x + alpha * np.tanh(pre)
    X[t] = x

# ---------- 4. 読み出し層をリッジ回帰で学習 ----------
Xtr, dtr = X[washout:n_train], d[washout:n_train]    # ウォッシュアウト区間は捨てる
W_out = np.linalg.solve(Xtr.T @ Xtr + beta * np.eye(N), Xtr.T @ dtr)

# ---------- 5. テスト区間で評価 ----------
y = X[n_train:] @ W_out
nrmse = np.sqrt(np.mean((y - d[n_train:]) ** 2)) / d[n_train:].std()
print(f"テストNRMSE: {nrmse:.4f}")                    # 0.01を切れば良好の目安

コードの読みどころは3か所だけ

• 状態更新（ステップ3のループ内2行）：02の状態更新式がそのまま書いてあります。ESNの本体はここだけです。
• 学習（ステップ4のnp.linalg.solve 1行）：リッジ回帰の閉形式です。fitはこの1行で終わります。
• ウォッシュアウト（スライス1つ）：X[washout:n_train]と切り出すだけで、初期値の影響が残る区間を学習から除外できます。

このコードで実践している「時系列の作法」

• 標準化は学習区間の統計だけで行う：テスト区間の平均・分散を使うと未来の情報が漏れます（時系列リーク）。
• 分割は時系列順のまま：シャッフルせず、前半で学習・後半で評価します。
• 乱数シードを固定：W_inとWは乱数なので、シードを固定しないと結果が再現できません。
• 評価は学習に使っていない区間で：学習区間の誤差だけを見ると過学習を見逃します。

※ 実行時間の目安：N=300・4,000ステップの本例は、筆者環境（ノートPC相当のCPU）で1秒未満でした。ノード数や系列長を増やすと、状態収集と行列計算が主なボトルネックになります。

05 Hyperparameters

7つのつまみ早見表 ― どれが何に効くか

ESNのチューニング対象は実質この7つです。まず「どのつまみが、何に効いて、外すとどうなるか」を一覧で押さえます。

表は左右にスクロールできます。

効き方のイメージが最もつかみにくいスペクトル半径ρとリーク率αは、図で見ると一目で分かります。

06 Tuning

チューニング手順 ― 迷わない5ステップ

全部のつまみを同時に総当たりすると組み合わせが爆発します。効きの大きい順に、前のステップの結果を固定しながら進めるのが実務的です。

1. 土台を固定する 「先に結論」の初期値・乱数シード・評価指標（NRMSEやF1など）・検証区間を決め、ベースラインの数字を記録します。以後の変更はすべてこの数字との比較で判断します。
2. 入力スケーリング×ρを粗く総当たりする s_in ∈ {0.1, 0.3, 1.0}×rho ∈ {0.6, 0.8, 0.9, 1.0, 1.1}程度の粗いグリッドで十分です。この2つが性能の大枠を決めます。
3. αをデータの速さに合わせる 予測が「遅れて」追従するならαを上げ、細かい振動に振り回されるなら下げます。{1.0, 0.5, 0.3, 0.1}あたりから試します。
4. βを対数グリッドで選ぶ 状態行列Xは再利用できるため、beta ∈ {1e-8, …, 1e-2}の全探索はほぼ一瞬です。学習と検証のスコア差が大きいときはβを上げます。
5. Nを増やし、シードを変えて確かめる Nを2倍にして伸びが止まる点を探します。最後に乱数シードを3〜5本振って結果のばらつきを確認し、ばらつきの大きい設定は採用しません。

症状から引く：うまくいかないときの逆引き表

表は左右にスクロールできます。

07 Advanced

一歩先へ ― 自由走行・精度アップ・ライブラリ

自由走行（生成モード）：出力を入力へ戻す

1ステップ先予測を学習したESNは、予測値を次の入力として戻すだけで、真値なしに系列を生成し続けられます。追加はループ1つです。

# 学習済みESNをそのまま「生成モード」で走らせる（本編コードの続きに追記）
x_g = X[n_train - 1].copy()                          # 学習末尾の状態から出発
u_g = d[n_train - 1]                                 # 直近の真値を最初の入力に
gen = []
for _ in range(300):
    pre = W_in @ np.array([1.0, u_g]) + W @ x_g
    x_g = (1 - alpha) * x_g + alpha * np.tanh(pre)
    u_g = x_g @ W_out                                # 予測値を次の入力へ戻す
    gen.append(u_g)

自由走行は自分の予測誤差が入力へ回り込むため、1ステップ予測より不安定になりやすい構成です。長く走らせるほど誤差は蓄積し、カオス系列では位相が徐々にずれていきます。発散する場合はρや入力スケーリングを下げるほか、学習時に教師値へ微小なノイズを加えると頑健になることが知られています。

精度をもう一段上げる定番テクニック

• 読み出しの拡張：状態x(t)に[1; u(t)]（バイアスと入力）を連結してから学習する。本記事のデモではNRMSEが0.0018→0.0013に改善しました。
• 複数リザバーの併用：αの異なるリザバーを並べて状態を連結し、速い変化とゆっくりした変化を同時に扱う。
• オンライン学習（RLS）：逐次最小二乗法でW_outを流れるデータに合わせて更新し続ける。エッジでの個体差・環境変化への追従に有効。
• Deep ESN：リザバーを直列に重ね、階層的な時間スケールを持たせる研究的な拡張。

ライブラリを使う・製品で使う

仕組みの理解には本記事の50行が最短ですが、継続的な実験にはReservoirPy（Python製のオープンソースライブラリ）のような専用ツールが便利です。各種リザバーやハイパーパラメータ探索の実装が整っています。現場データでの検証から組み込み・運用までを見据える場合は、ブラウザ上でモデル作成・評価を進められるQore Cloudもご利用いただけます。

ESNの外側――LSM、物理リザバー、応用事例を含むリザバーコンピューティング全体の地図は、親記事「リザバーコンピューティングとは」をご覧ください。リング・スパイキング／LSM・結合振動子・次世代RCといったESN以外のリザバーの作り方を、本ページと同じ「読み出しはリッジ回帰1回」の型で比較・実装した「リザバーコンピューティングの種類」も用意しています。

08 FAQ

よくある質問

09 Summary

まとめ

エコーステートネットワーク（ESN）は、乱数で作って固定したリザバーへ時系列を通し、読み出し重みW_outだけをリッジ回帰で学習するモデルです。覚えることは状態更新式1本と解の公式1本。実装はNumPyだけで50行、学習は行列計算1回で終わります。この構造により、少量データで学習しやすく、学習が速く、低計算資源・低消費電力で動かしやすいのがESNの強みです。

つまずかないための実務チェックは3つです。①評価指標と時系列順の検証区間を先に固定する、②「定番の初期値」から始めて決まった順番でつまみを回す、③最後に複数シードで再現性を確かめ、LSTMなどの基準モデルと同条件で比較する。ここまで揃えれば、少量データやエッジ制約のある時系列課題で、ESNはまず試す有力なモデルです。

10 References

参考文献・関連リンク

基礎文献（一次情報）

1. Jaeger, H. (2001). The “echo state” approach to analysing and training recurrent neural networks. GMD Report 148.（ESNの原典）
2. Jaeger, H., & Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304(5667), 78–80.（カオス時系列予測でESNを広く知らしめた論文）
3. Lukoševičius, M. (2012). A Practical Guide to Applying Echo State Networks. Neural Networks: Tricks of the Trade.（実装・チューニングの実践ガイド。本記事の手順の下敷き）
4. Yildiz, I. B., Jaeger, H., & Kiebel, S. J. (2012). Re-visiting the echo state property. Neural Networks, 35, 1–9.（「ρ<1」の目安を精緻化した論文）

日本語の入門・関連解説

• リザバーコンピューティングとは？仕組み・ESN・RNNとの違い・応用例を図解（当サイトの親記事）
• リザバーコンピューティングの種類を図解 ― リング・LSM・蔵本・次世代RC（当サイトの関連記事）
• 産業技術総合研究所「リザバーコンピューティングとは？」
• IPA「5分でわかるリザバーコンピューティング」

実装・製品情報

• ReservoirPy（Python製リザバーコンピューティングライブラリ）
• Qore Cloud
• Qoreシリーズ
• VADQore

11 Author

執筆・監修

秋吉 信吾

株式会社QuantumCore 代表取締役CEO

Excite株式会社にて自然言語処理を活用した新規サービスやWeb検索サービスの開発に従事し、2012年にはディープラーニングを活用した動画コンテンツマッチ広告システムをいち早く手がける。Mistletoe株式会社・デジタルガレージでのAI関連R&Dを経て、2018年に株式会社QuantumCoreを創業。R&D・経営戦略・PoCプロジェクトを横断して監修し、NEDOをはじめ公的・民間プログラムの有識者・アドバイザーも務める。

12 Products

リザバーコンピューティングを試す

目的に合わせ、ノーコード検証、組み込み、異常検知、話者識別の各ソリューションを確認できます。