最急降下法

(サイエンス)

【さいきゅうこうかほう】

Steepest descent method。関数の最小値を求める最適化問題のアルゴリズムの一つ。単純に関数の勾配方向に降りていく。

$w(t+1) = w(t) - \alpha \frac{\partial E}{\partial w}$

また、以下のように、パラメータを時間的に減衰させることもできる。
$w(t+1) = w(t) - \alpha \frac{1}{\beta t + 1} \frac{\partial E}{\partial w}$

問題点

解の探索能力には問題点も多い。例えば、 $y = x^2$ の最小値探索において、 $\alpha > 1$ の場合、どんどん悪い解へと向かってしまう。

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

ITエンジニアノイのブログ•1年前

最急降下法

最急降下法とは最急降下法（Steepest Descent Method）は、最適化アルゴリズムの一種であり、特に連続関数の最小値を見つけるために使用されます。最急降下法は、与えられた関数の勾配（または導関数）の逆方向に進みながら、関数の最小値に近づくことを目指します。最急降下法による最小値の算出最急降下法の手順関数を定義します。初期値を設定します。これは、最急降下法が最小値の近くから探索を開始する場所です。勾配ベクトル（または導関数）を計算します。勾配は、関数が最も急な上昇方向を示すベクトルです。勾配の逆方向に移動します。これにより、関数の値が減少します。アルゴリズムが収束す…

#機械学習#最急降下法#勾配法

問題点

関連ブログ

最急降下法

関連ブログ