Hatena Blog Tags
はてなブログ トップ
準ニュートン法
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

準ニュートン法

(サイエンス)
【じゅんにゅーとんほう】

最適化問題のアルゴリズムの一つ。可変計量法とも呼ばれる。ニュートン法と同様な手法で最小値を探す。ただし、2階偏微分であるヘッセ行列を直接計算するのではなく、1階偏微分を使い更新公式からヘッセ行列の逆行列を近似する。

更新公式は色々あるが、以下の物がある。

  • Davidon-Fletcher-Powell法（DFP法、Fletcher-Powell法）
  • Broyden-Fletcher-Goldfarb-Shanno法（BFGS法）
  • Self-Scaling Variable Metric法（SSVM法、自己スケーリング可変計量法）
  • Broyden法
  • Symmetric Rank 1 法（SR1法）
このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
AIうぉ－－！(ai-wo-katsuyo-shitai !)•9ヶ月前

『AIのバックプロパゲーションには、勾配降下法が用いられますが、ニュートン法を用いることはできませんか？』に対するChatGPT(3.5)の回答が、普通に立派過ぎる！

ChatGPT(3.5)との質疑 （文字化け＝数式部分は、画を前か後ろに貼りました） User ChatGPT User ChatGPT User ChatGPT User ChatGPT User ChatGPT コメント ChatGPT(3.5)との質疑 （文字化け＝数式部分は、画を前か後ろに貼りました） User AIのバックプロパゲーションには、勾配降下法が用いられますが、ニュートン法を用いることはできませんか ChatGPT はい、AIのバックプロパゲーションには通常勾配降下法が広く用いられていますが、ニュートン法を用いることも一部の場合で可能です。 勾配降下法は、誤差関数を最小化す…

関連ブログ

空中測量研究室の技術ノート【2冊目】•1年前

【数値実験で確認】最尤法のバイアス

プロローグ この記事では、SfMなどで使われるバンドル調整の根幹をなす、最小二乗法・最尤法の性質を扱います。 2変数X, Yに関するn個の観測データがあるとき、 xを説明変数とし、Yを目的変数とする回帰モデル： Y = f(X) + ε を考えて、関数fに含まれるパラメータを最小二乗法で推定する状況を考えます。 もし、Yの観測誤差を表すεが互いに独立で、平均0、標準偏差σの同一の正規分布に従うならば、最小二乗法は最尤法に一致します。すなわち、最小二乗法によって推定されたパラメータは、最尤推定量となります。 もしさらに、関数f(X)が線形つまりf(X) = a X + bの形ならば、最尤推定量は…