Hatena Blog Tags
はてなブログ トップ
確率的勾配降下法
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

確率的勾配降下法

(サイエンス)
【かくりつてきこうばいこうかほう】

最適化問題のアルゴリズム。機械学習のオンライン学習での最急降下法の別称。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
やまもとの論文まとめサイト•2ヶ月前

論文要約:　Dropout: A Simple Way to Prevent Neural Networks from Overfitting

Dropout: A Simple Way to Prevent Neural Networks from Overfitting jmlr.org ライセンス CC BY 4.0 Deed | Attribution 4.0 International | Creative Commons 図表は元論文から引用 Abstract 目的: 過学習の問題を解決し、大規模ニューラルネットワークの効率を向上させる。 方法: トレーニング中にランダムにユニットをドロップすることで、ネットワークの過度な共適応を防ぐ。 結果: 視覚、音声認識、文書分類、計算生物学のタスクで最先端の結果を達成。 結論: D…

関連ブログ

やまもとの論文まとめサイト•2ヶ月前

論文要約：ImageNet Classification with Deep Convolutional Neural Networks

ImageNet Classification with Deep Convolutional Neural Networks https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton 図表はすべてKrizhevsky et al.,2012から引用 Abstract 研究目的 ImageNet LSVRC-2010コンテストの120万枚の高解像度…

ｼﾞｮｲｼﾞｮｲｼﾞｮｲ•4ヶ月前

モデルパラメータの算術

深層モデルのパラメータを一列に並べてベクトルにします。このベクトルは大規模なモデルであれば何十億次元にもなります。一見、意味のない数値の羅列のようですが、このベクトルはベクトルとして深い意味があることが分かってきています。例えば、 と を異なるパラメータベクトルとすると、 や をパラメータとして持つモデルはちゃんと機能します。本稿では、このようなモデルパラメータの算術を用いた手法とその背後にある理論について解説します。 モデルスープ タスクベクトル モデルパラメータとニューラルタンジェントカーネル おわりに モデルスープ モデルスープ [Wortsman+ ICML 2022] は複数のモデル…

一生旅行生活してえ•4ヶ月前

G検定用語整理

G検定を受けるにあたり、用語を整理する。自分の学習用である。 あ～ アンサンブル学習 バギング ブースティング スタッキング オートエンコーダ 変分オートエンコーダ（VAE） オントロジー か～ カーネルトリック 画像セグメンテーション セマンティックセグメンテーション インスタンスセグメンテーション パノプティックセグメンテーション 機械学習 教師あり学習 分類 回帰 教師なし学習 強化学習 エージェント 環境 状態 行動 報酬 Q学習 Sarsa モンテカルロ法 クラスタリング 階層クラスタリング 非階層クラスタリング ハードなクラスタリング ソフトなクラスタリング 交差検証 ホールド・ア…

ややプログラム紀行•4ヶ月前

Poincaré不等式

Maya Jane Coles · Bo & WingOn Your Side (Single) Laurence Guy気がつけばもう今年も終わりだ 今年は何もしてないわけではない(と思う)のでその点は自分を褒めたいけど、振り返って反省点を挙げるならとにかく活動時間の短さだと思う 周りの博士課程の人たちが毎日朝から夕方まで社会人のように研究してて、(自分もそんなに研究したら毎月論文書けるわ！)なんて思ったりしてたけど、流石にそろそろ態度を改めた方がいい気がしてきた😰 何となく研究に充てる時間を増やせばそれに反比例して効率が下がりそうで甘えていたけど、多分今の活動時間を2倍にしても何も効率は変…