Hatena Blog Tags
はてなブログ トップ
特異値分解
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

特異値分解

(一般)
【とくいちぶんかい】

SVD (singular value decomposition)
線形代数の行列分解の一手法。統計学や信号処理で活用されている。

特異値分解定理

特異値分解定理によれば、m行n列の行列Ｍは
　　Ｍ ＝ Ｕ Σ Ｖ*
の形に分解する事ができる。

　　Ｕ ： 行列Ｍの入力の基底となる正規直交ベクトル (m次ユニタリ行列)
　　Ｖ ： 行列Ｍの出力の基底となる正規直交ベクトル (n次ユニタリ行列)

  • >　　Σ ： 行列Ｍの特異値を対角成分にもつm行n列行列。
  • >　　　　　特異値とは、入力から出力を得るための係数。

    • 要するに特異値分解とは、入力と出力の線形関係Ｍを、正規直交化して 特異値 Σii を求める処理と言える。

    特異値分解による次元削減

    行列Ｍが既約ではない(行または列に従属関係がある)場合、あるいは特異値が極めて0に近い場合、行列Σの次数を下げる事ができ、大きな行列の次数削減に利用される。
    また、行列の次数が極めて大きく計算機のメモリーにも収まらない場合には、
    逐次計算可能なアルゴリズムや、ニューラルネットを使ったアルゴリズムが試みられている。

    このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
    pyopyopyo - Linuxとかプログラミングの覚え書き - •3年前

    C++/Eigen で特異値分解(SVD)を使って一般化逆行列を計算する

    一般化逆行列（擬似逆行列，最小二乗法に対応するやつ）をc++で計算するサンプル特異値分解(SVD)が必要なので，実装は Eigen を使いますpython/numpy の実装も用意しました．こちらです https://pyopyopyo.hatenablog.com/entry/2021/09/14/161955 #include <Eigen/Dense> #include <iostream> #include <random> #include <assert.h> int main() { //ランダムな 3x3 行列を生成 std::random_device rd; std::mt…

    #Eigen#特異値分解

    ネットで話題

    もっと見る
    40ブックマーク特異値分解 - Wikipediaja.wikipedia.org
    36ブックマーク特異値分解とLSIの意味 - あらびき日記abicky.hatenablog.jp
    31ブックマークリーマン多様体上の最適化―特異値分解の例を通して― - 冷めたコーヒーmirucacule.hatenablog.com
    23ブックマーク特異値分解 (SVD) と多次元解析 Greenacare, M.J. 特異値分解 (SVD) は線形代数におけるもっとも便利なツールのひとつだが，統計家向け教科書の多 くでは扱われていない。特...elsur.jpn.org
    22ブックマーク特異値分解・固有値分解系の分析 - データサイエンティスト上がりのDX参謀・起業家iisssseeiiii.hatenablog.com
    21ブックマーク特異値分解を用いたレコメンデーション - NO!と言えるようになりたいytakano.hatenadiary.org
    13ブックマークPythonで特異値分解(SVD)を理解する - け日記以前の投稿( 論文メモ: Item2Vec: Neural Item Embedding for Collaborative Filtering - け日記 )で比較対象になっていた特異値分解(SVD)についてまとめ、Pythonで実装してみます。 SVDとは 特異値分解(singular value decomposition: SVD)は、数学的にはM×N(M行N列)の行列を分解する方法の一つです。 コンピュータサイ...ohke.hateblo.jp
    13ブックマーク対角化、固有値分解、特異値分解、そしてジョルダン標準形 - ブログ村kriver-1.hatenablog.com
    12ブックマーク特異値分解の定義，性質，具体例 | 高校数学の美しい物語manabitimes.jp

    関連ブログ

    機械学習基礎理論独習•3年前

    特異値と特異値分解

    特異値 任意の 行列 に対して、となる正数 を特異値と呼び、 次元ベクトル を左特異ベクトル、 次元ベクトル を右特異ベクトル、合わせて特異ベクトルと呼びます。 の第2式の両辺に を左から掛け、第1式の両辺に を左から掛けるととなることが分かります。 は の固有ベクトルであり、 は の固有ベクトルです。 そして、特異値の 乗 はそれらの固有値です。 特異値分解 の特異値を とします。 対応する 本の左特異ベクトル と 本の右特異ベクトル はともに対象行列の固有ベクトルであるから、 それぞれ正規直交基底に選ぶことができます。 を拡張して、 の正規直交基底 が定義できます。 を拡張して、の正規直交…

    #特異値#特異値分解
    初級Mathマニアの寝言•2ヶ月前

    「線形代数を基礎とする応用数理入門」と関係する研究

    線形代数を基礎とする応用数理入門に書かれている内容は最新の研究とも密接に関係しています．以下ではそのことを紹介します． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 深層学習への応用 6.6節「線形システムのモデル低次元化法」は深層学習と関係しており，状態空間モデル (State Space Model: SSM) が組み込まれた深層モデルのパラメータ削減に応用できます．実際に，以下の論文では深層モデルに組み込まれた比較的大きなSSMを6.6節で説明している平衡打ち切り法を利用して小さなS…

    TadaoYamaokaの開発日記•2ヶ月前

    【論文】Bridging the Human–AI Knowledge Gap: Concept Discovery and Transfer in AlphaZeroを読む

    DeepMindがarXivで発表した、AlphaZeroからチェスの新しい概念を抽出して人間のパフォーマンス向上に使えるようにする方法について述べた「Bridging the Human-AI Knowledge Gap: Concept Discovery and Transfer in AlphaZero」を読んだ際のメモ。 概要 AlphaZeroから隠されたチェスの知識を概念として抽出する 概念は、AlphaZeroの中間層から概念ベクトルとして抽出する 人間が知らずAlphaZeroだけが知っていること発見する 学習可能かつ新規な概念を抽出する 人間のグランドマスターが概念を学習可…

    ENGINEERING BLOG ドコモ開発者ブログ•2ヶ月前

    スバラしき逆行列の世界

    はじめに NTTドコモ サービスイノベーション部の中村圭佑です。普段の業務では画像認識や生成系AIに関する研究開発を行っています。ネット上の日本語記事で数値的な逆行列の計算方法を網羅した記事が少ないなぁと感じたので備忘録的に書いておこうと思います。今回はプログラムと簡単な説明を添えて紹介していきたいと思います。一般的に使われるロバストな手法とそうでないものを分けて示します。逆行列一つとっても様々な計算方法があるため、とても面白いですヨ。 何故、逆行列を計算する必要があるのか？？？ 逆行列の計算は数学、工学、科学、経済学など多岐にわたる分野で重要な役割を果たしています。逆行列を理解し計算すること…

    esbnm•2ヶ月前

    【画像処理】カメラ外部・内部パラメータの推定とその誤差について

    はじめに したごしらえ（点群と画像生成） 計算結果 プログラム はじめに 最小二乗法は様々なパラメータフィッティングのファーストチョイスとして使われがちではある。カメラキャリブレーションでも同様で、内部パラメータなどDLT法で推定されることが多く、この手法の中で線形最小二乗法が用いられる場合もある。また、バンドル調整などではガウスニュートン法などの非線形最小二乗法が用いられることもある。 直接計測された計測値の誤差を検討するときには単純に計測値の分散等を計算すればいい。一方で最小二乗法などを使用して間接的に計測された数値(推定されたパラメータ)は、直接計測した計測値の誤差伝播を考慮する必要があ…

    anone200909’s diary•3ヶ月前

    『Pythonではじめる情報検索プログラミング』（佐藤　達也著、森北出版、2020年12月18日発行）

    単語 文字Nグラムとは、長さNの部分文字列のこと。N=1はユニグラム、N=2はバイグラムという。文字Nグラムの頻度分布でテキスト中の良く使われている部分文字列を調べたり、隣り合う確率の高い文字を調べることができる。 Physonの形態素解析モジュールにはMeCab、janomeがある。形態素解析で品詞の推定もできる。 bag-of-words：形態素の多重集合で文書を表す。 特徴語：文書の中で内容を表す語のこと。 不要語（stop word）：どのような文書でも特徴語になりえない語。日本語の不要語リストにはSlothLibで提供されているものがある。 文書dの特徴語wの条件： ①wはdに高頻度…

    hatechatのブログ•3ヶ月前

    変換メモ % comment # comment コード行をテキストでコメント化するcomment for i=1:3 fprintf('%i\n',i) end for i in range(1, 4): print(i) for ループを使用して数値 1、2、3 を出力します。range a && b a and b 短絡論理 AND 演算子 ( Python ネイティブ演算子)。スカラー引数のみ a || b a or b 短絡論理 OR 演算子 ( Python ネイティブ演算子)。スカラー引数のみ >> 4 == 4 ans = 1 >> 4 == 5 ans = 0 >>> 4 =…

    toddler’s diary•3ヶ月前

    B.P.Carlin, T.A.Louis "Bayes and Empirical Bayes Methods for Data Analysis (Second Edition)", Chapman & Hall 2000

    データ分析において気持ち悪いことの一つは，モデルが正しいと仮定したときの結論であるということで，ベイズでの推論もその範囲から出るわけではありません．逆に言うと，ベイズはモデルの仮定がいっぱい入っていたり，事前分布が決められないといった理由で，科学的推論に使いづらいというような話はありますが，そもそも統計モデル全体がそうした仮定に基づいているわけです（たとえ線形モデルであっても）． ただ，そこを疑いだすときりがないので割り切って仮定を信じるか，データからわかることを最大限モデル同定にも使って行くということかと思います．そういう観点から，経験ベイズという方法が出てきたのだと思いますが，昔はそのあた…

    BioErrorLog Tech Blog•3ヶ月前

    LangCheckでLLMの回答を自動評価する

    Citadel AIのLLM回答評価ツール"LangCheck"を使ってみます。 はじめに LangCheckとは 基本的な使い方 評価メトリクスには何があるか 補足: 評価メトリクス判定に使われるモデル LangCheckで回答自動評価をやってみる 補足: semantic_similarity()でEmbeddingモデルを指定する おわりに 参考 はじめに LLMアプリケーションの開発では、そのLLM出力を評価する仕組みが重要です。 出力評価の仕組みなくしてLLMアプリケーション開発をすれば、チューニングの方針に迷うことになるでしょう。 OpenAIも、LLM出力を自動評価するプラクティ…

    esbnm•3ヶ月前

    【画像処理】DLT法を使用した内部・外部パラメータの推定

    はじめに 下ごしらえ（点群と画像生成） DLT法本体 はじめに カメラの内部パラメータ、外部パラメータ知りたいよね。DLT法で求まるんだわ。 下ごしらえ（点群と画像生成） 点群を生成し、これを既知の内部パラメータを持つカメラで画像平面上に投影したときのピクセル位置を計算する。gainは-1.0~1.0までの乱数に対するゲインで、この乱数をピクセル位置に加算することで計測誤差を再現した。投影画像gen_img.bmpと共に点群とそれに対応するpixel位置を記録したobjimgpoints.csvが出力される。 画像はこんな感じ。 投影画像csvは以下のような感じ。 三次元位置X[m] 三次元位…

    丸井綜研•6ヶ月前

    LU分解

    10月29日(日)にShibuya.lispのもくもく会がありました。残念ながら雑談の途中で中座しないといけなくなってしまいましたが、とても楽しかったです。この日のもくもく会の目標は「逆行列を計算できるようにすること」でした。実際は途中までしかできなかったのですが、そこまでをまとめておきます。 さて、逆行列を計算する方法をChatGPT 3.5に「正則行列の逆行列を計算する方法を列挙してください。方法の詳細には立ち入らないで大丈夫です。」と聞いてみたところ、以下の5つが回答されました。 行列式と余因子行列を用いる方法 ガウス・ジョルダン法を用いる方法 LU分解を用いる方法 行列の特異値分解（S…