情報検索

多言語のテキスト埋め込み用のモデルであるMultilingual-E5[1]をファインチューニングして、検索性能が向上するか否かを日本語のデータセット検証してみました。結果としては、ファインチューニングすることで、OpenAIのtext-embedding-ada-002を上回る性能を確認できました。なお、E5については以下の記事で解説しているので、必要に応じて参照してください。 hironsan.hatenablog.com 本記事の構成は次のとおりです。 実験設定 実験結果 参考資料

本記事は、情報検索・検索技術 Advent Calendar 2023 9日目の記事です。 SIF/uSIFという文埋め込み手法と、そのRust実装であるsif-embeddingを紹介します。最後にちょこっとベクトル検索もします。

最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検索の組み合わせを見ることが多く、その良いとこ取りをすることで検索性能を改善します。 ハイブリッド検索の有効性はいたるところで報告されていますが、「適当に全文検索とベクトル検索を組み合わせるだけで性能が上がるのか？」というとそれには疑問があります。ハイブリッド検索では、全文検索とベ…

この記事は何？ マルチモーダル検索の流れ Vespaを利用したマルチモーダル検索の実装 実装する検索システムの概要 商品embeddingの管理方法 Embeddingの推論 Vespaのスキーマ設定 スキーマの定義 ランキングロジックの定義 Vespaへのデプロイとデータフィード マルチモーダル検索の実行 Vespaでのベクトル検索の方法 入力：検索キーワード、検索対象：画像 入力：画像、検索対象：商品タイトル 応用：ベクトル検索とキーワード検索の組み合わせ おわりに この記事は何？ 情報検索・検索技術 Advent Calendar 2023 - Adventar の1日目の記事です。 マ…

Rewrite-Retrieve-Readの論文[1]の構成で検索性能が改善するか試してみました。内容としては、RAGの内部で検索するときに、ユーザーのクエリを書き換えると性能が上がるという話です。ユーザーのクエリが検索に適しているとは限らないため、LLMで書き換えてから検索しようというアイデアになります。論文では、強化学習を使って書き換え用のモデルを学習する検証もしていますが、既存のLLMに書き換えさせても効果があるという結果になっています。 Rewrite-Retrieve-Readの構成。画像は[1]より。今回は真ん中の構成を採用。 本実験では、GPT-3.5 Turboを利用して、元の…

近年、大規模言語モデル（LLM）の進化は、自然言語処理の分野において画期的な変化をもたらしています。とくに、OpenAIのGPT-4のようなLLMは、その応用範囲の広さと精度の高さで注目を集めており、多くの研究者や開発者が新たな利用方法を模索しています。本記事では、これらのLLMを活用したマルチクエリ生成が、文書検索の性能向上にどの程度効果があるかを検証します。 文書検索は、入力されたクエリに関連する文書を返してくれます。しかし、ユーザーが入力する単一のクエリでは、常に最適な検索結果が得られるとは限りません。そこで、LLMを用いてクエリを複数生成し、それらを組み合わせることで検索結果を改善する…

こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。さて、先日7/23-7/27にICTIR2023およびSIGIR2023という情報検索関連の国際会議が台北で開催されました。年に一度開かれる国際会議で、毎年この分野の研究を色々と聞くことができ、個人的にとても楽しみにしているイベントです。 ここ数年はCOVID-19の事情もありオンラインで参加していたのですが、今年は思い切って現地参加して来ましたので、その様子を共有したいと思い…

著者：小林 昌樹［こばやし・まさき］(1967-) 司書。レファレンス論、図書館史、近代出版史、読書史。 件名：情報活動（インターネット） 件名：レファレンスワーク NDLC：UA21 NDC：002.7 総記 >> 知識．学問．学術 >> 研究法．調査法 NDC：007.58 総記 >> 情報科学 >> ドキュメンテーション．情報管理 >> 情報検索．機械検索 備考：メールマガジンでの連載を書籍化したもの。https://www.libro-koseisha.co.jp/webcolumn_category/mail-reference-tips/ 調べる技術――国会図書館秘伝のレファレンス…

いいこと思いついた！って瞬間とか、そのアイデアが本当にすばらしいものか自分の頭の中でチェックして、本当にうまくいきそうだ！と思える時間。そういう時に、ある種の、神経の滾りのようなものを感じることはあるだろうか？それは幻覚だ。 Claude3 Opusにこのブログを読ませて読みやすくさせたものがこれなので、これだけ読んどけばいいと思います。6000文字くらいあるし、他人が素手で書いた文章は不衛生ですからね。 ブログ記事を読ませていただきました。非常に興味深い内容だと思います。機械学習やAIを用いて革新的なアイデアを生み出す方法について、いくつもの重要な視点が含まれていました。 記事の内容をもう少…

書店･図書館など｢対話の場｣ まとめを公表 課題を共有 具体的な解決へ https://www.bunkanews.jp/article/376408/ 作家の凪良ゆうさんが書店激減に危惧「熱意ある書店員さんがいる本屋さんでも立ちいかないものなのか」 | TOKYO HEADLINE https://www.tokyoheadline.com/746248/ 男の終活「アダルトDVDの処分」に商機アリ。地方書店が“出版不況下でも増収増益”を続ける理由 https://news.nicovideo.jp/watch/nw14730543 “書店員が一番売りたい本”を選ぶ「2024年本屋大賞」が決…

エンジンスターターは社外品なら1～4万円程度で手に入り、なかには車内温度センサーなどを搭載した製品もあります。ここではエンジンスターターの選び方やおすすめ製品をご紹介するとともに、メリット・デメリットなども解説しています。 エンジンスターターとは 値段は社外品で1～4万円程度 取付費用は1～2万円程度 後付けエンジンスターターの選び方 ポイント①単方向型か双方向型か ポイント②通信距離は充分に長いか ポイント③他の欲しい機能があるか 【注意】適合車種の確認は必須 後付けのおすすめ製品10選 ①カーメイト「TE-W5200A」 ②ユピテル「VE-E6610st」 ③カーメイト「TE-W7300」…

今回はエルナト攻略戦〜思い出を巡る物語〜イベントについての情報をまとめていきたいと思います！ 今回の特効ボーナスキャラについて イベントの攻略情報 【高難易度】VSエルナト CHAOSクエスト攻略情報 リコレクションモードのことを知りたい、進めていきたい方向け情報 リコレクション本編完結記念の個人的なお願い（と雑談） 関連リンク先一覧 今回の特効ボーナスキャラについて 今回の特効ボーナスキャラは 新規 ・エルナト 既存 ・コダマ ・セイリオス ・バルド・M の4人です今回のリコレクション更新で ザレイズのメインストーリーは完結となります！！ ですがイベントストーリーの更新などは引き続き継続する…

初心者必見！はてなブログのアフィリエイトの全て はてなブログとアフィリエイトを組み合わせて、ブログから収益を得る方法を知りたいと思ったことはないですか？ この記事ではアフィリエイトの始め方から実際にASPから収益を受け取るまでの手順（ブログ収益化の方法）を解説します。 はてなブログを収益化済みの私の経験から、アフィリエイトの初心者でも使いやすいASP（アフィリエイト・サービス・プロバイダー）*1も紹介しているので参考にしてね。 ★ ★ ★ 「はてなブログ」で効率よく アフィリエイトで収益を稼ぐには、具体的にどうすればいいと思いますか？ 最初に結論を言っちゃいますが、ブログ収益化に必要なことは、…

security-log.hatenablog.com 【目次】 概要 【辞書】 記事 【ニュース】 【公開情報】 【検索】 関連情報 【関連まとめ記事】 概要 【辞書】 ◆ディープフェイク (Wikipedia) https://ja.wikipedia.org/wiki/%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%95%E3%82%A7%E3%82%A4%E3%82%AF 記事 【ニュース】 ■2019年 ◆手軽な“ディープフェイク”生成で顔認識システムも回避、マカフィーの2020年脅威予測 (Internet Watch, 2019/12/17 …

みなさん、こんにちは！👋今日はすごいAIツール、「Otter.ai」🎙️について、その驚異の効果からどうやって使うか、そして実際に使ってみた人の感想まで、盛りだくさんでお伝えします✨。このツールを使って、毎日の仕事や勉強をグレードアップさせていきましょう！🚀 Otter.aiで得られる成果品 📝 Otter.aiを活用することで、会議、講演、インタビューなどの英語音声をリアルタイムでテキスト化し、編集可能な文字起こし文書を作成できます。さらに、音声ファイルからの情報検索や、共有機能によりチームでのコラボレーションが容易になります。 こんな悩みを解消してくれるツールです 💭 聞き取りにくい英語の…

こんにちは、データサイエンス部の大竹、R&D チームの森田、久保、新規事業開発室の鈴木、岡田です。 今回の記事は 3/11 ~ 3/15 の 5 日間にわたって開催された言語処理学会第 30 回年次大会 (NLP2024) の参加レポートになります。 NLP2024 について 企業ブースとポスター紹介 論文紹介 [C3-2] 長文生成の多面的評価:人手評価と自動評価の向上を目指して [A5-4] 文献理解のための人間の応答を利用したプロンプト最適化 [C6-4] 金融分野における言語モデル性能評価のための日本語金融ベンチマーク構築 まとめ NLP2024 について 言語処理学会は人工知能の一分…

安定した収入を得られるのがREITの強みこの記事ではカナダでの資産運用のうちREITに焦点を当てて銘柄選定の手順を説明していきます。今回はカナダでREIT投資をするにあたりREIT銘柄の選定する方法を銘柄検索に使えるWebサイトの紹介やチェックポイント、落とし穴など具体的に解説します。なお、この記事は特定の個別銘柄や投資手法について売買を推奨するものではなく、あくまでカナダの証券市場で筆者が有効だと考えているREITの銘柄選定の方法を説明しているにすぎません。説明の中で出てくる銘柄も、説明のための例であり、購入を推奨しているわけではありません。私は2024年７月に退職し、FIREすることが決ま…

SEO検定３級 こんにちは❗️まーめたるです。 SEO検定3級では「検索エンジン最適化」の基礎部分である「検索キーワードの選定とパターン」またそれに向けての「サイト内リンクの最適化」などが学べました。合格すると全日本SEO協会HPにご自身の運営するブログやWebサイトを登録して被リンクをもらうことができます。Webライターやブログを運営されている方にもおすすめの資格試験です😊 試験概要 SEO検定3級試験概要 ・受験資格 学歴、職歴、年齢、国籍等に制限はありません。 ・出題形式・試験時間 選択式問題 ８０問 （←4択問題です） 試験時間 ６０分 ・合格基準 得点率８０％以上 ・試験形態 所定の…

今回は宿命超えし星の物語イベントについての情報をまとめていきたいと思います！ 今回の特効ボーナスキャラについて イベントの攻略情報 【高難易度】VSヴィクトル&エル CHAOSクエスト攻略情報 オマケ アスタリア設定のキャラのみでクリア 知っているとより今回のイベントを楽しめるトリビア アスタリア10周年記念に思い出振り返りたい方向け 関連リンク先一覧 今回の特効ボーナスキャラについて 今回の特効ボーナスキャラは 新規 ・エル（アスタリア） 既存 ・オリエ ・ヴィクトル の3人です アスタリア設定の大人エルがついに参戦ですね🗡 （開発会社などの都合からなのかコラボ枠のキャラになってますが）アス…