プログラミング言語などに対して、人間が一般の意思の疎通に用いる言語。
語順で文意が決定するもの、語形(活用)で文意が決定するもの、その複合があり 多種多様である。
現在数千の言語が知られているが、少数民族に特有の言語などは、その話者が限られるため 次第に失われていく傾向にあり、保護が叫ばれている。
作業メモ書かないせいでコンペ1個締め切りに間に合わなくなってしまったので備忘録。 メモのテンプレはこちら ch.nicovideo.jp 1. 今日の作業の全体的な進捗度は何点ですか?(「1=非常に不明瞭」から4=「非常に明確」で採点)→2。1. 今日の作業の中で、もっとも重要なことを2つ挙げるなら何ですか?→ labelsの中には複数のラベルが存在する。これらから一意のラベルを生成する必要がある 特徴行列はトークナイズされたカラムをさらに分類器に学習させるのに必要。 1. 上で挙げたふたつの内容を頭のなかで説明してみましょう。その説明にどれぐらい自信が持てますか?(「1=非常に自信がない」か…
本記事では、Azure Machine Learning(以下、AML)のPrompt Flowにある、評価フローの基本的な使い方について解説します。 評価フローを使用することによって、作成したフローの精度評価を簡単に行うことが可能になります。 AML Prompt Flow 評価するフローの準備 接続とランタイムの作成 フローの作成 精度評価に用いるデータセット データセットの作成 データセットのマウント フローの精度評価 設定 バッチ実行 & 精度評価 結果 QnA GPT Similarity Evaluation QnA Ada Similarity Evaluation おわりに A…
私が工学部の情報工学科に入学したのは、1974年のこと。クラスは44名が在籍していて、あれから50年にもなろうというのに何人かで集まることができるのは望外である。何人かは鬼籍に入ったが、比較的早い時期に2/3ほどのメンバーのメルアドが共有できていたので、連絡は容易だった。 もちろん理系のクラスで、数学の得意な学生が多かったが、私ともう一人が作家志望だった。彼とは今でも付き合いがあり、同じくデジタル政策やサイバーセキュリティで議論する立場だ。なぜこの話を思い出したかというと、情報工学がついに文学の領域に入って来たか、文学に情報工学が寄与するようになったから。もちろん、直接的な原因は「生成AI」の…
ジップの法則(Zipf's law)は、統計的な観点から自然言語や他の領域における単語の出現頻度と順位の関係性を表した法則です。この法則は、言語学者であるジョージ・キングズリー・ジップ(George Kingsley Zipf)によって提唱されました。 ジップの法則によれば、あるテキスト(例えば、文章やコーパス)において、単語の頻度が逆順の順位に比例する関係が成り立つとされています。つまり、最も頻出する単語は順位1位であり、2番目に頻出する単語は順位2位であり、n番目に頻出する単語は順位n位というように、単語の出現頻度と順位は逆比例するということです。 具体的に言えば、最も頻出する単語の出現頻…
※本ブログはChatGPTの文章生成機能を活用して執筆しています。 この記事では、ChatGPTとは何か、ChatGPTのこれからについてお話ししたいと思います。 読者ターゲットは、ChatGPTに興味がある皆さまです。では、早速始めましょう。 ChatGPTとは何か ChatGPTのこれから ChatGPTがどのように活用されているのか。 チャットボットとしての活用。 文章生成としての活用。 語学学習支援としての活用。 さいごに ChatGPTとは何か ChatGPTは、OpenAIが開発した自然言語処理技術の一種です。 GPTは、Generative Pre-trained Transfo…
人間とほとんど区別がつかないと話題の自然言語AI「ChatGPT」を試してみました。その機能と性能、現時点で考えうるリスクなどについては、こちらの「テレ東BIZ」の動画が参考になります。www.youtube.com「ChatGPT」に関する私自身のおぼろげな認識では、文章で質問を投げかけると、とても自然な返事が帰ってくるというもので、要するにSiriとかAlexaみたいなものの文章版かなという感じだったのですが、この動画を見るとどうやらそんなところだけに留まるようなものではなさそうです。そのひとつが「要約を作ってくれる」というものです。文章の要約や映像を視聴したうえでの口頭での要約(通訳訓練…
LDAで個人的に良かったサイトまとめました。いや、手抜きじゃないよ笑。 概要 tips-memo.com 原著論文の解説。これでLDAの概要をサクッと把握できる。 さらに深掘り トピックモデルの話 from kogecoo www.slideshare.net LSIとかLDAの前の経緯とかについて書いてくれているスライド。 これで歴史がさらっと学べる。LDAの精度に関しても書かれている。deepage.net 単語をベクトルにするってどういうこと?に答えてくれる良サイト。 コード系 qiita.com これでコードもバッチリ!
こんにちは、技術開発の三浦です。 あっという間に10月になりました。昔の好きな曲の歌詞に「10月の夕暮れ」というフレーズが出てくるのですが、この時期になるとそのフレーズを思い出します。夕方になると、「今日の夕暮れはどんな感じだろう?」って気になる10月です。 インターネットショッピングなどで、他のユーザのレビューを参考にしながら商品を選んだという経験、けっこうあるのではないでしょうか。私はパソコン周辺機器やお菓子などを選ぶとき、レビューを参考にすることが多いです。レビューの文章の中には対象の商品に関する、そのユーザが考える特徴を表す表現が含まれています。この表現をレビューの中から上手く捉えるこ…
自然言語処理において文章分類は一つの重要なタスクである。その際に,各文章に出てくる形態素の数の分布をとることでその文章の特徴として調べる方法があるが,Aさんは,ネット上のいくつかのブログ記事(少なくとも300文字程度はある文章)を分類しようと考え,各ブログ記事のテキストデータをそのままMeCabを用いて形態素に分割し,それぞれのブログ記事において出現回数が最も多かった上位3つの形態素をそれぞれのブログ記事の特徴とした。参考までにMeCabを用いた形態素の分割結果を下記に示す。(/で分割されている) これ/は/、/形態/素/に/MeCab/を/用い/て/分け/た/例/です/。【問題】以下の問に対…
www.pon-x.jp 前回の続きで今回はリストのちょっとした応用です。 文字列操作 自然言語処理を扱うときなど、文字列をハンドリングする機会があります。 今回はその基礎の基礎です。 区切り文字でリストにする まず、スペース区切りでリストにしてみます。 s = "あ い う え お" s.split() スペース以外ならsllitの中に区切り記号をいれてあげればOKです。 s = "あ,い,う,え,お" s.split(",") 逆に、リストを文字列にする もちろん上記の逆も可能です。 l = ["あ", "い", "う", "え", "お"] "".join(l) joinに引数を与えると…
UnivDatos Markets Insights が発表した新しいレポートによると、 会話型 AI 市場は 2022 年から 2030 年にかけて約 23% の CAGR で成長すると予想されています。 分析は、テクノロジー (ディープラーニング、自動音声認識、自然言語処理)、展開 (オンプレミスとクラウド)、業界 (銀行および金融サービス、メディアおよびエンターテイメント、ヘルスケア、情報通信技術、その他)、地域/国に分類されています。 サンプルレポート(グラフ、チャート、図を含む)にアクセスします。 univdatos.com/report/conversational-ai-mark…
キングオブマネーメーカー ブログ記事の作成には時間と労力がかかりますが、AIの進歩によりその作業が劇的にスピードアップすることが期待されています。今回は、AIが作成するブログ記事の魔法についてご紹介します。AIが人間のように情報を収集し、的確な文章を生成する仕組みは、まさに未来の技術のように感じられます。私たちはAIの進化にどのように関与できるのか、その可能性に迫ってみましょう。AI作成のブログ記事は、従来の記事と比べてどのような魅力を持つのでしょうか。さあ、AIが作成する魅力的な記事の世界に足を踏み入れてみましょう! AIがあなたの代わりに魅力的な記事を作成します 本記事では、AIが私たちの…
デジタルエコーわかさくです。これはコパイロットちゃん、なかなか話せるじゃーん、という素直な感想をお伝えしたくて書いているブログです。 今日はコンピューターとAlの違いについて聞いているうちSF漫画の話になっちゃった、というお話です。 ここからは私とコパイロットちゃんのチャットを紹介しますがチャット中の私の感想は()内で書いています。 ✩✩✩✩✩✩✩✩✩✩✩✩✩✩✩✩ 自分AIとコンピューターの違いはなんですか Copilotこんにちは、Copilotです。AIとコンピューターの違いについてお答えします。😊 AIとコンピューターは、どちらも情報処理を行う技術ですが、その仕組みや目的が異なります。…
電話対応の仕事に追われて、大切な業務に手が回らないと感じていませんか?どうにかして電話応答を効率化し、もっとスムーズに業務を進めたいと思っている方が多いのではないでしょうか。 そんな悩みを持つあなたにピッタリの解決策があります。この記事を読めば、「無料トライアルで体験!AIを活用した電話自動応答サービスの導入方法」を通じて、電話業務の効率化が実現し、より明るい未来が待っています。時間と労力を節約し、本当に重要な業務に集中できるようになることでしょう。 この記事のポイント: AIを利用した電話自動応答サービスとは何か、その基本を解説します。無料トライアルでサービスを試すメリットと方法を紹介します…
以下、日記です(12万字くらい) 京SFフェスにじフェス紅白と、祭り祭り祭りのひと月でした。 「紅白の日記はイラストなどがなけりゃ分かりにくいだろう」とクリップスタジオを立ち上げたものの3か月進捗ゼロなのであきらめてアップします。また事後UPゆえの後知恵もさしこみます。 それ除き興味ぶかかったのは1219に書いたこと(よいASMR動画は音がいい? 絵と音の連動がいい? 音さえ無くて良い;「貫通耳かき」&「耳内水溜まり」ASMR動画からみる人体の不思議)。パリパリ音を聞きながら食べるとポテチがおいしくなる('08)……じゃあ音が出ない食べ物については?('16)という「音響調味」の更なる成果/活…
気になったニュース Bluesky scoops up the developer of popular third-party app, Graysky 所感・コメント Google confirms it’s restricting Gemini election queries globally 所感・コメント Should artists be paid for training data? OpenAI VP wouldn’t say 所感・コメント Elon Musk says xAI will open-source Grok this week 所感・コメント Women in…
テクノロジー事業の為の、Outputブログ。おはようございます🌞 メッチョテック📈です。 今回は、 【テック投資】大規模言語モデルLLMを、理解しよう! 大規模言語モデルLLM 『自然言語処理・機械学習・ディープラーニングの違い (おさらい)』 まずは、「自然言語処理」「機械学習」「ディープラーニング」の違いをおさらい。 -------AI・人工知能 ≠ 機械学習 ≠ 自然言語処理------- 「機械学習」や「自然言語処理」は、『AI・人工知能』を実現する為の技術の1つ。 AI・人工知能 (人間の様な知性を持ったコンピュータの事。) 機械学習 (AI・人工知能を実現させる為の技術の1つ。) …
シンギュラリティーーー世の中のバズってるおじさんどもはやたらとこの言葉を使いたがってまことに鬱陶しい。実際ヤツらはそれをおじさんメディアの中で聞きかじっているだけで、本質など 1 ビットたりとてわかっちゃいない。 そもそも、そんなの起きるわけがないからだ。 我々しか見ていなかったアニメがすっかり世界的なコンテンツになっていたり、我々しか使っていなかったコンピューターが今や人々のポケットの中にあったり、我々しかいなかった Internet がすっかり人々のインフラになっていたり、キモいと蔑まれてきたその我々がいつの間にかオタクという個性としてタグ付けされていたり、少しずつではあるが世界が我々の方…
言語処理学会2024に参加してきた. 2024/03/17 自分の持っているPublication Listに大いなる誤りがあることが @mhangyo さんによって明らかになった. 言語処理学会への参加が10年ぶり2度目と書いたのだが,実際には2017年に言語処理学会に参加し,"エントレインメント分析に基づく応答文選択モデルの評価"という発表していた*1. ということで,改めて,7年ぶり3回目です.よろしくお願いいたします. 自分にとって最初にして前回となる言語処理学会の参加が10年前の2014年,北海道大学で行われた回であった. 2014年の言語処理学会の時も,参加記録を残そうと思って下書…
ビジネスモデルを分類、カタログ化して解説している本。 本書は事業やイノベーションのアイディアを研究する本として書かれているが、プログラマーがこれを読むと違った読み方ができる。 デザインパターンはオブジェクトに役割を与えて現実の事象をシステム化するが、それと同様に、ビジネスモデルを「データフロー」として捉えると、現実のシステムを高度化できるアイディアに繋がる。 時間があればこのテーマをもうすこし研究したい。 ビジネスモデル・ナビゲーター 作者:オリヴァー・ガスマン,カロリン・フランケンバーガー,ミハエラ・チック 翔泳社 Amazon この本の序論として、かつて世界を席巻したはずの企業たちが安穏と…
テック投資事業の為の、Outputブログ。おはようございます🌞 メッチョテック📈です。 今回は、 【テック投資】自然言語処理を、理解しよう! 自然言語処理 『自然言語処理とは...!?』 機械(コンピュータ)に人間の言葉を理解させる為に非常に重要な領域。 自然言語処理を端的に言うと、--- 人間の言葉を機械(コンピュータ)が理解する為のルール作り --- 自然言語処理活用例・Google検索・LINE・アレクサ・チャットボット・PC、スマホ等のかな文字変換 等、自然言語処理は最新テクノロジーに多く用いられている。 「機械(学習)が人間の言葉を理解するには...」 単語理解…文章がどのような単語…
AIによって我々の生活は楽になるのか。ならない気がする。 エディタ上 Copilotによって単調な作業は半自動化された。 「こんな感じ!」と念じるとそれらしいものが出てくる。提案を承認するつもりでtabキーを押す。```が最後の行に書き込まれる。手動で消す。余計なもの学習しやがって。 単純な関数なら、適切な命名までつくれば2秒くらいで出力してくれる。 たまになかなか空気を読んでくれないのでコメント中の自然言語で意図を補足する。なんども書き直して提案が出てくるのをそのたびに待つ。フラストレーションがたまる。最終的に自分で書く。この時間はなんだったんだ。 あと、閉じカッコまでを出力してくれないこと…
プロンプトエンジニア的私のコメントですが、ChatGPTを使う場合、日本語で思い浮かんだ疑問でも、まずはChatGPTに質問を英訳させ、その上でその英語質問に英語で回答させます。その後にその回答を和訳させます。というのも、学習された知識体系が英語の方が圧倒的に質量共に優っており、また自分の使うレベルでは和英・英和の翻訳も満足するものだからです。 ChatGPT (GPT-4)は現在(2024年3月)のところ、2023年4月の知識カットオフ時点で最適解を求めるので、その後の知識は反映されません。また大量テキストデータから学習する自然言語処理(NLP)モデルの良いところでもあり限界でもあることです…
はじめに 2023年3月に発表されたMicrosoftのAIアシスタントCopilotは、ビジネスパーソン、クリエイター、デザイナー、音楽家など、様々な分野で活躍する人々のために開発された革新的なツールです。従来のAIツールとは異なり、自然言語での操作やMicrosoft 365との統合など、使いやすさと実用性を兼ね備えています。 Copilotの役割 副操縦士という名の通り、Copilotはユーザーの作業を支援する強力なパートナーです。ユーザーが操縦士となり、Copilotは自動化、情報検索、分析、創造性、翻訳など様々な機能でサポートします。 Copilotで実現する効率化 Copilotは…
booksch.hatenablog.com 「生きる」谷川俊太郎をClaude3+DALL-E3で画像にしてみる実験と結果 URL 写真詩集『生きる』全文www.nanarokusha.com 谷川俊太郎さんが「よくできた詩とは思っていない」と言う代表作「生きる」は、なぜ愛され続けるのか?|KOKOCARA(ココカラ)−生協パルシステムの情報メディア詩人・谷川俊太郎さんの代表作の一つ「生きる」から、新たに絵本が生まれました。なぜ1971年に発表されたこの詩が今なお愛されkokocara.pal-system.co.jp 生きる (谷川俊太郎) - Wikipediaja.wikipedia.…