単語と単語のあいだに空白等を入れる書き方や表示方法。
英語や韓国語は、正書法として分かち書きをするが、日本語や中国語は、分かち書きをしない。
あけましておめでとうございます。年末といえば…大量のツイートでテキストデータが大量には手に入るというまたとない機会です。そこで今回の年末もNHK紅白歌合戦のツイートデータを入手していたので、テレビの放送は見ていませんでしたが、ワードクラウドの画像を作成してどんな感じだったのかなというのをみてみました。（お正月にやっているないようではないけど） 19万件ほどのデータが得られました（リツイートを覗いたオーガニックツイートとして） 過去のプログラムをそのまま使用したので以下に過去エントリを参考においておきます。 参考 uepon.hatenadiary.com uepon.hatenadiary.c…
「分かち書き」をすると日本語が もっと分かりやすくなる
こんにちはクルテクです。 毎日アプリで韓国語を数分間勉強している私ですが、韓国語３行日記添削サービスというものを見つけ使用してみました。 今回はその体験をお伝えしていきます。 韓国語３行日記添削サービスとはどんなもの？ 韓国語３行日記添削サービスを受けての感想 短文なので集中して勉強できる 添削内容がかなり細かい 続けることによって韓国語力が伸びる 添削内容についての質問がし放題なのもすごい トミさんって誰？ 韓国語３行日記添削サービスに向いている人 韓国語３行日記添削サービスに向いていない人 韓国語３行日記添削サービスの簡単な登録方法 韓国語３行日記添削サービスは価格が安い 韓国語３行日記添…
2に対して色々感情がデカくなりすぎたので、いったん3をやります。 ３のギルドについてはあまり設定を詰める気はありませんが、どうせやっていくうちに設定は詰まってしまうと思うので覚え書き程度にまとめておきます。ほぼ自分用。 (拼音の分かち書きのお作法を知らんので音節ごとにスペースを入れています。お詳しい方は是非指摘バトルをお願いします) ギルド概要 ギルド名 臨海茶館/临海茶馆 りんかいちゃかん/lín hǎi chá guǎn 海都アーモロードに拠点を置くギルド。海に面しているので安直に"臨海"茶館と命名。 茶館と名乗っているが茶館を経営したりはしていない。ただただメンバーのコードネームが中国茶…
はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事では、MeCabを利用して各種モデルによる推論用の頻度データをRで作成します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 2.1 トピックモデルの文書集合の作成 文字コードの変換 文書データの整形 語順を記録しない場合 語順を記録する場合 データの可視化 文書データの作図 参考書籍 おわりに 2.1 ト…
絶賛Off the Beat中ですが、2/18に書いてそのままになってたので今更だけど上げまーす。Slowlyのカムバを振り返ろうの回。
おはようございます。 梅つま子です。 先日、読者の方から子どもの英語教育に関するご質問をいただきました。 かぼす こんにちは。はじめまして。５年ほど前からブログ拝見してます。梅つま子さんの読みやすい文章が好きです。 英語が得意な梅つま子さんに質問です。私には小学生の娘がいます。将来を考えると英語教室に通わせたほうがいいのか、もしくはオンラインレッスンの方がいいのか、家庭学習でもなんとかなるのか等々色々悩みます。私は学校教育のみで、英検２級合格レベル。卒業後英語に触れることはなく、すでに忘れていて何も話せない状況です。梅つま子さんが、お子さんへの英語教育で何か実践されていることがあれば教えて下さ…
青年男女は日々の苦悩を語り始めた表現……俳句は 児 島 庸 晃 （この文章は昭和６３年「青玄」４１２号３月号に掲載されたものを採録しました） カワチポテト族ということばを聞いたのは昭和６２年１１月ごろであったか。ニューヨークの若者たちの現在のあり方をしめすことばだそうだが、なんとなく気力をなくした若者の出現になんともやるせない気持ちであった。カワチとはよこに長く寝そべって、と言う意味で、ポテトを食べながらダベッたり、テレビを見たりして思い思いの時間を過ごすことだそうである。ぼくはいまの若者たちの意欲喪出の裏にある社会のあり方までが見えてきてなんとも妙な気がする。かって１９６０年代にはビートゼレ…
俳句表現における話し言葉と書き言葉 児 島 庸 晃 俳句には決まりごとがあって、それを破ることは俳壇から疎外されると言う時期があったことを、いま私は思い出していた。昭和三五年頃のことである。俳句の散文化現象である。この頃は俳句の勃興期であり、また乱立の時期でもあった。有季・無季。超季・自由律・多行形式（三行書き）とその表現においても乱立の時期である。この頃俳句を日常の感覚、感情で受け取りその緊張感をそのまま俳句の中へ導入しようと立ち上がる俳人がいた。俳句を日常の話し言葉として捉えその緊張感の重さをもって一句としたのである。当時この俳句手法は散文の一部のように思われ歓迎されなかった。だが当時の若…
リリース報告エントリです。 kurenai（紅・くれない）をご紹介！ 目次 目次 kurenai 0.0.1 なぜkurenaiを作った？ 設計：rouge-scoreを薄くラップする kurenaiの今後（TODOリスト） 終わりに kurenai 0.0.1 pip install kurenai >>> from kurenai.rouge_scorer import RougeScorer >>> scorer = RougeScorer(["rouge1"]) >>> scorer.score('いぬ ねこ', 'いぬ ねこ') {'rouge1': Score(precision=…
はじめに ちはやぶる 神代も聞かず 竜田川、nikkieです。 ライブラリrouge-scoreをそのまま使うと、日本語テキストのROUGEは算出できないことを知りました。 目次 はじめに 目次 rouge-score サンプルコード Hugging Face Spacesで触る 分かち書きされた日本語テキストを入れる rouge-scoreは英数字でない文字を半角スペースに置き換える 対応案 分かち書きを整数IDに置き換える tokenizer引数を指定する 終わりに rouge-score 評価指標ROUGEについてはこちらをどうぞ 『大規模言語モデル入門』では rouge-score と…
はじめに 参考にしたサイト 中期朝鮮語の表記方法について 代表的な中期朝鮮語の特徴 子音 시はスィのように ㅅパッチムの発音について ㅈㅊㅉはツァのように 複合子音について ㅅ系複合子音 ㅂ系複合子音 母音 陽母音と陰母音の区別 注意すべき母音の発音 ㅐは「アィ」のように、ㅔは「オィ」のように アクセント(声調) 文法 中期朝鮮語を知る上で絶対に見てほしい記事 中期朝鮮語の主格・対格・属格・処格・共同格・具格・叙述格まとめ はじめに 主は中期朝鮮語の知識があまりないので、ネット上にある中期朝鮮語の情報をお借りすることがありますが、そのまま転載するのではなく、できる限り分かりやすく噛み砕いて加筆…
はじめに 主は中期朝鮮語の知識があまりないので、ネット上にある中期朝鮮語の情報をお借りすることがありますが、そのまま転載するのではなく、できる限り分かりやすく噛み砕いて加筆させていただきます。なお、韓国語中級者以上の人を対象に書かせていただきます。なお、厳密な説明は避け、気軽に中期朝鮮語の姿を想像してもらえるように書いた。言い換えれば、授業で覚えたことを自分の言葉で再度まとめているという感じである。中には丸々コピペしている部分もあるが、できるだけ自分の言葉で書くなどしてオリジナル性も保ちたい。 参考サイト https://ja.wikipedia.org/wiki/%E4%B8%AD%E6%9…
機械製図 ＪＩＳ Ｂ ０００１ ※ この頁は、以前の頁 線と文字の改訂版で、文字についての頁となります。線につ いては、直前のページになります。 ７ 文字及び文章 ７.１ 文字の種類及び高さ ７.１.１ 文字の種類 文字の種類は、次による。 ａ） 用いる漢字は、常用漢字表（昭和 56 年 10 月 1 日内閣告示第１号）によるのがよ い。ただし、16 画以上の漢字はできる限り仮名書きとする。 ｂ） 仮名は、平仮名又は片仮名のいずれかを用い、一連の図面においては混用しな い。ただし、外来語、動物・植物の学術名及び注意を促す表記に片仮名を用いる ことは混用とはみなさない。 例 外来語表記：ボタン、…
Pythonでテキスト分析する時に最低限必要な前処理を記載します。 ・テキストを読み込む ・分かち書きする ・分かち書きした語句をカウントする 以下サンプルです。 まずは、データの準備です。 Wikipedia日本語版のページを参照し、 test_dir/isaac_asimov_wikipedia.txtとして格納します。 アイザック・アシモフ（Isaac Asimov、1920年1月2日 - 1992年4月6日）は、アメリカ合衆国の生化学者（ボストン大学教授）・作家。その著作は500冊以上を数える[2]。彼が扱うテーマは科学、言語、歴史、聖書など多岐にわたり、デューイ十進分類法の10ある主…
プチ多忙でしたが、アップするのもどうでもいいようなものでした、億劫で放置。 本日で鈴村稔さんのウクライナ支援展（ウクライナ大使館後援）も終わります。盛況であったか？後で様子を確認してみましょう。まずFacebook６日にアップしたものだけ記しましょう。 先日は、鈴村稔さんのウクライナ支援の個展を挨拶がてら鑑賞。 共同開催となったウクライナ人女性の作品もあり、カメラマン、陶芸、俳句が趣味の東大教授建築家となんとも多才多芸な人だった。 ただ、俳句朗読を誰かがやったのだが、やはり外人俳句で日本の俳句とは異種のものだ。 どこかの句会に出入りしているようで、連れの老婆が沢山きていたが、聴いていると、俳句…
Pythonで自然言語処理を行うにあたり、 ブログの諸先輩方から知恵を借りて、 Mecabで分かち書きする処理を作成。 この記事の末尾にソースを貼り付けておく。 このブログでの注意点として「self.tagger.parse("")」を追加。 これがないと、不定値の解析結果が紛れ込んでしまうっぽい。 そのまま動かしてテストできる形になっている。 「if __name__ == "__main__":」以降のdataリストのフレーズを分かち書きする。 (base) C:\PyTest\jobs_new2>python separatewordsj2.py 日本語の分かち書きで、CountVect…
chasen.org
developers-jp.googleblog.com
anond.hatelabo.jp
www.moongift.jp
anond.hatelabo.jp
ja.stateofaiguides.com
note.nkmk.me
zenn.dev
www.moongift.jp
