サロゲートペア

かつて、文字列を配列に分割代入することで絵文字を含んだ文字列のlengthを簡易的に取得したことがありました。blog.kimizuka.orgサロゲートペアに対して、String.prototype.lengthで文字列の長さを取得しようとすると、うまくいかないときもありますが、 const text = '😊'; console.log(text.length); // => 2 const text = '😊'; console.log([ ...text ].length); // => 1 一度配列に分割代入するとうまくいくケースもあるという簡易的な方法です。あくまで簡易的な方法なの…

noteやcodocなど、文章の途中に有料エリアを設定できるプラットフォームが増えてきました。 大体どのプラットフォームでも課金前から有料エリアの文字数を知ることができるようにデザインされています。 noteでの有料エリアの文字数の提示この文字数カウントを自作する際、かつ、有料エリアがHTMLで返ってくる場合。 例えば、 <a href="https://kimizuka.fm">こちら</a>をご覧ください。 というHTMLが返ってくる場合を考えてみると、有料エリアの文字数は「こちらをご覧ください。」の11文字になって欲しいですが、 const text = '<a href="https:…

はじめに コードの全量のリンクをこちらの記事に書いているので、先読みで全量を見たい方はこちらを参照してください。 vermeer.hatenablog.jp 今回はInterfaceのdefaultを使った具体的な実装編の１つ目「文字列」です。 何が嬉しいの？ Nullableであることを考慮した実装はやりたいことは単純なのに冗長になりがちです。 // 意図としてはリクエストから受け取った文字列がNullだった場合 String str = null; // NullPointerException str.contains("hoge"); Stringをプロパティにするクラスにすると //…

タイトル通りですが、Java内部の文字コードはUTF-16です。Java関連の記事や書籍で時々見かけていたこの事実ですが、正直それで一体なんなの？という感じでした。ファイルを読み込みしたり、書き込みしたりする場合に意識しておけばだいたいOKかなという程度の理解で、今までJavaを使っていて特に問題になることはありませんでした。でも、そういえばUTF-16はサロゲートペアの問題あるよな。。。と思い軽く調べました。 UTF-16のサロゲートペアとは？ UTF-16は数ある文字コードの1つで、2バイトで文字を表します。しかし、2バイトだと「65535通り」（2の16乗）しか表せないので、実はこれだけ…

リンク 気になった記事の要約リンク 12/01 12/02 Railsのキャッシュがいつ切れるかを確認したい Unity チュートリアル「玉転がし」をやってみた 12/03 Cloudflare で管理するドメインの WHOIS protection を無効にしたい Next.jsで実現するオニオンアーキテクチャ (1) - ディレクトリ構成 12/04 【デザインエンジニアリング】デザイナーがデザインエンジニアとして役割を拡大した話 エンジニアもUIを作るならユーザーについて知ろう！（スライド・原稿） イベント登壇時に画面投影で気をつけていること 12/05 VSCode の左側のアレを出し…

このエントリは【カヤック】面白法人グループ Advent Calendar 2023 の24日目の記事です。 こんにちは！意匠部のおばらです。 面白法人カヤックでは日々、様々な社内勉強会が開催されています。本記事では JS 好きな社内のエンジニア向けに私が企画＆主催している「JS体操」についてご紹介します。 記事の最後にはみなさんも挑戦できるように最新の「JS体操」を紹介しています。ぜひ挑戦してみてください。 1.「JS体操」とは？ 2.「JS体操」の掟 3.「JS体操」のメニュー 3.1. 何らかのロジックを解く 3.2. コードゴルフで文字数を競う 4.「JS体操」の流れ 4.1. 出題方…

本記事は 【Advent Calendar 2023】 17日目の記事です。 🎄 16日目 ▶▶ 本記事 ▶▶ 18日目 🎅 こんにちは。 2年目の草野です。年末が近づいてきましたね。 今回はAdvent Calendarの執筆に参加ということで、2023年の業務の中で印象深かったUnicodeについて少しお話したいと思います。 そもそもUnicodeとは サロゲートペア文字 突然ですが…… 異体字セレクタとの出会い 異体字セレクタって？ 全く同じ意味を持つ文字、異体字 異体字セレクタの誕生 具体例 結局私の名字はどう書くの？ おわりに そもそもUnicodeとは みなさんご存じの通り、Uni…

このエントリは【カヤック】面白法人グループ Advent Calendar 2023の16日目の記事です。 はじめに こんにちは。中山と申します。 UnityのTextMesh Proで絵文字を出す方法と、実装時に躓いた部分について紹介します。 TextMesh Pro標準の機能で絵文字を出す方法 Sprite AssetのSprite Character Tableという項目で画像とコードポイントを紐づけておくと、単体のコードポイントで表される絵文字を表示できるようになります。 ✋(U+270B)のような16bitに収まるコードポイントの絵文字はもちろん、🙏(U+1F64F)のようなサロゲー…

以下の記事の続編。 yaritakunai.hatenablog.com NASの暗号化フォルダはeCryptfsを使っており、ファイル名に143バイト制限がある Macのファイル名の多く*1はApple Modified NFD MacからNASにSMB経由で持っていくとファイル名がNFCになる そこで、NFCを適用した上で140バイト超になるファイル名を事前に知りたい。 以前紹介したワンライナー（の改変）。 find . | while IFS= read -r l; do c=$(printf '%s' "${l##*/}" | wc -c); [[ $c -gt 140 ]] && e…

Unicode 世界のほとんどの文字は基本多言語面 (第0面, U+0000～U+FFFF) に収録 マイナーな漢字や絵文字などのは第1面～第16面 (U+10000～U+10FFFF) に収録 UTF-8/16/32は、Unicodeをバイト列で表すエンコードの仕方の違い いずれにしても、シフトJISコードのようなダメ文字問題は発生しない UTF-8 1文字1～4バイトの可変長 英数字(ASCII文字) は1バイト、ASCIIコードと互換性がある その他の欧文は2バイト メジャーな漢字や日本語の文字は3バイト (全角英数字、半角カナ含む) マイナーな漢字や絵文字は4バイト Webページなど、…

Javaでは文字数をlength()で数えることができます。 1996年にJavaが出てきた当初は「半角も全角も1文字に数えれて便利だなー」などと思っていたわけです。 けれども、同じ1996年に策定されたUnicode 2.0で2文字分のコードを使って1文字を表すサロゲートペアが導入されて、2001年のUnicode 3.1あたりで実際にサロゲートペアで表される文字が登録されると事情が変わります。 まあ、2002年のJava 1.4ではまだサロゲートペアは扱えなかったので影響はなかったのだけど、2004年のJava 5でUnicode 4.0に対応し、JSR-204でサロゲートペアが扱えるよう…

この記事では、スクレイピングについて、ごくごく簡単な例題を交え、RubyとPythonでの比較をしてみたいと思います。 私がスクレイピングを始めた2010年前後の頃は、書籍はまだ出ておらず、試行錯誤の中でやっていましたが、それから少し経ってからRubyでの専門書が出版された記憶があります ただ、昨今のPythonブーム？により、スクレイピングもPython版は出版される一方、Rubyでの専門書が絶版になってしまい、いつのまにか、スクレイピング＝Pythonという、首を傾げたくなるような、Ruby界隈ではなんとなく嫌なムードが漂っています。 そこで、この記事では、ごくごく簡単な例題を交え、Rub…