文字コード

今年もQiitaや他のアドカレを眺めながら、こんな盛り上がるコミュニティにいたら楽しかったなと思うこの頃です。 さて、12月ということで振り返りっぽい記事を書こうかと思います。今回は正規表現について、過去ブログに書いた内容も交えながらTipsとして放流したいと思います。 選言（|）の扱いがCC2014から変更された？ 正規表現スタイルの初見殺し OSで区別される、見た目のわからない文字 囲み数字をコードポイントで制御する メタ文字.に改行文字も含ませるには 肯定後読みと\Kの使い分け 桁区切りのカンマを挿入する正規表現 空白文字・分割文字を示すメタ文字 「漢字」を示す正規表現 アルファベットの…

背景 私はcygwin上でもrubyを使っている。 excelファイル等を扱うことも多く、従来は、-Ksで、SJIS環境でコーディングすることが多かった。 linuxで作業することもあるのだが、数年前-KuでUTF-8に統一するように転換し、 ライブラリもUTFに書き換えた。ある時、cygwinの古い-Ksプログラムを動かそうとすると、ライブラリでエンコードエラーが出る。 当然だが、-Ksファイルから、外部のUTFスクリプトを読むと、エラーになる。そこで、メインスクリプトをSJISから、UTFに変換することとした。 SJIS⇒UTFで修正すべき点 ①シェルラッパで、-Ksを、-Kuに ②スクリ…

１．さまざまな文字コード（情報交換用符号） ２．自然言語を定義する形式言語 ３．逆ポーランド記法 ４．状態遷移 ５．有限オートマトン ６．AI（人工知能） 【令和５年度】 いちばんやさしい 基本情報技術者 絶対合格の教科書＋出る順問題集 作者:高橋 京介 SBクリエイティブ Amazon 情報に関する理論は多岐にわたり、さまざまな要素が組み合わさっています。 以下に、情報理論、形式言語理論、逆ポーランド記法、状態遷移、有限オートマトン、AI（人工知能）について解説します。 amprime.hatenablog.com １．さまざまな文字コード（情報交換用符号） 文字コードは、テキストデータや文…

｜文字コード（情報交換用符号）の概要 ｜さまざまな文字コード（情報交換用符号）の紹介 ＞ASCII（American Standard Code for Information Interchange）： ＞UTF-8（Unicode Transformation Format - 8-bit）： ＞UTF-16： ＞ISO-8859-1（Latin-1）： ＞Shift-JIS： ｜さまざまな文字コード（情報交換用符号）の活用法 ＞ウェブ開発： ＞プログラミング： ＞データベース： ｜さまざまな文字コード（情報交換用符号）の使用上の注意点 ＞一貫性の維持： ＞特殊文字の扱い： ＞セキュリティ…

自分が文章を作成する場合はUTF-8を使っていますが、古いファイルや人から渡されるファイルの中にはUTF-8以外のものもあります。 そこで、個人的に紛らわしいと思っている「Shift_JIS、CP932、SJIS」について、違いを少し調べてみました。本来は専門書を当たるべきなのでしょうけれど、仕事で調査しているわけではないのでWikipediaで済ませました。 一般論 まずは、Shift_JISとCP932の違いから。 WikipediaでCP932に関する項目を見ると、 Microsoft コードページ 932は（以下 CP932）、マイクロソフト及び、 MS-DOSのOEMベンダがShif…

HTTPのリクエストヘッダに設定した日本語が文字化けしてハマりました。 事象と原因をメモしておきます。 事象 この記事で紹介している通りに Apache/Tomcat を連携し、 Apache HTTP Server をリバースプロキシとしてTomcatと連携させる - 山崎屋の技術メモこの記事の方法で HTTP リクエストヘッダを追加しました。 Apache HTTP サーバで応答ヘッダ（レスポンスヘッダ）を追加する - 山崎屋の技術メモ Apache HTTP サーバで要求ヘッダ（リクエストヘッダ）を追加する - 山崎屋の技術メモ httpd.conf の抜粋です。文字コードはUTF-8で…

今回は暗号化とエンコーディングの違いを整理したいと思います。エンジニアで仕事をしていると、暗号化・エンコーディング・ハッシュ化と似ているが、微妙に異なる処理があります。内容を理解していると全然違う意味ですが、曖昧な理解で使うと誤解を招いてしまうので、正しく理解するために整理したいと思います。主にエンコーディング中心の内容になっています。 記事のポイント 暗号化とエンコーディングの違いを正しく理解する エンコーディングとは 符号化文字集合とは 文字コードとは エンコーディングとは エンコーディング(Encoding)とエンコード(Encode)の違い 符号化文字集合と文字コードとエンコーディング…

先日AY2024-Term3を終えて卒業要件単位数を満たすことができました。今はまだ卒業申請中なので「仮」としている。ディプロマを手にするまでは実感が湧かなそうだけれど日に日に記憶が薄れていくので振り返りを。 清々しい気分で見物した今年の牡丹 目次 CS 2204 Communications and Networking CS 2301 Operating Systems 1 CS 3307 Operating Systems 2 CS 4402 Comparative Programming Languages CS 4407 Data Mining and Machine Learnin…

2023/4/12 メモ ＊＊普段から本に勝手にあだ名つけてよんでるので、ここではリバースエンジニアリングバイブルをばいぶる君、自作エミュレータで学ぶx86アーキテクチャをえみゅ本として書いていますごめんなさい＊＊ りば本でアセンブリ言語の命令をみてて、そういえばint～～～となりえみゅほんのbios章とデバイスアクセス(3.12章)の章を読んだ。 bois君にはパソコンの電源を居れた直後の機器の初期化や、hddから最初のプログラムローダをメモリに読みだす役割がある。呼び名だけは生き残った。それはそうとアセンブリ言語を学ぶときにもbiosの基本的な入出力機能が役に立つ。ここではbiosの文字表…

読んでたんだよね、ここまで。消えてしまいました、すっかり。 あら、地震まで起きちゃったね。 俺を脅かすための地震？それとも俺が起こした地震？ 2024/04/17水曜日、四国西方の地震です。 予測してた人〜、いますか。 結構驚いたなぁ。揺れもだけど、長かったねぇ、近いからかなぁ。 ちょうど書いた内容が消えちゃったからね。不気味だね。 震度4か・・・。 なんの話だったっけ？ ああ、バックアップがどうの、かな？ まだイメージファイル作成、進行中です。 一体いつまでかかるんだろう。 （また、かなが入力できないよ） 地味ですが、確実な妨害ですね。まぁ、今日は大きく妨害されてますけど。今日もまた、ですね…

MacBook Proが調子悪いのはご存知の通りですが、画面表示が二重になってて、どうも操作ができないんですよね。 ふと思いついて、外部モニタを繋いでみました。 なんの事はない、映るじゃないの。最初からこれでやればよかった（笑）。ただ、買ったままでどのマシンでもフォーマットできないHDDはやっぱりダメです。 代わりに、と思って、一番安いSSDを買いました。4TBのを買ったんですが16TBのが届きました。よくわかりません（苦笑）。 これはなんとか使えそうです。ただ、ExFATでフォーマットされていたので、Mac Proを引っ張り出して、Apple FileSystem/HFS+でフォーマットし直…

シェルスクリプトで作成したこちらをPHPでも作成 taiskill.com 変数「xxx」に入れた文字列を各文字コードに変換して表示する <?php $xxx = "あ"; $enc = array("default","UTF-8","SHIFT-JIS","EUC-JP","ASCII"); function display($str,$enc){ echo "String \"" . $str . "\" in " . $enc . ":\n"; if($enc == "default"){ echo shell_exec("echo $str | od -An -tx1"); }els…

経緯 2021年4月5日 ＠sadaoikebeさんの記事をみて親指シフトキーボードを作って見ました。 改良点は、キー配置を「HHKB」に合わせました 非常に優秀なのは、OSがバージョンアップするたびに、ソフトがちゃんと動くか心配しなくて良いことです。キーボードソフト内で処理します Facebookに記載しました 元記事 qiita.com 2022年11月5日 コロナの影響で在宅勤務が増え、会社のPCにリモート接続するようになりました。 みんなが使うPCは「JISキーボード」で、自分用のPCは「USキーボード」です。これらをリモートから上手く切り替えることができませんでした。 2023年3月…

Pythonを使ってコードを書いている際に遭遇することが多いエラーの一つに、「SyntaxError: invalid syntax（構文エラー: 無効な構文）」があります。このエラーは、Pythonが提供されたコードを理解できない場合に発生します。この記事では、このSyntaxError（シンタックスエラー）の原因と解決方法について詳しく解説します。 PythonのSyntaxError（構文エラー）とは よくあるミスと確認ポイント カッコやクォートの閉じ忘れ 予約語や関数名の誤り 文字エンコーディングの問題 Pythonバージョンの非互換性 コメントアウトの問題 改行文字の扱い 不正な演算…

はじめに Visual Studio Code（以下、VSCode）で設定した内容について、書き残していきます。 普段はサクラエディタを使っていて、開発環境はVSCodeを使っているので、VSCodeは初心者です。 私は、サクラエディタでは、ウィンドウを縦横4分割して使う場合が多いです。ファイル内の他のコードを参照しながら実装することが多いからです。 過去にVSCodeに移行しようとしたとき、ウィンドウ分割、解除、アクティブウィンドウの移動あたりのキーバインドが分からずに挫折したことがあります（笑）。今回は絶対に移行します！ この記事は、完全に自分用のメモになりそうです。でも、他の人の設定って…

はじめに こんにちは。 株式会社iimonでフロントエンドを担当している保田です。 今回はブラウザがレンダリングする際に構築されるDOM（Document ObjectModel）とCSSOM（CSS Object Model）について書きました。 レンダリングとは？ ブラウザに指定されたURLをブラウザの画面に表示することです。 ブラウザには以下のように、さまざまな機能が搭載されていますが、レンダリングの役割を担っているのがレンダリングエンジンです。 以下のサイトでまとまっているように使用されているレンダリングエンジンは使用されているブラウザごとにさまざまです。 webukatu.com 引…

およそ 4 年前に「TypeScript で型レベル Brainfuck」という記事を書きました. susisu.hatenablog.com それから 4 年間の間に TypeScript も進化し, 型レベルプログラミングの技法にも大きな変化がありました. 特に顕著な影響があったものでは, TypeScript 4.0 のタプル型の改善 TypeScript 4.1 のテンプレートリテラル型や条件型での再帰 TypeScript 4.5 の条件型での末尾再帰の除去と, 再帰の上限の緩和 などがあります. こういった変化も踏まえた上で, いまから TypeScript の型レベルプログラミン…

ATOKの単語登録データを修正しようと思って、ちょっとした「不思議現象」に遭遇しましたが、なんとか解決して原因も分かったので、いつものとおり自分メモ*1として記事にしておきます。 きっかけは、「れく→連絡」という単語登録の品詞を「名詞」から「名詞サ変」に変更しようとしたことでした*2。いつものATOKツールバー から［辞書メンテナンス］ →［辞書ユーティリティ］を開き、［辞書ユーティリティ］ダイアログで「れく」を検索しました。 ヒットしません…… なんで……？ *1:この「自分メモのためのブログ記事って、けっこう役に立ちます。書いたこともその内容もすっかり忘れていて、何か困ったことがあってググ…

あなたはUTF-16です。 向こうのあなたはUTF-8です。 私はShift-JISです。 ADODBに接続するための文法を知らないので、あなたの文字コードのデータベースには翻訳できないみたいですな。 じゃあ私が下位サロゲートになるので、あなたは上位サロゲートになってくださいよ❕❕ 1048576通りの世界を辿りましょうよ❕❕❕ 㐂びを分かち合いましょうよ❕❕❕ 無理か。 ならせめて 幸せになろう 涙が止まらんなんて嘘だよ 明日になれば普通に仕事に行くんだ 忘れられないなんて嘘だよ 時間が経てば薄れていく あなた以外はなんて嘘だよ いつかは新たな温もりに触れる必ず互いが幸せになれるただそれが悲…