量子化

以前にも取り上げている件ですが、現在のllama.cppでは重要度行列(Importance Matrix)計算を利用することで量子化精度が改善できます。 特に4bit以下の低bit量子化を行う場合は、このiMatrix版の量子化が推奨されます（Metal環境などでは推論速度が遅くなるので要注意）。 Claude 3 Opusによると、重要度行列とは以下のように説明できます。 Importance Matrixは、言語モデルの量子化において、各パラメータの重要度を表現するために使用される行列のことを指します。 量子化の過程では、モデルの精度を維持しつつ、パラメータを低ビット幅の整数値で表現しま…

https://github.com/ggerganov/llama.cpp/pull/5747 llama.cpp では最近、ikawrakow氏による量子化手法のアップデートが熱心に行われています。 新しい量子化の実装が重なり個人的に分かりづらくなってきたので、簡単に整理しておこうと思います。 quantize.cppのオプションを参照すると、現在（2024.02）のGGUFバリエーションは以下のとおりです。 github.com 非量子化GGUF："F32", "F16"。量子化していない巨大なGGUF。 旧量子化GGUF："Q4_0"、"Q4_1"、"Q5_0"、"Q5_1"、"Q8_…

年明けにllama.cppに実装された「Importance Matrix（重要度行列？）」を使用したgguf量子化について調べてみました。 Importance Matrixは、llama.cppのikawrakow氏が取り組んでいる一連の量子化精度改善の中心的なアイディアのようで、特に2-3bitの極端な量子化においてモデルの劣化を大きく抑制する効果があるようです。 github.com 例によって技術的な仔細はわかりませんが、GPTQ量子化などと同じように量子化時にトレーニングデータセットを使うことで量子化の精度を改善する手法のようです。 llama.cppにおけるImportance …

llama.cpp の量子化では、safetensorsなどの元モデルを一度FP16フォーマットのggufに変換した後で（convert.py）、このFP16モデルをもとに./quantizeによって8bitや4bitなどのggufに圧縮します。 ただquantize.cppに目を通すと [--allow-requantize]（再量子化を有効にする）というオプションがあり、例えば8bitのggufから4bitのggufに再度圧縮することも可能なことがわかります。 github.com --allow-requantize: Allows requantizing tensors that h…

アナログ信号をコンピュータで利用するには，アナログ－ディジタル変換（analog-to-digital conversion，略して A-D 変換）によりディジタル信号に変換する必要がある。 連続したアナログ信号を適当な時間間隔で区切り，断続的な信号とすることを標本化という。 標本化定理によると，入力信号を完全に復元するためには，その入力信号に含まれる最高周波数成分の 2 倍を超えたサンプリングレートとすればよい。 標本化されたアナログ値を飛び飛びの不連続な数値で表すことを量子化という。量子化の段階数が増え，量子化の単位が小さくなるほど，量子化誤差は小さくなる。 A-D 変換器の方式 積分形 …

(思考実験：2021.4.17 Sat ～ 2021.4.19 Mon) この宇宙は「4つの力」が支配する空間と考えらている。強い力・弱い力・電磁気力・重力の4つだ。このうち「弱い力」については分かり易い説明と出会えていないので、自分には上手く説明できない。なので「弱い力」は言及しない事にした。 今回の記事は、前回の「距離2乗」を、さらに応用したものだ。で、従来の常識から飛躍するための最大の要点は「空間は量子化できる有限個数の存在である」と解釈する事だ。 つまり宇宙空間には、画像ソフトでお馴染みの「レイヤー構造」のようなものが存在していると考えるのだ。 重力の謎について考えてみた： 今回は、重…

0からのシンセサイザーのくりっぱーこと Kurippertronixxx@Kurippersynthです。 伝説のコンピューター、Amigaのローファイなサウンドを再現するサンプラープラグインPotenzaDSP Amigoのくりっぱーチャンネル連動ブログです♪ ★PotenzaDSP Amigo その1 〜基礎操作編～ ブログ連動動画 PotenzaDSP Amigo 操作方法 その1 〜基礎操作編～｜初心者でもわかる 解説 www.potenzadsp.com 今回はPotenzaDSP Amigoの基本的な操作の解説です。 ★PotenzaDSP Amigoとは？ PotenzaDSP …

Ryzen AI Software version1.1 がリリースされ、Llama2 7Bが機能追加された（情報はこちら）。70億パラメタのLLMをUM790 ProのNPUで動かすことができるらしい。 最終的にはLlama2をNPUで動かすことが私の目標であるが、いきなりはハードルが高い。今回はNPUで画像認識するデモプロの動作確認ができたので、そこまでを記録しておきたい。 環境の再構築 Ruzen AIを動かすために必要な環境は以下の通り。この辺りの導入については私のこちらの記事を見ていただきたい。 私は既に上記環境を導入して、デモプロの動作確認もトライしていたが、何故かcmakeのコン…

前回の続きです。次はChat Vector処理によってどれくらい日本語チャット機能が改善しているのかを具体的にみてみます。 下記の記事で、Chat Vectorを使わなくても単純に2モデルをMoEマージするだけで一定の性能向上が観察できることは確認しています。 sc-bakushu.hatenablog.com では、Chat Vectorを加えることでモデルのチャット性能はどのように影響を受けるののでしょうか。 単体の7BモデルにおけるChat Vectorの効果 まず「LightChatAssistant 2x7B」の再現過程で得られた「ChatNTQ 7BにMistral-7B-v0.2…

この記事は雑記記事です。熊本大学工学部情報電気工学科学生向けの内容になっています。 クリアファイルデータの発掘 情報電気工学科チートシート クリアファイルデータの発掘 制御工学チャンネルのクリアファイルがほとんどなくなったので新しいものを作ります。それにあたって、過去のファイルを漁っていたところ、なぜかどの立場でかわかりませんが、情報電気工学科学生向けのチートシートを作っていたのが見つかりました。 自分が阪大に入学したころ、履修登録や種々の手続きは、大学に入ってからの友達に頼り切りだったように記憶しています。大学の手続きは複雑であり、これで躓くこともあるかもしれません。割とうちの学科は、ガイダ…

学生時代、通学のお供はウォークマンでした、トモGPです。いま我々本能ブログ編集部内では、”有線イヤホン”と”DAC”という装置をスマホやPCに繋ぎ「良い音で音楽を聴く」というのがブームとなっています。AirPodsを代表とするワイヤレスイヤホンが全盛のこの時代に”なぜわざわざ有線イヤホンを繋いで音楽を聴くのか？”今回はこのことについてお届けしたいと思います。 そもそも”良い音”とは何なのか？ 映像の美しさを表す指標としてハイビジョンや4Kといった規格があるように、音楽データにおいてはロスレスやハイレゾといった音質の規格があります。2021年からApple Musicでも配信がスタートしたロスレ…

前回Chat Vectorについて簡単に予習したので、とりあえず「LightChatAssistant 2x7B」の作成手順を再現してみたいと思います。 作者さんがモデルカードで丁寧に説明してくださっているので、基本的にそれをなぞるだけです。まずはまったく同じモデルを作ってみます。 huggingface.co Chat Vectorによる処理 Google ColabのCPU（ハイメモリ）で試します。3つ分のモデルファイルを扱えるだけのRAM容量さえあればよく、GPU無しで完結するようです。 まずは、Chat Vector処理を行うための依存関係をインストールします。ColabだとTrans…

tanuki- 2024-04-12 halfkp_256x2-256-256-256 実験内容 halfkp_256x2-256-256-256 ネットワークを学習させ、レーティングを測定する。 ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。 棋譜生成 ランダムパラメーターから学習させる際の学習データ 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 Hao (tanuki-.halfkp_256x2-32-32.2023-05-08) 1手…

前回の記事で、「LightChatAssistant 2x7B」が日本語チャットモデルのベンチマークでもかなり高いスコアを示すことを確認しました（スコア上はCohereの「Command-R 35B」に近い水準です）。 体感的にもベンチマーク的にも優れた日本語チャットモデルで、サイズが小さいことも考えるととても魅力的です。 sc-bakushu.hatenablog.com 作者さんがモデルカードで説明されている制作プロセスを読むと、単純に「ChatNTQ 7B」と「Antler-7B」をMoEマージする前に、ChatVectorという手法により各モデルに微調整を施しているようです。 となると…

AmateursCTF 2024 一人さびしく参加して66位でした．楽しかったです． denied [web] const express = require('express') const app = express() const port = 3000 app.get('/', (req, res) => { if (req.method == "GET") return res.send("Bad!"); res.cookie('flag', process.env.FLAG ?? "flag{fake_flag}") res.send('Winner!') }) app.liste…

概要 Unity公式のディープラーニング推論フレームワークのSentis 1.4がリリースされました。 Sentis 1.3からSentis 1.4へはAPIの破壊的な変更が含まれており、既存のコードをいくつか修正する必要があります。 まだ公式のサンプルが更新されていなかったりと時期尚早な感じはありますが、この記事ではSentis 1.4の新機能をピックアップして紹介、主な既存のコードの書き換え事例を紹介していきます。 Unity Sentis 1.4 ChangeLog Unity Sentis 1.4のWhatNewとChangeLogは以下のページで公開されいます。 ここでは注目したい新…

どちらか？ チェンソーごはんなんてたべられないだろ。腹のリニアの車輪は回ってないし、白刃取りチェンソーもダメ？リニアのEBの逆運動とかなんて。どちらの？貧見茨、たのしみの。すでに田舎、おめでたい。鬼胃酸。貧見茨、暴言さえ。おめでたい。腹のリニアの車輪は、回っているのか？回っているのか。白波取りダブルエンジンカッター、リニア位相。木の実ナナ皮サンズ、自由の女神。その足下の木の実ナナ皮サンズエンジンカッター。おや。 場の量子論を結晶格子に応用し、結晶中の振動を量子化したものがフォノンである。 振幅が大きくなる、つまり振動が激しくなることはフォノンの数が増えることで表される。 電子は負の電荷を持って…