ストリーミングSIMD拡張命令3、第三世代Pentium4であるPrescottより搭載され始めた。 SSE2に13個の命令を追加し、浮動小数点演算の処理能力を向上させたもの。
はじめに hacomonoのIoT部マネージャーの岩貞(さとちゃん)です。 最近hacomonoの影響もあってか、サウナにちょっとずつハマっています。 友人の結婚祝いで名古屋に行くことがあったので SENSE sauna 行ってきました。大衆浴場のサウナしか行ったことがなかったので、小スペースで友人だけと会話しながら入れるサウナはすごく良かったです。 良いサウナ場をこれからも探そうと思います笑 今回の話 技適がついに通ったラズパイ5。少し静観してたのですが、スイッチサイエンスに4GBモデルの在庫があるということでIoTのSW開発メンバーを中心に研究開発目的で購入してお配りしました。 あわせて自…
Kerasで機械学習を試しているが、どうもGPUを使っていないっぽい。 自分のPCはCPUは微妙（Intel 10400F）だが、GPUは結構強め（Nvidia Geforce RTX 4070）。せっかくなのでGPUでやりたい。【Keras/TensorFlow】GPUを使うまでの手順と注意点などを解説しますとりあえず上の記事を見つけて、書いてある通りCUDAやCuDNNを入れてみる。 tensorflowをアンインストールしてtensorflow-gpuをインストールし直してみたが、最新版はインストールできないよ、的な表示が出る。 で、以下のURLに誘導される。 tensorflow-gp…
はじめに 環境 準備 cmakeの環境作成 llama.cppの環境作成 モデルのダウンロード llama.cppの動作確認 llama.cppをサーバーとして実行 Unityに必要なライブラリの追加 レスポンスのクラスの作成 Unityからllama.cppに対してAPIを叩く llama.cppのGPUオフロード対応 llma.cppのGPUオフロードの動作確認 GPU版のビルド GPUオフロードのサーバーを実行する はじめに llma.cppやStyleBertVITS2(音声合成ライブラリ) をunityで簡単に使えるように以下のライブラリを作りました！ 記事の内容はライブラリ内に含ま…
Amatsukazeのプロファイルをいくつか作成して、それぞれのエンコード時間と出力ファイルサイズを比較してみました。 Ryzen7 3700X+GeForce RTX3070での基本プロファイル MPEG2デコーダ: デフォルト H264デコーダ: デフォルト 出力フォーマット: MKV 出力選択: CMをカット フィルタ-CUDAで処理: Yes フィルタ-インターレース解除: Yes フィルタ-インターレース解除方法: KFM フィルタ-SMDegrainによるNR: No フィルタ-DecombUCF: Yes フィルタ-出力fps: 24fps フィルタ-VFRフレームタイミング: …
環境 実行 準備 推論 結果 ログ 環境 L4 GPU(GPU RAM 24GB) 実行 モデルをロードしてから、推論を実行します 準備 # llama.cppのmixtralブランチをクローン（mergeが済んだら「-b mixtral」不要） !git clone -b mixtral https://github.com/ggerganov/llama.cpp %cd llama.cpp !make #!make LLAMA_CUBLAS=1 #GPUオフロードする場合 # モデルのダウンロード（Q4_K_M-GGUF） !wget https://huggingface.co/TheB…
夏ぐらいにThinkPad X1 Nanoを衝動買いしました。結構な大金を費やした、私にしては珍しく豪華絢爛なスペックのノートPCです。 sylve.hatenablog.jp今の今までこの手のUSB機器を接続せずにThinkPad X1 Nanoを利用してきましたが、少し前に衝動買いした4Kモバイルモニターを接続すると反応しません。 sylve.hatenablog.jpUSB-Cの電源は認識しているため(結構消費電力の大きいモバイルモニターなので)単純な電源供給量不足かな？と思い、USB-C to HDMI変換アダプタを通して接続するも反応せず。モニター自体は他のPCで認識していたため、相…
どうも、わーはやです。今回は自分のテンプレのコードを解説していきたいと思います。 と言っても、普段あまり使わないやつはリファレンスだけ置いて軽く流します。 長くなりそうなので前半と後半に分けようと思います。 前置きはこのあたりにして早速解説していきます。 コンパイルオプション 最初の方 マクロ シリーズ 入出力 便利なやつまとめ 終わりに コンパイルオプション /*#pragma GCC optimize("O3") #pragma GCC optimize("unroll-loops")//*/ //#pragma GCC target("sse,sse2,sse3,ssse3,sse4,p…
test llama2 7B & 70B via llama.cpp - end0tknr's kipple - web写経開発 install llama-cpp-python to miniconda3 py310 & windows 11 & gpu - end0tknr's kipple - web写経開発 上記 2つのentry の続きとして、 llama-cpp-python & Llama2 7B/70B を windows 11 & gpu から日本語で 試しています。 使用した python scriptと、その実行結果は以下の通りで、 Llama2 70B は回答までの時間…
https://end0tknr.hateblo.jp/entry/20230821/1692569142 先日の上記entryでは、PCのメモリが16GBで少なかったせいか、 「GPUはスカスカ、メモリやDISKはパンパン」でしたので、 メモリ:64GBのPCに強化して、再テスト 使用したPC(thinkpad)の仕様 (抜粋) PS> systeminfo OS 名: Microsoft Windows 11 Pro OS バージョン: 10.0.22621 N/A ビルド 22621 OS 製造元: Microsoft Corporation システム製造元: LENOVO プロセッサ:…
コマンドの誤り修正（very抜け） FastTree-2は、大規模系統樹を推定するための最も成功したツールの1つである。FastTree-2の設計の核心はスピードであるが、FastTree-2の実装には、その性能とスケーラビリティを害する重要な問題がまだある。これらの限界に対処するために、本著者らはVeryFastTreeを導入する。VeryFastTreeはFastTree-2ツールの高度に調整された実装であり、並列化とベクトル化戦略を利用して性能を向上させる。VeryFastTreeは、超大規模な330kアライメントから倍精度演算を使用して、標準的なサーバー上でツリーをわずか4.5時間で構…
C言語でのLLMランタイムである「Llama.cpp」を geforce rtx 4090 付の windows用に compile & install。 目次 参考url Visual Sudio or CUDA Toolkit の integration 修正 ファイルコピー regedit build & install llama.cpp to windows11 with gpu 推論お試し実行 gqaオプションは、LLaMAv2 70B用みたい 推論実行 - GPUはスカスカ、メモリやDISKはパンパン 参考url https://zenn.dev/fehde/articles/9…
前記事: hashicco.hatenablog.com 後記事: hashicco.hatenablog.com 前書き 前記事において、P40を買い増して機械学習用マシンをマルチGPUにした。 しかし、普通のRyzenで構成していたがために、PCIeの帯域が足りず片方のGPUがx4接続になってしまっていたのが若干心残りとなっていた。 そこで、EPYCとSupermicroのマザーを中古で買ってみたという話。 まともな帯域とセッティングで2GPUを接続してベンチを取ってみたところ、そこそこマルチGPUの良さが見えてきたので本記事に記しておく。 まとめ 今回購入したのは1ソケット用32Core…
Proxmox VE 7.4-16 で発生する現象。 暫定的にはVMのCPU種別を「host」にすれば回避可能。 恒久対策としてはProxmox VEをバージョン8へアップグレードしCPU種別を「x86-64-v2」を指定。 現象 [zaki@cloud-dev2 ~]$ docker run --rm -it rockylinux:9-minimal bash Fatal glibc error: CPU does not support x86-64-v2 VMのCPU種別をデフォルトの「kvm64」にしていると発生。 これはホストのVMがUbuntuでもFedoraでも関係なく再現し、コ…
!!注意!!： この記事で取ったベンチマークは、片方のGPUのみECC有効となっていたことが判明しました。PCIeのレーン数も双方のGPUで異なっており、非常にアンバランスな条件で測定した結果となっておりますので、マルチGPUの効果を見るのにはあまり適しておりません。後記事にてEPYCを購入し、ちゃんとECCを無効化した上で両GPUともPCIe x16で接続した結果を公開しましたので、こちらも合わせて見ていただければと思います。 前記事： hashicco.hatenablog.com 後記事 : hashicco.hatenablog.com 前書き きっかけは、llama2の13Bモデルが…
この記事は GrandOrgue のヘルプ "Chapter 2 : Getting Started" を勝手に日本語訳したものです。（ヘルプ日本語訳の目次ページ） まだ日本語として変だったり、意味が取っていない箇所が多々あります。また、図は転載せずに「図」と表記するだけに留めています。必ず原文と照らし合わせの上でご利用ください。 訳出したバージョンは v3.9.5-1 (Jan 23, 2023) です。 以下、訳文です。（文脈や指示語はすべて GrandOrgue に対応するものであり、このブログとは全く関係ありません。）
forest.watch.impress.co.jp
github.com
cocelo.hatenadiary.org
