RX480でのROCmが面白かったので、Radeon Instinct MI25入手してみたので、環境準備を行います。
環境は以下の自作PCにRocky Linux9.4をMinimumインストールしました。
CPU：Ryzen 7 2700X
MB：X470 GAMING PLUS
RAM：16GB×2枚 2400 MHz
SSD：BIOSTAR S120-256
GPU#1:MI25
GPU#2:MI25
GPU#3:V3900
前回、llama.cppを使ってLLMをローカルで動かすことができたので、サーバ機能を使ってAPIサーバを起動し、ブラウザから使ってみようと思います。
続きを読む古めの環境ですがRyzen 7 1700とRX 480の環境があったのでROCmで機械学習ができないかと思ったので実験してみます。
環境は以下の自作PCにRocky Linux9.4をMinimumインストールしました。
CPU：Ryzen 7 1700
MB：TUF B450M-PLUS GAMING
RAM：16GB×2枚 2666 MHz
SSD：Intel 670p 1TB
DeskMini A300(Ryzen5 2400G)が余っていたので、CentOS Stream 9をインストールllama.cppでLLMを動かしてみた記録です。
A300はAPUのVRAMを16Gに指定できるので、ROCmがつかればよかったのですが、どうにもうまく動かせなかったので、とりあえずはCPUでローカルLLMを動かしてみます。
続きを読むLXCをC言語から操作する①でC言語からコンテナの作成、起動、終了、削除までをサンプルコードベースで動かしてみました。
今度はちょっとオプションを変えて、rootfsの設定と、コンテナの場所を変えてみます。
続きを読むChatGPTすごいですよね。私もChatGPT Plusに登録して遊んでいますが、やはりお家環境で動かしたい欲求に駆られます。
とはいえ家でとトレーニングさせるには大変なので、学習済みのモデルがオープンソースで公開されているCerebras-GPTを使ってみようぜっていう記事です。
続きを読む前回はVega8(512 SP)&DirectMLとRX5700XT(2560 SP)& PlaidMLで実行してみたので、性能差がよくわからなかったので、 RX5700XT(2560 SP)の環境にDirectMLを入れてみようと思います。
続きを読む