「DeskMini」カテゴリーアーカイブ

CentOS Stream9とllama.cppでローカルLLM動かしてみる

DeskMini A300(Ryzen5 2400G)が余っていたので、CentOS Stream 9をインストールllama.cppでLLMを動かしてみた記録です。

A300はAPUのVRAMを16Gに指定できるので、ROCmがつかればよかったのですが、どうにもうまく動かせなかったので、とりあえずはCPUでローカルLLMを動かしてみます。

ChatGPTすごいですよね。私もChatGPT Plusに登録して遊んでいますが、やはりお家環境で動かしたい欲求に駆られます。

とはいえ家でとトレーニングさせるには大変なので、学習済みのモデルがオープンソースで公開されているCerebras-GPTを使ってみようぜっていう記事です。

DeskMiniで一台組んでみました。
CPU性能はどうでも良かったのでCore i3 9100Fを積んで、適当なメモリを32GB、GTX1060です。

まあ、機械学習向けにnVIDIAを試したかっただけです。
GPU性能はRX580とあんまり変わらない感じで、小さい分熱がきつくて長時間の作業は向かないので機械学習としてはいまいちでした。

CPUはi3 9100Fが1万程度でしたが、PCまるごと3万程度だった2400GE(715p)と比較してほぼ差がなく、AMDは随分良くなったもんだな実感してます。

715pとDeskMiniと小型PCばかり触ってみましたが、小型にすると熱がきついので、GPU使う用途なら普通に組んだほうがいいですね。