月別アーカイブ: 2024年5月

CentOS Stream9とllama.cppでローカルLLM動かしてみる

DeskMini A300(Ryzen5 2400G)が余っていたので、CentOS Stream 9をインストールllama.cppでLLMを動かしてみた記録です。

A300はAPUのVRAMを16Gに指定できるので、ROCmがつかればよかったのですが、どうにもうまく動かせなかったので、とりあえずはCPUでローカルLLMを動かしてみます。

続きを読む