DeskMini A300(Ryzen5 2400G)が余っていたので、CentOS Stream 9をインストールllama.cppでLLMを動かしてみた記録です。
A300はAPUのVRAMを16Gに指定できるので、ROCmがつかればよかったのですが、どうにもうまく動かせなかったので、とりあえずはCPUでローカルLLMを動かしてみます。
続きを読むDeskMini A300(Ryzen5 2400G)が余っていたので、CentOS Stream 9をインストールllama.cppでLLMを動かしてみた記録です。
A300はAPUのVRAMを16Gに指定できるので、ROCmがつかればよかったのですが、どうにもうまく動かせなかったので、とりあえずはCPUでローカルLLMを動かしてみます。
続きを読む