1250億パラメーターのAIをゲーミングPCで動かす実行アプリ「Strata」

AIツール12小时前公開

0 0 0

「Strata」は、1250億パラメーターのオープンモデル「Qwen3.8-Flash-Next」の量子化版を、データセンター級の設備ではなく比較的入手しやすいゲーミングPCで実行できるようにするアプリです。

必要環境の目安はVRAM 12GB以上のGPU（NVIDIAまたはAMD）、RAM 32GB以上、ストレージ80GB以上、Windows 10/11またはLinux
MoEモデル全体をRAMに読み込み、よく使う専門家モデルをVRAMに配置する仕組み
軽量モデルで次のトークンを予測する投機的デコードを採用
RTX 5070環境で2ビット量子化版が毎秒94トークン、Radeon RX 9070環境で毎秒60トークンを記録

一方、量子化による精度低下も報告されており、2ビット版では円周率の計算で同じトークンを繰り返す例があったとされています。

出典：GIGAZINE