BitNetの低ビット演算と実行環境への組込み
← 技術
CANDARW 2026 原稿
三値重み・int8形式の活性値の符号付き4ビット整数の演算配置（arXiv公開版）。 出典
厳密な計算経路と活性量子化処理経路の時間・部分内積誤差（arXiv公開版）。モデル精度の図ではありません。 出典
BitNetの三値重みと整数の活性値の積を、再利用可能な符号付き4ビット整数命令OP_SMA4へ対応付ける研究です。演算の正確な再構成と、既存ランタイムへ接続した際の処理境界を扱います。
手法と評価条件の詳細は、 論文（arXiv公開版） にまとめています。
実装・評価した内容
- 三値重みを符号付き4ビット整数の演算レーンへ配置し、int8形式の活性値を2つの符号付き4ビット整数として符号化した断片へ分解。
- シフトと加算、必要な要素への補正によって元の整数内積を再構成。
- BitNet C++のランタイムの選択した1呼出しをCGLAへオフロード。
- 入力データの準備、演算アレイの実行、出力データの回収を分け、厳密な計算経路と近似1ストリームの処理経路を比較。
結果
原稿では1呼出しをオフロードしたBitNet C++のデコード処理で2.52 トークン/秒を測定しています。
整数部分内積の正しさと、近似処理経路での誤差を区別して評価しています。