AI用語集
量子化
量子化とは、モデルの重みを16ビットから4ビットのように少ないビット数で保存し、品質を少し犠牲にして、メモリを減らし速く動かすことです。
70億パラメータのモデルは、16ビットだと重みだけで約14GB必要です。4ビットなら約4GBで、普通のノートパソコンにも収まります。
8ビットなら劣化はたいてい小さく、4ビット以下では作業によって目に見えることがあります。一般的なランキングを信じず、自分の作業で測りましょう。
メモリを使うのは重みだけではありません。キーと値のキャッシュとして持つコンテキストはトークンごとに増えるので、量子化したモデルでも長いプロンプトでメモリが足りなくなることがあります。