AI用語集
LoRA（低ランク適応）
LoRAとは、モデルの重みを固定したまま、その横に小さな行列を追加して学習させる調整方法で、全体を学習し直すよりずっと少ないメモリで済みます。
巨大な重み行列を変える代わりに、LoRAは細い行列を二つ学習し、その積を元の行列に足します。学習するのはそれだけで、パラメータの1パーセントを大きく下回ることもよくあります。
結果は小さなアダプターファイルで、付け外しができるため、一つのベースモデルで複数の作業に対応できます。
アダプターはそのベースモデル専用です。同じ系統の新しい版であっても、別のベースに付けると学習したとおりには動きません。