LoRA
モデル全体を再学習する代わりに、小さな「アダプター」を追加する軽量なファインチューニング手法。
LoRA（Low-Rank Adaptation）は、ベースモデルのすべての重みを更新するのではなく、少数の追加パラメーターを学習させるAIモデルのファインチューニング手法です。
例：イラストレーターが、日本の料理本向けに一連のイラストを制作しています。さまざまな場面で、食器の描き方やイラストの質感をそろえたいと考えています。LoRAアダプターを使えば、プロンプトで具体的な料理や構図を指定しながら、学習したスタイルを保ちやすくなります。ただし、これは活用例であり、どのアダプターでもあらゆるスタイルを完璧に再現できるという保証ではありません。
AI分野のLoRAは、無線通信で使われるLoRaとは別物です。似た表記ですが、意味は異なります。ここで扱うのはニューラルネットワークのファインチューニングであり、センサーの通信範囲やアンテナ、LoRaWANネットワークではありません。
アダプターでできること、置き換えられないもの
アダプターは、互換性のあるベースモデルに追加して使います。両方が必要です。あるモデルファミリー向けのファイルが、すべての画像生成モデルで使える汎用拡張機能になるわけではありません。ベースモデルの名前やバージョン、必要な読み込み方法、利用条件を確認してください。
LoRAは、イラストのスタイルや特定の物体の見た目を再現したり、言語モデルを特定のタスクに適応させたりするのに使えます。この手法は画像に限りません。初期のLoRAの研究では、ベースモデルの重みを固定したまま、低ランク行列を学習させています。ユーザーにとっては、調整するパラメーターが少なくて済みますが、学習コストがかからないわけではありません。
画像で学習済みLoRAを試す方法
アダプターの説明ページを読みます。ベースモデルや、効果を引き出すためのトリガーワード、推奨設定を確認してください。すべてのアダプターでトリガーワードが必要なわけではなく、適切にファイルを読み込まずに言葉だけを工夫しても解決にはなりません。
アダプターを使わずに画像を生成し、プロンプト、モデル、解像度、シード値、その他の設定を記録します。これを比較の基準にします。比較時は、テーマや設定全体を同時に変えるのではなく、アダプターの使用有無や重みだけを変えてください。
使用するソフトウェアの説明に従ってLoRAを有効にします。最初から最大値にするのではなく、強度をいくつか試してください。重みを大きくするとスタイルが強く反映される一方、要素が崩れたり、プロンプトへの忠実度が下がったりすることがあります。ソフトウェアによってスケールの基準は異なる場合があります。
別の場面でも試します。イラストレーターにとって役立つアダプターなら、餃子の皿だけでなく、カップやテーブル、スプーンを持つ手にも機能するはずです。どの画像にも同じ背景が繰り返し現れる場合は、学習例の範囲が狭すぎた可能性があります。
比較結果と制約を記録します。スタイルの一貫性だけでなく、物体が明瞭に描かれているかも評価してください。Diffusersのドキュメントでは、LoRAの読み込み方法や、アダプターが生成結果に与える影響の調整方法を確認できます。
独自のアダプターを学習させるべきとき
繰り返し実現したい目的があり、適切な素材とその利用権がある場合は検討してみましょう。無作為に集めた画像を数枚用意するだけで、十分に学習できるとは限りません。サンプルには、重要な特徴がさまざまな構図で表れている必要があります。また、説明文によってその特徴を背景や偶然写り込んだ要素と区別できるようにします。
後で評価するために、学習に使わない場面も一部残しておきましょう。学習画像の再現だけを品質の証拠として示すのは避けてください。顔を扱う場合は、本人の同意を得て、肖像の使用には慎重を期す必要があります。技術的に生成できても、誰かの肖像を公開する権利が自動的に得られるわけではありません。
よくある誤解：LoRAは魔法のフィルター
アダプターは、画像の生成後にかけるフィルターではありません。互換性のあるモデルの動作に影響を与えます。あらゆる人体の崩れを直したり、同じ顔を保証したり、明確なプロンプトの代わりになったりするわけではありません。期待した結果が得られない場合は、まずモデルの互換性、正しく読み込まれているか、設定を確認してください。よく分からないまま重みを上げると、望ましくない特徴が強まることがあります。