概要

ブルーアーカイブのケイを対象に、見かけた論文The Hidden Power of Scaling Factor in LoRA Optimizationの提案するLoRA-αの、素人の雑な検証です。 α(network_alpha)をrank(network_dim)以上にする実験で、キャラクターの場合にどうなるのか、そしてα=900でどうなるかを試した。

推奨設定

基本的にAnima公式に準拠。

CFG Scale: 4~5
Sampling Steps: 30~40
Sampler: ER SDE
Schedule: Simple
LoRA Weight: 0.8-1.2

1girl, kei \(student\) \(blue archive\), blue archive, white hair, very long hair, half updo, long hair between eyes, loosely tucked bangs, black hairband, black bow, pink halo, rectangular halo, pink eyes, bright pupils, ringed eyes, blazer, blue necktie, collared shirt, white shirt, black jacket, white jacket, two-sided jacket, two-tone jacket, pink jacket lining, long sleeves, black sleeve cuffs, miniskirt, pleated skirt, black thighhighs, black boots,

トリガー:

1girl, kei \(student\) \(blue archive\), blue archive,

頭部:

white hair, very long hair, half updo, long hair between eyes, loosely tucked bangs, black hairband, black bow, pink halo, rectangular halo,

顔:

pink eyes, bright pupils, ringed eyes,

上半身:

blazer, blue necktie, collared shirt, white shirt, black jacket, white jacket, two-sided jacket, two-tone jacket, pink jacket lining, long sleeves, black sleeve cuffs,

下半身:

black skirt, miniskirt, pleated skirt, black thighhighs, black boots,

学習設定

ツール: sd-scripts
データセット: 64枚（クロップ含む）
総ステップ数: 1510ステップ

パラメータ:

max_train_epochs = 10
train_batch_size = 2
learning_rate = 1e-6
lr_scheduler = "cosine_with_min_lr"
lr_scheduler_num_cycles = 3
lr_scheduler_min_lr_ratio = 0.1
lr_warmup_steps = 0.05
llm_adapter_lr = 0
mlp_lr = 0

network_module = "networks.lora_anima"
network_dim = 8
network_alpha = 900

optimizer_type = "came_pytorch.CAME"
optimizer_args = [ "weight_decay=1e-2", "betas=(0.9, 0.999, 0.9999)", "eps=(1e-30, 1e-16)" ]

αと学習率以外は一般的な設定であるはず

雑記（素人の実験につき何の保証も有りません）

前提: lr=1e-6とnetowork_dim=8に固定し、netowork_alphaを変更する方法で26回学習した。

α=900辺りがこの学習率（lr=1e-6）ではバランスの良い結果で、1200,1500でも問題は無かったが、3000になると構図が固定気味になりやすく、僅かに過学習の傾向が現れ始めたか。
α=C√rより、今回の場合は論文で言われているη（今回はlr=1e-6）だと、C≈320ぐらいだろうか。（320 √8 ≈ 905）但し、lr=1e-5にすると約10倍までlossが跳ね上がり、不安定な学習なっていた。この場合はαを下げる必要が有りそう。
総じてαを上げる事で、より早期にキャラクターの特徴を学習しているように見える。※α=256,384,450,900,1200,1500,3000を試した
Cの値は探索中で、Animaのパラメータ数が2Bと考えると、C≈320でも論文の内容から大きく逸脱はしていないとは思うが、r(dim)とη（学習率）で変動するため何とも言えない。
lr=1e-6が保守的な値のため、1e-5の場合にCと学習がどうなるか不明。

個人的な結論として、これまでの標準的な学習率よりも下げαを高くすると、学習が早く結果も良くなるという、概ね論文の内容通りになったと思う。