Updates at 23 Feb. 2023, 2023/2/23:

• Fix instability training issue in train_network.py.
  • fp16 training is probably not affected by this issue.
  • Training with float for SD2.x models will work now. Also training with bf16 might be improved.
  • This issue seems to have occurred in PR#190.
• Add some metadata to LoRA model. Thanks to space-nuko!
• Raise an error if optimizer options conflict (e.g. --optimizer_type and --use_8bit_adam.)
• Support ControlNet in gen_img_diffusers.py (no documentation yet.)
• train_network.py で学習が不安定になる不具合を修正しました。
  • fp16 精度での学習には恐らくこの問題は影響しません。
  • float 精度での SD2.x モデルの学習が正しく動作するようになりました。また bf16 精度の学習も改善する可能性があります。
  • この問題は PR#190 から起きていたようです。
• いくつかのメタデータを LoRA モデルに追加しました。 space-nuko 氏に感謝します。
• オプティマイザ関係のオプションが矛盾していた場合、エラーとするように修正しました（例: --optimizer_type と --use_8bit_adam）。
• gen_img_diffusers.py で ControlNet をサポートしました（ドキュメントはのちほど追加します）。

Updates at 22 Feb. 2023, 2023/2/22:

• Refactor optmizer options. Thanks to mgz-dev!
  • Add --optimizer_type option for each training script. Please see help. Japanese documentation is here.
  • --use_8bit_adam and --use_lion_optimizer options also work, but override above option.
• Add SGDNesterov and its 8bit.
• Add D-Adaptation optimizer. Thanks to BootsofLagrangian and all!
  • Please install D-Adaptation optimizer with pip install dadaptation (it is not in requirements.txt currently.)
  • Please see https://github.com/kohya-ss/sd-scripts/issues/181 for details.
• Add AdaFactor optimizer. Thanks to Toshiaki!
• Extra lr scheduler settings (num_cycles etc.) are working in training scripts other than train_network.py.
• Add --max_grad_norm option for each training script for gradient clipping. 0.0 disables clipping.
• Symbolic link can be loaded in each training script. Thanks to TkskKurumi!
• オプティマイザ関連のオプションを見直しました。mgz-dev氏に感謝します。
  • --optimizer_type を各学習スクリプトに追加しました。ドキュメントはこちら。
  • --use_8bit_adam と --use_lion_optimizer のオプションは依然として動作しますがoptimizer_typeを上書きしますのでご注意ください。
• SGDNesterov オプティマイザおよびその8bit版を追加しました。
• D-Adaptation オプティマイザを追加しました。BootsofLagrangian 氏および諸氏に感謝します。
  • pip install dadaptation コマンドで別途インストールが必要です（現時点ではrequirements.txtに含まれておりません）。
  • こちらのissueもあわせてご覧ください。 https://github.com/kohya-ss/sd-scripts/issues/181
• AdaFactor オプティマイザを追加しました。Toshiaki氏に感謝します。
• 追加のスケジューラ設定（num_cycles等）が train_network.py 以外の学習スクリプトでも使えるようになりました。
• 勾配クリップ時の最大normを指定する --max_grad_norm オプションを追加しました。0.0を指定するとクリップしなくなります。
• 各学習スクリプトでシンボリックリンクが読み込めるようになりました。TkskKurumi氏に感謝します。