Updated at 3 May 2023, 2023/05/03

• When saving v2 models in Diffusers format in training scripts and conversion scripts, it was found that the U-Net configuration is different from those of Hugging Face's stabilityai models (this repository is "use_linear_projection": false, stabilityai is true). Please note that the weight shapes are different, so please be careful when using the weight files directly. We apologize for the inconvenience.

  • Since the U-Net model is created based on the configuration, it should not cause any problems in training or inference.
  • Added --unet_use_linear_projection option to convert_diffusers20_original_sd.py script. If you specify this option, you can save a Diffusers format model with the same configuration as stabilityai's model from an SD format model (a single *.safetensors or *.ckpt file). Unfortunately, it is not possible to convert a Diffusers format model to the same format.

• Lion8bit optimizer is supported. PR #447 Thanks to sdbds!

  • Currently it is optional because you need to update bitsandbytes version. See "Optional: Use Lion8bit" in installation instructions to use it.

• Multi-GPU training with DDP is supported in each training script. PR #448 Thanks to Isotr0py!

• Multi resolution noise (pyramid noise) is supported in each training script. PR #471 Thanks to pamparamm!

  • See PR and this page Multi-Resolution Noise for Diffusion Model Training for details.

• 学習スクリプトや変換スクリプトでDiffusers形式でv2モデルを保存するとき、U-Netの設定がHugging Faceのstabilityaiのモデルと異なることがわかりました（当リポジトリでは "use_linear_projection": false、stabilityaiはtrue）。重みの形状が異なるため、直接重みファイルを利用する場合にはご注意ください。ご不便をお掛けし申し訳ありません。

  • U-Netのモデルは設定に基づいて作成されるため、通常、学習や推論で問題になることはないと思われます。
  • convert_diffusers20_original_sd.pyスクリプトに--unet_use_linear_projectionオプションを追加しました。これを指定するとSD形式のモデル（単一の*.safetensorsまたは*.ckptファイル）から、stabilityaiのモデルと同じ形状の重みファイルを持つDiffusers形式モデルが保存できます。なお、Diffusers形式のモデルを同形式に変換することはできません。

• Lion8bitオプティマイザがサポートされました。PR #447 sdbds氏に感謝します。

  • bitsandbytesのバージョンを更新する必要があるため、現在はオプションです。使用するにはインストール手順の「オプション：Lion8bitを使う」を参照してください。

• 各学習スクリプトでDDPによるマルチGPU学習がサポートされました。PR #448 Isotr0py氏に感謝します。

• Multi resolution noise (pyramid noise) が各学習スクリプトでサポートされました。PR #471 pamparamm氏に感謝します。

  • 詳細はPRおよびこちらのページ Multi-Resolution Noise for Diffusion Model Training を参照してください。
  • --multires_noise_iterations に数値を指定すると有効になります。6~10程度の値が良いようです。
  • --multires_noise_discount に0.1~0.3 程度の値（LoRA学習等比較的データセットが小さい場合のPR作者の推奨）、ないしは0.8程度の値（元記事の推奨）を指定してください（デフォルトは 0.3）。