Jan 15, 2024 / 2024/1/15: v0.8.0

• Diffusers, Accelerate, Transformers and other related libraries have been updated. Please update the libraries with Upgrade.

  • Some model files (Text Encoder without position_id) based on the latest Transformers can be loaded.

• torch.compile is supported (experimental). PR #1024 Thanks to p1atdev!

  • This feature works only on Linux or WSL.
  • Please specify --torch_compile option in each training script.
  • You can select the backend with --dynamo_backend option. The default is "inductor". inductor or eager seems to work.
  • Please use --spda option instead of --xformers option.
  • PyTorch 2.1 or later is recommended.
  • Please see PR for details.

• The session name for wandb can be specified with --wandb_run_name option. PR #1032 Thanks to hopl1t!

• IPEX library is updated. PR #1030 Thanks to Disty0!

• Fixed a bug that Diffusers format model cannot be saved.

• Diffusers、Accelerate、Transformers 等の関連ライブラリを更新しました。Upgrade を参照し更新をお願いします。

  • 最新の Transformers を前提とした一部のモデルファイル（Text Encoder が position_id を持たないもの）が読み込めるようになりました。

• torch.compile がサポートされしました（実験的）。 PR #1024 p1atdev 氏に感謝します。

  • Linux または WSL でのみ動作します。
  • 各学習スクリプトで --torch_compile オプションを指定してください。
  • --dynamo_backend オプションで使用される backend を選択できます。デフォルトは "inductor" です。 inductor または eager が動作するようです。
  • --xformers オプションとは互換性がありません。 代わりに --spda オプションを使用してください。
  • PyTorch 2.1以降を推奨します。
  • 詳細は PR をご覧ください。

• wandb 保存時のセッション名が各学習スクリプトの --wandb_run_name オプションで指定できるようになりました。 PR #1032 hopl1t 氏に感謝します。

• IPEX ライブラリが更新されました。PR #1030 Disty0 氏に感謝します。

• Diffusers 形式でのモデル保存ができなくなっていた不具合を修正しました。