v0.6.5
版本发布时间: 2023-07-22 18:44:06
kohya-ss/sd-scripts最新发布版本:v0.8.7(2024-04-07 20:09:15)
Updates on 15 Jun. 2023, 2023/06/15
-
Prodigy optimizer is supported in each training script. It is a member of D-Adaptation and is effective for DyLoRA training. PR #585 Please see the PR for details. Thanks to sdbds!
- Install the package with
pip install prodigyopt
. Then specify the option like--optimizer_type="prodigy"
.
- Install the package with
-
Arbitrary Dataset is supported in each training script (except XTI). You can use it by defining a Dataset class that returns images and captions.
- Prepare a Python script and define a class that inherits
train_util.MinimalDataset
. Then specify the option like--dataset_class package.module.DatasetClass
in each training script. - Please refer to
MinimalDataset
for implementation. I will prepare a sample later.
- Prepare a Python script and define a class that inherits
-
The following features have been added to the generation script.
- Added an option
--highres_fix_disable_control_net
to disable ControlNet in the 2nd stage of Highres. Fix. Please try it if the image is disturbed by some ControlNet such as Canny. - Added Variants similar to sd-dynamic-propmpts in the prompt.
- If you specify
{spring|summer|autumn|winter}
, one of them will be randomly selected. - If you specify
{2$$chocolate|vanilla|strawberry}
, two of them will be randomly selected. - If you specify
{1-2$$ and $$chocolate|vanilla|strawberry}
, one or two of them will be randomly selected and connected byand
. - You can specify the number of candidates in the range
0-2
. You cannot omit one side like-2
or1-
. - It can also be specified for the prompt option.
- If you specify
e
orE
, all candidates will be selected and the prompt will be repeated multiple times (--images_per_prompt
is ignored). It may be useful for creating X/Y plots. - You can also specify
--am {e$$0.2|0.4|0.6|0.8|1.0},{e$$0.4|0.7|1.0} --d 1234
. In this case, 15 prompts will be generated with 5*3. - There is no weighting function.
- If you specify
- Added an option
-
各学習スクリプトでProdigyオプティマイザがサポートされました。D-Adaptationの仲間でDyLoRAの学習に有効とのことです。 PR #585 詳細はPRをご覧ください。sdbds氏に感謝します。
-
pip install prodigyopt
としてパッケージをインストールしてください。また--optimizer_type="prodigy"
のようにオプションを指定します。
-
-
各学習スクリプトで任意のDatasetをサポートしました(XTIを除く)。画像とキャプションを返すDatasetクラスを定義することで、学習スクリプトから利用できます。
- Pythonスクリプトを用意し、
train_util.MinimalDataset
を継承するクラスを定義してください。そして各学習スクリプトのオプションで--dataset_class package.module.DatasetClass
のように指定してください。 - 実装方法は
MinimalDataset
を参考にしてください。のちほどサンプルを用意します。
- Pythonスクリプトを用意し、
-
生成スクリプトに以下の機能追加を行いました。
- Highres. Fixの2nd stageでControlNetを無効化するオプション
--highres_fix_disable_control_net
を追加しました。Canny等一部のControlNetで画像が乱れる場合にお試しください。 - プロンプトでsd-dynamic-propmptsに似たVariantをサポートしました。
-
{spring|summer|autumn|winter}
のように指定すると、いずれかがランダムに選択されます。 -
{2$$chocolate|vanilla|strawberry}
のように指定すると、いずれか2個がランダムに選択されます。 -
{1-2$$ and $$chocolate|vanilla|strawberry}
のように指定すると、1個か2個がランダムに選択されand
で接続されます。 - 個数のレンジ指定では
0-2
のように0個も指定可能です。-2
や1-
のような片側の省略はできません。 - プロンプトオプションに対しても指定可能です。
-
{e$$chocolate|vanilla|strawberry}
のようにe
またはE
を指定すると、すべての候補が選択されプロンプトが複数回繰り返されます(--images_per_prompt
は無視されます)。X/Y plotの作成に便利かもしれません。 -
--am {e$$0.2|0.4|0.6|0.8|1.0},{e$$0.4|0.7|1.0} --d 1234
のような指定も可能です。この場合、5*3で15回のプロンプトが生成されます。 - Weightingの機能はありません。
-
- Highres. Fixの2nd stageでControlNetを無効化するオプション
Updates on 8 Jun. 2023, 2023/06/08
- Fixed a bug where clip skip did not work when training with weighted captions (
--weighted_captions
specified) and when generating sample images during training. - 重みづけキャプションでの学習時(
--weighted_captions
指定時)および学習中のサンプル画像生成時にclip skipが機能しない不具合を修正しました。
Updates on 6 Jun. 2023, 2023/06/06
- Fix
train_network.py
to probably work with older versions of LyCORIS. -
gen_img_diffusers.py
now supportsBREAK
syntax. -
train_network.py
がLyCORISの以前のバージョンでも恐らく動作するよう修正しました。 -
gen_img_diffusers.py
でBREAK
構文をサポートしました。
Updates on 3 Jun. 2023, 2023/06/03
-
Max Norm Regularization is now available in
train_network.py
. PR #545 Thanks to AI-Casanova!- Max Norm Regularization is a technique to stabilize network training by limiting the norm of network weights. It may be effective in suppressing overfitting of LoRA and improving stability when used with other LoRAs. See PR for details.
- Specify as
--scale_weight_norms=1.0
. It seems good to try from1.0
. - The networks other than LoRA in this repository (such as LyCORIS) do not support this option.
-
Three types of dropout have been added to
train_network.py
and LoRA network.- Dropout is a technique to suppress overfitting and improve network performance by randomly setting some of the network outputs to 0.
-
--network_dropout
is a normal dropout at the neuron level. In the case of LoRA, it is applied to the output of down. Proposed in PR #545 Thanks to AI-Casanova!-
--network_dropout=0.1
specifies the dropout probability to0.1
. - Note that the specification method is different from LyCORIS.
-
- For LoRA network,
--network_args
can specifyrank_dropout
to dropout each rank with specified probability. Alsomodule_dropout
can be specified to dropout each module with specified probability.- Specify as
--network_args "rank_dropout=0.2" "module_dropout=0.1"
.
- Specify as
-
--network_dropout
,rank_dropout
, andmodule_dropout
can be specified at the same time. - Values of 0.1 to 0.3 may be good to try. Values greater than 0.5 should not be specified.
-
rank_dropout
andmodule_dropout
are original techniques of this repository. Their effectiveness has not been verified yet. - The networks other than LoRA in this repository (such as LyCORIS) do not support these options.
-
Added an option
--scale_v_pred_loss_like_noise_pred
to scale v-prediction loss like noise prediction in each training script.- By scaling the loss according to the time step, the weights of global noise prediction and local noise prediction become the same, and the improvement of details may be expected.
- See this article by xrg for details (written in Japanese). Thanks to xrg for the great suggestion!
-
Max Norm Regularizationが
train_network.py
で使えるようになりました。PR #545 AI-Casanova氏に感謝します。- Max Norm Regularizationは、ネットワークの重みのノルムを制限することで、ネットワークの学習を安定させる手法です。LoRAの過学習の抑制、他のLoRAと併用した時の安定性の向上が期待できるかもしれません。詳細はPRを参照してください。
-
--scale_weight_norms=1.0
のように--scale_weight_norms
で指定してください。1.0
から試すと良いようです。 - LyCORIS等、当リポジトリ以外のネットワークは現時点では未対応です。
-
train_network.py
およびLoRAに計三種類のdropoutを追加しました。- dropoutはネットワークの一部の出力をランダムに0にすることで、過学習の抑制、ネットワークの性能向上等を図る手法です。
-
--network_dropout
はニューロン単位の通常のdropoutです。LoRAの場合、downの出力に対して適用されます。PR #545 で提案されました。AI-Casanova氏に感謝します。-
--network_dropout=0.1
などとすることで、dropoutの確率を指定できます。 - LyCORISとは指定方法が異なりますのでご注意ください。
-
- LoRAの場合、
--network_args
にrank_dropout
を指定することで各rankを指定確率でdropoutします。また同じくLoRAの場合、--network_args
にmodule_dropout
を指定することで各モジュールを指定確率でdropoutします。-
--network_args "rank_dropout=0.2" "module_dropout=0.1"
のように指定します。
-
-
--network_dropout
、rank_dropout
、module_dropout
は同時に指定できます。 - それぞれの値は0.1~0.3程度から試してみると良いかもしれません。0.5を超える値は指定しない方が良いでしょう。
-
rank_dropout
およびmodule_dropout
は当リポジトリ独自の手法です。有効性の検証はまだ行っていません。 - これらのdropoutはLyCORIS等、当リポジトリ以外のネットワークは現時点では未対応です。
-
各学習スクリプトにv-prediction lossをnoise predictionと同様の値にスケールするオプション
--scale_v_pred_loss_like_noise_pred
を追加しました。- タイムステップに応じてlossをスケールすることで、 大域的なノイズの予測と局所的なノイズの予測の重みが同じになり、ディテールの改善が期待できるかもしれません。
- 詳細はxrg氏のこちらの記事をご参照ください:noise_predictionモデルとv_predictionモデルの損失 - 勾配降下党青年局 xrg氏の素晴らしい記事に感謝します。
Updates on 31 May 2023, 2023/05/31
-
Show warning when image caption file does not exist during training. PR #533 Thanks to TingTingin!
- Warning is also displayed when using class+identifier dataset. Please ignore if it is intended.
-
train_network.py
now supports merging network weights before training. PR #542 Thanks to u-haru!-
--base_weights
option specifies LoRA or other model files (multiple files are allowed) to merge. -
--base_weights_multiplier
option specifies multiplier of the weights to merge (multiple values are allowed). If omitted or less thanbase_weights
, 1.0 is used. - This is useful for incremental learning. See PR for details.
-
-
Show warning and continue training when uploading to HuggingFace fails.
-
学習時に画像のキャプションファイルが存在しない場合、警告が表示されるようになりました。 PR #533 TingTingin氏に感謝します。
- class+identifier方式のデータセットを利用している場合も警告が表示されます。意図している通りの場合は無視してください。
-
train_network.py
に学習前にモデルにnetworkの重みをマージする機能が追加されました。 PR #542 u-haru氏に感謝します。-
--base_weights
オプションでLoRA等のモデルファイル(複数可)を指定すると、それらの重みをマージします。 -
--base_weights_multiplier
オプションでマージする重みの倍率(複数可)を指定できます。省略時またはbase_weights
よりも数が少ない場合は1.0になります。 - 差分追加学習などにご利用ください。詳細はPRをご覧ください。
-
-
HuggingFaceへのアップロードに失敗した場合、警告を表示しそのまま学習を続行するよう変更しました。
Updates on 25 May 2023, 2023/05/25
-
D-Adaptation v3.0 is now supported. PR #530 Thanks to sdbds!
-
--optimizer_type
now acceptsDAdaptAdamPreprint
,DAdaptAdanIP
, andDAdaptLion
. -
DAdaptAdam
is now new. The oldDAdaptAdam
is available withDAdaptAdamPreprint
. - Simply specifying
DAdaptation
will useDAdaptAdamPreprint
(same behavior as before). - You need to install D-Adaptation v3.0. After activating venv, please do
pip install -U dadaptation
. - See PR and D-Adaptation documentation for details.
-
-
D-Adaptation v3.0がサポートされました。 PR #530 sdbds氏に感謝します。
-
--optimizer_type
にDAdaptAdamPreprint
、DAdaptAdanIP
、DAdaptLion
が追加されました。 -
DAdaptAdam
が新しくなりました。今までのDAdaptAdam
はDAdaptAdamPreprint
で使用できます。 - 単に
DAdaptation
を指定するとDAdaptAdamPreprint
が使用されます(今までと同じ動き)。 - D-Adaptation v3.0のインストールが必要です。venvを有効にした後
pip install -U dadaptation
としてください。 - 詳細はPRおよびD-Adaptationのドキュメントを参照してください。
-
Updates on 22 May 2023, 2023/05/22
- Fixed several bugs.
- The generation script now uses xformers for VAE as well.
- いくつかのバグ修正を行いました。
- 生成スクリプトでVAEについてもxformersを使うようにしました。
Updates on 16 May 2023, 2023/05/16
- Fixed an issue where an error would occur if the encoding of the prompt file was different from the default. PR #510 Thanks to sdbds!
- Please save the prompt file in UTF-8.
- プロンプトファイルのエンコーディングがデフォルトと異なる場合にエラーが発生する問題を修正しました。 PR #510 sdbds氏に感謝します。
- プロンプトファイルはUTF-8で保存してください。
Updates on 15 May 2023, 2023/05/15
-
Added English translation of documents by darkstorm2150. Thank you very much!
-
The prompt for sample generation during training can now be specified in
.toml
or.json
. PR #504 Thanks to Linaqruf!- For details on prompt description, please see the PR.
-
darkstorm2150氏にドキュメント類を英訳していただきました。ありがとうございます!
-
学習中のサンプル生成のプロンプトを
.toml
または.json
で指定可能になりました。 PR #504 Linaqruf氏に感謝します。- プロンプト記述の詳細は当該PRをご覧ください。
Updates on 11 May 2023, 2023/05/11
-
Added an option
--dim_from_weights
totrain_network.py
to automatically determine the dim(rank) from the weight file. PR #491 Thanks to AI-Casanova!- It is useful in combination with
resize_lora.py
. Please see the PR for details.
- It is useful in combination with
-
Fixed a bug where the noise resolution was incorrect with Multires noise. PR #489 Thanks to sdbds!
- Please see the PR for details.
-
The image generation scripts can now use img2img and highres fix at the same time.
-
Fixed a bug where the hint image of ControlNet was incorrectly BGR instead of RGB in the image generation scripts.
-
Added a feature to the image generation scripts to use the memory-efficient VAE.
- If you specify a number with the
--vae_slices
option, the memory-efficient VAE will be used. The maximum output size will be larger, but it will be slower. Please specify a value of about16
or32
. - The implementation of the VAE is in
library/slicing_vae.py
.
- If you specify a number with the
-
train_network.py
にdim(rank)を重みファイルから自動決定するオプション--dim_from_weights
が追加されました。 PR #491 AI-Casanova氏に感謝します。-
resize_lora.py
と組み合わせると有用です。詳細はPRもご参照ください。
-
-
Multires noiseでノイズ解像度が正しくない不具合が修正されました。 PR #489 sdbds氏に感謝します。
- 詳細は当該PRをご参照ください。
-
生成スクリプトでimg2imgとhighres fixを同時に使用できるようにしました。
-
生成スクリプトでControlNetのhint画像が誤ってBGRだったのをRGBに修正しました。
-
生成スクリプトで省メモリ化VAEを使えるよう機能追加しました。
-
--vae_slices
オプションに数値を指定すると、省メモリ化VAEを用います。出力可能な最大サイズが大きくなりますが、遅くなります。16
または32
程度の値を指定してください。 - VAEの実装は
library/slicing_vae.py
にあります。
-
Updates on 7 May 2023, 2023/05/07
-
The documentation has been moved to the
docs
folder. If you have links, please change them. -
Removed
gradio
fromrequirements.txt
. -
DAdaptAdaGrad, DAdaptAdan, and DAdaptSGD are now supported by DAdaptation. PR#455 Thanks to sdbds!
- DAdaptation needs to be installed. Also, depending on the optimizer, DAdaptation may need to be updated. Please update with
pip install --upgrade dadaptation
.
- DAdaptation needs to be installed. Also, depending on the optimizer, DAdaptation may need to be updated. Please update with
-
Added support for pre-calculation of LoRA weights in image generation scripts. Specify
--network_pre_calc
.- The prompt option
--am
is available. Also, it is disabled when Regional LoRA is used.
- The prompt option
-
Added Adaptive noise scale to each training script. Specify a number with
--adaptive_noise_scale
to enable it.- Experimental option. It may be removed or changed in the future.
- This is an original implementation that automatically adjusts the value of the noise offset according to the absolute value of the mean of each channel of the latents. It is expected that appropriate noise offsets will be set for bright and dark images, respectively.
- Specify it together with
--noise_offset
. - The actual value of the noise offset is calculated as
noise_offset + abs(mean(latents, dim=(2,3))) * adaptive_noise_scale
. Since the latent is close to a normal distribution, it may be a good idea to specify a value of about 1/10 to the same as the noise offset. - Negative values can also be specified, in which case the noise offset will be clipped to 0 or more.
-
Other minor fixes.
-
ドキュメントを
docs
フォルダに移動しました。リンク等を張られている場合は変更をお願いいたします。 -
requirements.txt
からgradio
を削除しました。 -
DAdaptationで新しくDAdaptAdaGrad、DAdaptAdan、DAdaptSGDがサポートされました。PR#455 sdbds氏に感謝します。
- dadaptationのインストールが必要です。またオプティマイザによってはdadaptationの更新が必要です。
pip install --upgrade dadaptation
で更新してください。
- dadaptationのインストールが必要です。またオプティマイザによってはdadaptationの更新が必要です。
-
画像生成スクリプトでLoRAの重みの事前計算をサポートしました。
--network_pre_calc
を指定してください。- プロンプトオプションの
--am
が利用できます。またRegional LoRA使用時には無効になります。
- プロンプトオプションの
-
各学習スクリプトにAdaptive noise scaleを追加しました。
--adaptive_noise_scale
で数値を指定すると有効になります。- 実験的オプションです。将来的に削除、仕様変更される可能性があります。
- Noise offsetの値を、latentsの各チャネルの平均値の絶対値に応じて自動調整するオプションです。独自の実装で、明るい画像、暗い画像に対してそれぞれ適切なnoise offsetが設定されることが期待されます。
-
--noise_offset
と同時に指定してください。 - 実際のNoise offsetの値は
noise_offset + abs(mean(latents, dim=(2,3))) * adaptive_noise_scale
で計算されます。 latentは正規分布に近いためnoise_offsetの1/10~同程度の値を指定するとよいかもしれません。 - 負の値も指定でき、その場合はnoise offsetは0以上にclipされます。
-
その他の細かい修正を行いました。