Updates at 4 Feb. 2023, 2023/2/4

• --persistent_data_loader_workers option is added to fine_tune.py, train_db.py and train_network.py. This option may significantly reduce the waiting time between epochs. Thanks to hitomi!
• --debug_dataset option is now working on non-Windows environment. Thanks to tsukimiya!
• networks/resize_lora.py script is added. This can approximate the higher-rank (dim) LoRA model by a lower-rank LoRA model, e.g. 128 by 4. Thanks to mgz-dev!
  • --help option shows usage.
  • Currently the metadata is not copied. This will be fixed in the near future.
• --persistent_data_loader_workersオプションが fine_tune.py、 train_db.py、train_network.pyの各スクリプトに追加されました。このオプションを指定するとエポック間の待ち時間が大幅に短縮される可能性があります。hitomi氏に感謝します。
• --debug_datasetオプションがWindows環境以外でも動くようになりました。tsukimiya氏に感謝します。
• networks/resize_lora.pyスクリプトを追加しました。高rankのLoRAモデルを低rankのLoRAモデルで近似します（つまり128 rank (dim)のLoRAに似た、4 rank (dim)のLoRAを作ることができます）。mgz-dev氏に感謝します。
  • 使い方は--helpオプションを指定して参照してください。
  • 現時点ではメタデータはコピーされません。近日中に対応予定です。

Updates at 3 Feb. 2023, 2023/2/3

• Update finetune preprocessing scripts.

  • .bmp and .jpeg are supported. Thanks to breakcore2 and p1atdev!
  • The default weights of tag_images_by_wd14_tagger.py is now SmilingWolf/wd-v1-4-convnext-tagger-v2. You can specify another model id from SmilingWolf by --repo_id option. Thanks to SmilingWolf for the great work.
    • To change the weight, remove wd14_tagger_model folder, and run the script again.
  • --max_data_loader_n_workers option is added to each script. This option uses the DataLoader for data loading to speed up loading, 20%~30% faster.
    • Please specify 2 or 4, depends on the number of CPU cores.
  • --recursive option is added to merge_dd_tags_to_metadata.py and merge_captions_to_metadata.py, only works with --full_path.
  • make_captions_by_git.py is added. It uses GIT microsoft/git-large-textcaps for captioning.
    • requirements.txt is updated. If you use this script, please update the libraries.
    • Usage is almost the same as make_captions.py, but batch size should be smaller.
    • --remove_words option removes as much text as possible (such as the word "XXXX" on it).
  • --skip_existing option is added to prepare_buckets_latents.py. Images with existing npz files are ignored by this option.
  • clean_captions_and_tags.py is updated to remove duplicated or conflicting tags, e.g. shirt is removed when white shirt exists. if black hair is with red hair, both are removed.

• Tag frequency is added to the metadata in train_network.py. Thanks to space-nuko!

  • All tags and number of occurrences of the tag are recorded. If you do not want it, disable metadata storing with --no_metadata option.

• fine tuning用の前処理スクリプト群を更新しました。

  • 拡張子 .bmp と .jpeg をサポートしました。breakcore2氏およびp1atdev氏に感謝します。
  • tag_images_by_wd14_tagger.py のデフォルトの重みを SmilingWolf/wd-v1-4-convnext-tagger-v2 に更新しました。他の SmilingWolf 氏の重みも --repo_id オプションで指定可能です。SmilingWolf氏に感謝します。
    • 重みを変更するときには wd14_tagger_model フォルダを削除してからスクリプトを再実行してください。
  • --max_data_loader_n_workers オプションが各スクリプトに追加されました。DataLoaderを用いることで読み込み処理を並列化し、処理を20~30%程度高速化します。
    • CPUのコア数に応じて2~4程度の値を指定してください。
  • --recursive オプションを merge_dd_tags_to_metadata.py と merge_captions_to_metadata.py に追加しました。--full_path を指定したときのみ使用可能です。
  • make_captions_by_git.py を追加しました。GIT microsoft/git-large-textcaps を用いてキャプションニングを行います。
    • requirements.txt が更新されていますので、ライブラリをアップデートしてください。
    • 使用法は make_captions.pyとほぼ同じですがバッチサイズは小さめにしてください。
    • --remove_words オプションを指定するとテキスト読み取りを可能な限り削除します（the word "XXXX" on itのようなもの）。
  • --skip_existing を prepare_buckets_latents.py に追加しました。すでにnpzファイルがある画像の処理をスキップします。
  • clean_captions_and_tags.pyを重複タグや矛盾するタグを削除するよう機能追加しました。例：white shirt タグがある場合、 shirt タグは削除されます。またblack hairとred hairの両方がある場合、両方とも削除されます。

• train_network.pyで使用されているタグと回数をメタデータに記録するようになりました。space-nuko氏に感謝します。

  • すべてのタグと回数がメタデータに記録されます 望まない場合には--no_metadata optionオプションでメタデータの記録を停止してください。