Треним лоры для Klein-9b в режиме редактирования Klein-9b в режиме редактирования мне нравится больше, чем qwen-edit за счет большего реализма и меньшей деградации картинки после каждой генерации. Тренить будем в OneTrainer. В другом софте тоже можно, но полноценную поддержку в некоторые трейнеры еще не везде завезли. Установка OneTrainer поддержки klein еще нет в master ветке, поэтому так: git clone https://github.com/Nerogar/OneTrainer/ cd OneTrainer git fetch origin pull/1261/head:pr-1261 git switch pr-1261 install.bat Будем тренить поэтапно в разных разрешениях. 768 - основной этап, 1280 финальный этап. 768 - это довольно мало для двух склеенных картинок, потому нужен второй этап. Датасет: Собираем картинки до/после и переименовываем их по шаблону: 1_0.jpg, 1_1.jpg, 2_0.jpg, 2_1.jpg. где _0 - картинка "до", _1 - картинка "после". Расширение файла - любое. Соотношение сторон до-после должно быть одинаковым. Разрешение может быть разным, скрипт их заресайзит, если они разные. Мой датасет для лоры pov_hand - 30 пар картинок. Картинки частично настоящие, а частично - синтетика (фото с рукой настоящее, фото без руки - генерация в klein). Для того чтобы был именно режим редактирования картинок (image2image, а не text2image), нужно как-то приложить исходные картинки. В OneTrainer это делается через тренировку с масками (Masked training). Нужно склеить исходную и конечную картинки в одну и приложить дополнительно png файл с маской. Мой питон скрипт для склейки, создания маски и создания текстовых файлов с описанием: https://github.com/Mozer/comfy_stuff/blob/main/oneTrainer_configs/concat_and_masks_and_prompts.py Положить файл в папку с вашими переименованными картинками, изменить текстовый промпт внутри и запустить. После этого отредактируйте текстовые описания. Настройки OneTrainer - ключевое отличие от обычной тренировки - включить режим тренировки с масками на вкладке тренировка. Остальные настройки довольно стандартные. - для тренировки нужна именно базовая модель, дистиллят не подойдет. Чтобы скачать всю папку с HF выполните команду: mkdir FLUX.2-klein-base-9B cd FLUX.2-klein-base-9B huggingface-cli download black-forest-labs/FLUX.2-klein-base-9B --local-dir . Скорость Тренить будем в новом формате данных int8 (transformer data type int W8A8), он почти в 2 раза быстрее, чем fp8. На 3090, int8, batch size 1: 768 - 13.0 GB, 2.52 s/it 1280 - 16.0 GB, 9.18 s/it На 3060 не тестил, но должно влезть, хотя бы в формате nf4. Int8 будет быстрее, чем nf4, но тогда надо пробовать в меньшем разрешении, например в 720 или 512. Первые результаты можно заметить уже после 1500-2000 шагов, но придется увеличивать силу лоры в комфи. Я обычно тренирую 5000-6000 в разрешении 768, затем ещё 1000-2000 в разрешении 1280. Итого по времени выходит часов 6-8 на лору. Лору на персонажа/похожесть ещё не пробовал, но собираюсь. Моя POV hand лора для Klein-9b в режиме редактирования: https://civitai.com/models/2347738 Примеры генерации, слегка nsfw: https://t.me/+UzijD4bV1M8wODEy