whargarbl

Господи этот бред форсится на реддит активно, а сейчас увидел на дваче https://t.me/dvachannel/179505 Турбоквант - это очередной алгоритм упаковки и поиска близких векторов - векторные базы привет, сотни их Плюс типа упаковать компактнее, за счет перевода в более компактную систему координат Ничего принципиально нового вроде тут нет. Есть другие алгоритмы - например берут хеш от вектора кот сохраняет направление - далее адаптив радикс три и вперед https://github.com/recoilme/art - я даже начинал...

Короче, мой кленовый оптимизатор раздолбал модель в хлам https://github.com/recoilme/muon_adamw8bit Дело возможно в том, что если гптшки состоят из 2д матриц, то в диффузии полно сверток GLM сказал вообще не проблема, выпрямил матрички и поначалу трейн шел неплохо - гораздо бодрее Но в какой то момент сперва начали двоиться объекты, потом лосс начал незначительно расти Не придал этому значения и продолжил трейн. Кончилось всё тем что модель растренилась и трениться назад, кажется не собиралась (...

Всех с пятницей! Заканчиваю описание архитектуры и процесса создания/обучения модели Не то чтобы модель готова, но я уволился и не смогу в ближайшее время вливать бабки Веса/код/семплы + какой то драфт описания: https://huggingface.co/AiArtLab/sdxs-1b

Мы в телике https://www.reddit.com/r/StableDiffusion/comments/1s5bm0y/sdxs_a_1b_model_that_punches_high_model_on/

https://github.com/chenglou/pretext Во первых - это красиво!