В итоге мы имеем универсальный швейцарский нож который работает действительно хорошо. Можно детектить свою кошку, делать подписи и таким образом получать промпты для генерации картинки которая вам понравилась (пример для FLUX), поиск, эмбеддинги, использовать как часть inpainting пайплайна (выделить объект, перерисовать своей любимой диффузионкой), даже просто классифицировать, удалять с изображений фон, делать OCR (кстати лучше, чем тессеракт и многие OCR API). Да ещё и простое дообучение, народ уже штампует свои LoRA. Это статья не про то, как авторы изобрели вундервафлю. Наоборот, они смогли упростить весь computer vision до одной функции ошибки, что меня очень впечатлило. Они получили крутую модель не потому, что закидали её данными, параметрами и сожжеными деньгами. Просто хорошо подумали, что хотят получить и как этого можно добиться. Что делает Florence-2 одной из немногих статей за год, особенно в CV, в которой сделали что-то нетипичное относительно текущей парадмигы. Да ещё и получили полезную для нас, работяг, модель. Скачивайте и играйтесь на HF.
В итоге мы имеем универсальный швейцарский нож который работает действительно…
Из этого канала
- #3274"""Bloomberg has reported that Microsoft is investigating whether data…
"""Bloomberg has reported that Microsoft is investigating whether data belonging to OpenAI - which it is a major investor in - has been used in an unauthorised…
- #3275"DeepSeek продолжает знатно всех будоражить. Спасибо китайцам, что всех…
"DeepSeek продолжает знатно всех будоражить. Спасибо китайцам, что всех расшевелили! Дарио Амодеи написал эссе про экспортный контроль:…
- #3276Сегодня немного в другую сторону. Y combinator выкатил свой список…
Сегодня немного в другую сторону. Y combinator выкатил свой список перспективных направлений, который они называют Request for Startups.
- #3272Когда данные готовы остается придумать как обучать модель. Нужно, чтобы модель…
Когда данные готовы остается придумать как обучать модель. Нужно, чтобы модель могла и читать текст, и писать текст, и квадратики с полигонами рисовать.
- #3271"В итоге они собирали такие типы обучающих примеров: 1. Captioning трех видов:…
"В итоге они собирали такие типы обучающих примеров: 1. Captioning трех видов: brief, detailed, more detailed. Задачи связанные с описанием изображения. 2.