Везде слышу что всё меняется с безумной скоростью, агенты уже вовсю решают почти весь пайплайн разработки.
Пока у меня всё обходилось только пользование LLM.
Тут недавно заводил тему и вот хочу что-то из проверенного и неустаревшего взять для того, что у себя на домашнем компе развернуть и попробовать обучить бытовым вещям типа:
отслеживать что у ребенка убрана кровать и тогда включать интернет в телефоне
или если кот подходит близко к клетке с хомяком включать громко в Алисе что-то пугающее его.
в общем самому обучиться и погрузиться.
по железу я так понял для моих целей ноута Apple среднего хватит для того чтобы крутить LLM такого типа?
а по самой LLM подскажите, что взять посоветуете?
Здравствуйте, merge, Вы писали:
M>Пока у меня всё обходилось только пользование LLM. M>Тут недавно заводил тему и вот хочу что-то из проверенного и неустаревшего взять для того, что у себя на домашнем компе развернуть и попробовать обучить бытовым вещям типа: M>отслеживать что у ребенка убрана кровать и тогда включать интернет в телефоне M>или если кот подходит близко к клетке с хомяком включать громко в Алисе что-то пугающее его.
Самое разумное изучить тему распознавания образов на картинках и видео с применением специализированных для этого нейронок. Это сейчас не сложно и есть куча готового и отлаженного (например тут гора такого https://roboflow.com/). Помучаешься только со сбором датасетов для своих задач.
А вот LLM не для твоих задач от слова совсем.
Здравствуйте, merge, Вы писали:
M>по железу я так понял для моих целей ноута Apple среднего хватит для того чтобы крутить LLM такого типа? M>а по самой LLM подскажите, что взять посоветуете?
M>в общем самому обучиться и погрузиться. M>по железу я так понял для моих целей ноута Apple среднего хватит для того чтобы крутить LLM такого типа? M>а по самой LLM подскажите, что взять посоветуете?
Сейчас надо быстро пробовать всё что попадается под руку, с использованием вайбкодинга, и брать в работу то, что лучше всего покажет себя на твоих сценариях.
Qwen 3.5 VL уже советовали. Ещё недавно вышли NVILA-HD-Video (понималка от NVidia) — она вроде быстрая, и при этом работает не с фото а с видео, т.е. по идее сможет отличить "кот идёт к хомяку" от "кот идёт мимо хомяка". А вообще каждую неделю выходят новые, лучше всех предыдущих, гуглить по Vision Language Models.
Ещё, если анализировать отдельные фотки с камеры а не видео, то часто задача что-то понять по картинке решается всякими photo/video captioning tool, которых множество. Они работают чуть в другую сторону — детально и многословно расписывают что видят на картинке. Следующим шагом из этой росписи вполне можно вытащить информацию для запуска каких-то сценариев.
Например, достаточно старой модели типа florence2, только расцензуренной, хватало чтобы понять человек в комнате сидит или стоит, мужчина или женщина, за столом или перед столом. И работала достаточно быстро, сценарии запускались без ощущения протормоза.
Если пойдёшь в эту сторону, то https://github.com/jhc13/taggui позволит быстро прикинуть возможности, и прямо в этой же программе поперебирать модели. Закидываешь в неё десяток фоток которые хочешь обрабатывать, и смотришь прямо там её ответы. Ещё у меня на диске валяется joycaption, размечал им множество фоток для обучения.
M>Тут недавно заводил тему и вот хочу что-то из проверенного и неустаревшего взять для того, что у себя на домашнем компе развернуть и попробовать обучить бытовым вещям
ты хочешь поиграться, или всерьез?
если поигаться — любая видяха на 24 гига, или твоё тормозное грызаное яблоко
если всерьез — гугли tesla v100 sxm2. тебе нужны 4 таких карты и объединительная плата с nvlink. далее, если ты не "вайтишник", разберешься. там всё просто
M>в общем самому обучиться и погрузиться. M>по железу я так понял для моих целей ноута Apple среднего хватит для того чтобы крутить LLM такого типа?
оперативы хватит. но генерить твоё грызаное яблоко будет раз в 10 медленнее, чем видяхи, про которые я сказал выше.
если ты хочешь обучать, а не инференсить, это принципиальный момент. тратить неделю или 2.5 месяца на обучение — выбор за тобой
M>а по самой LLM подскажите, что взять посоветуете?
нет универсальных моделей. вернее как.. есть, но они требуют 1+ tb видеопамяти.
изучай тему, далее сам подберешь
из того, что я выбрал как более-менее "унивесальное":
Saiga Gemma3 — лучший русский язык и вообще, пожалуй одна из лучших моделей, не требующих специфического железа.
google/gemma-3-27b — официальная llm от гугла. гемини не догоняет, но в спину дышит. если есть 24+ гб видеопамяти — пробуй.
zai-org/glm-4.7-flash — неплохая аналитика для 30b
если решишься на покупку теслы в100 х2-х4, то на этих студентов забей. твои варианты:
openai/gpt-oss-120b
MiniMax-M2.5 или 2.7
еще знаю, что хвалят квен 3.5. но мне не зашел.
буду вопросы по существу — задавай, постараюсь разжевать
ДОПОЛНЕНИЕ:
у всех моделей для работы, а не "поиграться", бери сжатие не хуже Q5. нет смысла брать Q4 ради 10-15% экономии
M>в общем самому обучиться и погрузиться. M>по железу я так понял для моих целей ноута Apple среднего хватит для того чтобы крутить LLM такого типа? M>а по самой LLM подскажите, что взять посоветуете?
Только вчера писал что изменения в этой области каждый день, а сегодня вышла Gemma 4 — её посмотри обязательно. Заявлено что умеет и рассуждать, и код писать, и фоточки смотреть и даже звук слушать. Причём даже мелкие модельки нового поколения по рейтингам бьют самую большую прошлую Gemma 3.
P.S. Ощущение как в прошлый компьютерный бум, когда буквально каждую неделю в игрожурах объявляли о выходе новых версий компьютерного железа.
Здравствуйте, merge, Вы писали:
M>по железу я так понял для моих целей ноута Apple среднего хватит для того чтобы крутить LLM такого типа? M>а по самой LLM подскажите, что взять посоветуете?
Обучать свою модель — забудь. Лучше пользоваться существующими и уже обученными (скармливать картинку и промпт, если по цвету заправленная кровать отличается от не заправленной то даже самая слабая нейронка такое поймет и ответит). Для решения в общем (не вдаваясь в описание что заправленная это такого цвета, в не заправленная-такого, что упрощает на порядки решение распознавания) — просто абстрактного ноута наверно мало (если он не для AI, то точно мало), но хватит видюхи уровня 3090 с 24GB видеопамяти, на таких средне мелкие модели достаточно эффективно работают.
— её посмотри обязательно. Заявлено что умеет и рассуждать, и код писать, и фоточки смотреть и даже звук слушать. Причём даже мелкие модельки нового поколения по рейтингам бьют самую большую прошлую Gemma 3. 
