Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, gandjustas, Вы писали:
G>>Про нейронные сети активно заговорили (снова) после prisma (2016). Еще трех лет не прошло с начала бума.
N>Может быть только в России. И то больше не из-за Призмы, а после успеха FindFace. N>Но бум всё таки начался в 2011-2012 годах после побед в ImageNet и распознавании рукописных символов. Все поняли, что для распознавания объектов это будет революция. В 2014 году уже вышел UNet, как суперрешение для классификации медицинских снимков. В 2016 году маховик уже вертелся вовсю.
Проверил в google trends. Рост популярности нейронных сетей начался в 2015-2016 годах. До этого держалось все на одном уровне.
Как по России, так и по всему миру.
Здравствуйте, gandjustas, Вы писали:
G>Проверил в google trends. Рост популярности нейронных сетей начался в 2015-2016 годах. До этого держалось все на одном уровне. G>Как по России, так и по всему миру.
Почему стоит ориентироваться в этом вопросе на google trends, а не на реальные достижения и исследовательскую активность?
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, gandjustas, Вы писали:
G>>Проверил в google trends. Рост популярности нейронных сетей начался в 2015-2016 годах. До этого держалось все на одном уровне. G>>Как по России, так и по всему миру.
N>Почему стоит ориентироваться в этом вопросе на google trends, а не на реальные достижения и исследовательскую активность?
Потому что популярность лучше отражается в google trends. Реальные достижения, которые обеспечили популярность, появились за 10 лет до роста популярности.
Здравствуйте, gandjustas, Вы писали:
N>>Почему стоит ориентироваться в этом вопросе на google trends, а не на реальные достижения и исследовательскую активность? G>Потому что популярность лучше отражается в google trends. Реальные достижения, которые обеспечили популярность, появились за 10 лет до роста популярности.
Нет, реальные достижения, это как раз и победы в MNIST и ImageNet. Но посмотрим тренды: видно, что до 2012 года ничего не было, а с 2012 кривая по экспоненте пошла вверх. Поэтому всё таки 2012.
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, gandjustas, Вы писали:
N>>>Почему стоит ориентироваться в этом вопросе на google trends, а не на реальные достижения и исследовательскую активность? G>>Потому что популярность лучше отражается в google trends. Реальные достижения, которые обеспечили популярность, появились за 10 лет до роста популярности.
N>Нет, реальные достижения, это как раз и победы в MNIST и ImageNet. Но посмотрим тренды: видно, что до 2012 года ничего не было, а с 2012 кривая по экспоненте пошла вверх. Поэтому всё таки 2012.
Просто термина такого не было Сверточные сети были, а deep learning как раз в это время только начали говорить.
И? Нейросетями занимались давным давно, бумы случались регулярно. Но современный бум начался именно в 2012 году, я уже написал почему. Попробуй ориентироваться не на технический анализ (google trends), а на фундаментальный.
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Я бы не сказал что там произошел какойто скачок в алгоритмах. Произошел скачек в доступности железок для обучения сетей типа Тесл — и само железо подешевело, и в облаках можно арендовать железку на несколько часов для обучения вместо покупки многотысячедолларового аппарата в личное пользование. А алгоритмы и инвестиции — это уже следствие массового интереса.
Не, железки как раз вторичны, обучение по любому долго, а прогнать через сетку можно быстро на любом железе. Прорыв произошел, когда научились обучать сверточные сети для обработки изображений и те стали выдавать более-менее приемлимый результат на достаточно широком классе задач... Ну и понеслось. Поняли что тут что-то есть, стали появляться готовые фреймворки, куда только данные загоняй, облачные сервисы и все такое.
Здравствуйте, Nuzhny, Вы писали:
N>В алгоритмах, скорее в 90-х. Потом скачёк интереса к свёрточным сетям, а потом после этого скачка массой подтянули и алгоритмы.
Ага, примерно так...
N>Мне кажется, что сейчас многие пробуют эти сценарии наугад: сработает или нет. Инвестируют больше в нейросетевой подход, который часто не срабатывает. Читая многие резюме: поисследовали, построили красивые графики, но в продакшн не пошло. Применять умеют хуже, чем исследовать.
Там более забавный эффект. Во-первых, кое где таки срабатывает, вылезли очень интересные сценарии... А во-вторых, благодаря AI хайпу стало доходить, что многие вещи можно автоматизировать. Причем есть компании, которые занимались автоматизацией этих процессов десятки лет, без всяких сеток, но не могли достучаться до кастомеров и объяснить нафига все это надо. А тут кастомер сам попытался сделать это через AI, обломался, посмотрел кто на рынке молодец и сам пришел. Благодаря этому на рынке автоматизации небывалый подъем, который приписывается AI, и все довольны.
Как мне кажется, все закончится какой-нибудь комбинированной историей, когда сетки будут применяться ограниченно, на разных стадиях процесса, там где они реальную пользу приносят.
Здравствуйте, IB, Вы писали:
IB>Не, железки как раз вторичны,
Железки в данном случае первичны, потому что понизили входной порог и принески практически полезные сетки в массы. А дальше процесс уже сам себя начал поддерживать, формируя классический хайп.
IB> обучение по любому долго, а прогнать через сетку можно быстро на любом железе.
Ну так основное в НН это именно обучение.
IB> Прорыв произошел, когда научились обучать сверточные сети для обработки изображений
Сверточные сети научились давным давно (да и учится там нечему, идея проста как три копейки), а хайп попер буквально последние 2-3 года.
IB> и те стали выдавать более-менее приемлимый результат на достаточно широком классе задач... Ну и понеслось. Поняли что тут что-то есть, стали появляться готовые фреймворки
Заметь, фреймворки и инструменты обучающие, рантаймы мало кого волнуют.
Здравствуйте, vsb, Вы писали:
vsb>Я жду, когда блокчейн сдуется. Делаю обычную ERP-систему, по сути большой CRUD со всякими отчётами, интеграциями, в общем ничего особого. И меня начальник спрашивает, мол а можно нам как-то блокчейн туда засунуть, типа под блокчейн сейчас средства проще выбить. Маразматики, так их разэдак!
Ну и добавь в какую-нить таблицу без Update поле для хеша, пусть блокчейн там будет
Сообщение заговорено потомственным колдуном, целителем и магом в девятом поколении!
Модерирование или минусование сообщения ведет к половому бессилию, венерическим заболеваниям, венцу безбрачия и диарее!
Здравствуйте, IB, Вы писали:
IB>Здравствуйте, Ночной Смотрящий, Вы писали:
НС>>Я бы не сказал что там произошел какойто скачок в алгоритмах. Произошел скачек в доступности железок для обучения сетей типа Тесл — и само железо подешевело, и в облаках можно арендовать железку на несколько часов для обучения вместо покупки многотысячедолларового аппарата в личное пользование. А алгоритмы и инвестиции — это уже следствие массового интереса. IB>Не, железки как раз вторичны, обучение по любому долго, а прогнать через сетку можно быстро на любом железе.
Нет не на любом железе, можно прогнать нейронку, современные YOLO, SSD и прочие при работе с потоковым видео дают 0.2-0.3 кадров в секунду на Core i7, когда GPU-based приносило результат примерно в 5 кадров в секунду. И это обычный опыт, мы систему не тюнили еще лишь смотрели как быстро развернуть, и оценить потребности в железе. Заниматься тюнингом параметров сети, делать результат менее точным и за счет этого выигрывать в скорости, но при этом уменьшать acuracy нафиг никому не надо.
IB>Прорыв произошел, когда научились обучать сверточные сети для обработки изображений и те стали выдавать более-менее приемлимый результат на достаточно широком классе задач...
Если что CNN-ам уже примерно 30 лет почти (Yan LeCun и другие — http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf). И прорыв таки произошел во многом благодаря железу.
IB> Ну и понеслось. Поняли что тут что-то есть, стали появляться готовые фреймворки, куда только данные загоняй, облачные сервисы и все такое.
В рамках ML / CV каждая задача уникальна вероятно, например, object detection в помещении не тоже самое что и object detection в поле, и куча других примеров, где нужно помимо нейроночки еще уйму действий совершить, да и саму сеть настроить правильно. Поэтому я бы предостерег от категоричных утверждений — данные загоняй профит получай.
Здравствуйте, zubr, Вы писали:
IB>>Не, железки как раз вторичны, обучение по любому долго, а прогнать через сетку можно быстро на любом железе. Z>Нет не на любом железе, можно прогнать нейронку, современные YOLO, SSD и прочие при работе с потоковым видео дают 0.2-0.3 кадров в секунду на Core i7, когда GPU-based приносило результат примерно в 5 кадров в секунду.
Под железом я имел в виду железо для обучения, а не железо для работы готовой сети. Готовую сеть и раньше можно было загнать в DSP, специализированный сопроцессор или PLM при необходимости.
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Железки в данном случае первичны, потому что понизили входной порог и принески практически полезные сетки в массы. А дальше процесс уже сам себя начал поддерживать, формируя классический хайп.
Не, порог понизили не железки, а достаточное количество размеченных изображений. А будет сетка обучаться день или неделю — без разницы, это не критично на данном этапе.
НС>Сверточные сети научились давным давно (да и учится там нечему, идея проста как три копейки), а хайп попер буквально последние 2-3 года.
Да, потому что появились размеченные базы, на которых можно было играться.
НС>Заметь, фреймворки и инструменты обучающие, рантаймы мало кого волнуют.
Это уже следующий этап. Они облегчают порог вхождения и освоение новых областей применения.
Здравствуйте, zubr, Вы писали:
Z>Нет не на любом железе, можно прогнать нейронку, современные YOLO, SSD и прочие при работе с потоковым видео дают 0.2-0.3 кадров в секунду на Core i7, когда GPU-based приносило результат примерно в 5 кадров в секунду. И это обычный опыт, мы систему не тюнили еще лишь смотрели как быстро развернуть, и оценить потребности в железе. Заниматься тюнингом параметров сети, делать результат менее точным и за счет этого выигрывать в скорости, но при этом уменьшать acuracy нафиг никому не надо.
Речь не о видео, и как раз на этапе эксперимента качество никому не уперлось. Сначала делается POC на плохом качестве, потом решение дотачивают.
Z>Если что CNN-ам уже примерно 30 лет почти (Yan LeCun и другие — http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf). И прорыв таки произошел во многом благодаря железу.
Да им хоть 200 лет может быть, реально работать с ними стали относительно недавно, когда они стали приемлемый результат выдавать. Но выдавать результат они научились не сколько благодаря железу, сколько благодаря наличию размеченных баз и возможности с ними играться.
Z>В рамках ML / CV каждая задача уникальна вероятно, например, object detection в помещении не тоже самое что и object detection в поле, и куча других примеров, где нужно помимо нейроночки еще уйму действий совершить, да и саму сеть настроить правильно. Поэтому я бы предостерег от категоричных утверждений — данные загоняй профит получай.
Речь не об этом, а о том, что наличие готовых фреймворков, сильно облегчает порог вхождения в эту историю, что в свою очередь порождает хайп.
Здравствуйте, IB, Вы писали:
IB>Не, порог понизили не железки, а достаточное количество размеченных изображений. А будет сетка обучаться день или неделю — без разницы, это не критично на данном этапе.
А если день и год?
Понимаешь какое дело — подбор и обучение сети процесс итерационный и интерактивный. Но если каждая итерация занимает много времени, то процесс начинает терять практический смысл.
Здравствуйте, IB, Вы писали:
IB>Здравствуйте, zubr, Вы писали:
Z>>Если что CNN-ам уже примерно 30 лет почти (Yan LeCun и другие — http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf). И прорыв таки произошел во многом благодаря железу. IB>Да им хоть 200 лет может быть, реально работать с ними стали относительно недавно, когда они стали приемлемый результат выдавать. Но выдавать результат они научились не сколько благодаря железу, сколько благодаря наличию размеченных баз и возможности с ними играться.
GPU начались примерно в 2007, в 2009 появился ImageNet, после чего конечно же случился прорыв.
И экспериментировать стало удобно как раз во многом благодаря железу.
Конечно размеченные базы важны, и здесь вопрос курицы и яйца.
Спорить бесполезно, но сидеть и смотреть как ты делаешь train на батче в течении часа не так весело, как ты за пару часиков обучил сеть и можешь сравнивать.
Здравствуйте, Shmj, Вы писали:
S>Заметили ли вы, что тренд не найронные сети держится уже несколько лет и ожидаемого сдутия, как с NoSQL — не происходит
S>Похоже таки там что-то есть.
Нет никаких "найронных сетей", просто новое слово придумали.
Сверточные сети были, а deep learning как раз в это время только начали говорить.
Мы уже победили, просто это еще не так заметно...
