Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
Лучше колымить в Гондурасе, чем гондурасить на Колыме.
Здравствуйте, Tai, Вы писали:
Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
Потому что прогресс шел, технологии развивались и понадобилось "распознавание картинок, логические игры, беспилотные машины"
Здравствуйте, Tai, Вы писали:
Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
потому что мощности "ПК" позволили то ли ещё будет ..
скоро научат компьютер петь и синтезировать музыку (надеюсь) — и будете слухать мелодии из рая .. (если как в AlphaZero смогут забацать, когда нибудь)
я собственно ещё 17-18 назад предсказывал что начиная "с эквивалента 15 GHz" суммарной мощности процессора ПК пойдёт развитие ИИ ранее не виданное .. (или по крайней мере вскоре)
ибо есть всё же разница — ждать тренировки нейросети год или месяц или день и т.д., очевидно что год ждать никто не будет — да и месяц тоже очень сомнительно, ибо затруднительно при таком длинном цикле — отлаживать и вносить изменения .. (но по крайней мере работы серьёзные уже могут начать вестись)
а сейчас нейросетка на GTX 1080 тренируется около суток вроде (по рассказам сбера, если не ошибаюсь) — для синтеза голоса ..
Здравствуйте, The Minister, Вы писали:
Tai>>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
TM>Потому что прогресс шел, технологии развивались и понадобилось "распознавание картинок, логические игры, беспилотные машины"
это давно уже надобилось, — подходящих вычислительных ресурсов для этого не было .. я ещё удивлялся лет 15 назад — чего все автобусы не автоматизируют, или по крайней мере — не пытаются это делать ..
оказывается проблема распознавания образов — тогда препятствовала этому в корне ..
возвращаясь к исходной теме, — ну и конечно вроде как в самих алгоритмах — прорывы какие то были (в последние 10 летие особенно, ближе к чуть ранее середины вроде основные)
Здравствуйте, xma, Вы писали:
xma>потому что мощности "ПК" позволили то ли ещё будет ..
А ещё появилось много данных. Раньше датасет для обучения детекции лиц размером в несколько тысям сэмплов казался огромным и каскады Хаара тренировались на нём неделю и больше. А теперь такой датасет будет размером не меньше миллиона сэмплов.
xma>скоро научат компьютер петь и синтезировать музыку (надеюсь) — и будете слухать мелодии из рая .. (если как в AlphaZero смогут забацать, когда нибудь)
Появляется: раз, два, три, четыре. Музыка — это же чистая математика, синтезируют давно, но не знаю, насколько хорошо — не специалист. Или ты ещё и про вокал?
xma>а сейчас нейросетка на GTX 1080 тренируется около суток вроде (по рассказам сбера, если не ошибаюсь) — для синтеза голоса ..
GShard enabled us to scale up multilingual neural machine translation Transformer model with Sparsely-Gated Mixture-of-Experts beyond 600 billion parameters using automatic sharding. We demonstrate that such a giant model can efficiently be trained on 2048 TPU v3 accelerators in 4 days to achieve far superior quality for translation from 100 languages to English compared to the prior art.
Здравствуйте, Tai, Вы писали:
Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины)
Потому что он реально работает и приносит реальную пользу.
Tai>хотя что там конкретно внутри — никто не знает.
Знает на том уровне, что известны принципы и законы. Но конечное решение получается таким сложным, что функция каждого "винтика" не известна. Но должна ли быть известна? Мы в точности не знаем, как устроены растения, но успешно их выращиваем.
Здравствуйте, Nuzhny, Вы писали:
xma>>скоро научат компьютер петь и синтезировать музыку (надеюсь) — и будете слухать мелодии из рая .. (если как в AlphaZero смогут забацать, когда нибудь)
N>Музыка — это же чистая математика, синтезируют давно, но не знаю, насколько хорошо — не специалист.
проблема в том чтобы синтезировать самую офигенную музыку во Вселенной (но для начала конечно хотя бы человеческого уровня текущего, т.к. вроде как пока и этого нету)
никто не верит, но я помню музыку из рая и текущий музон доступный — просто тыква на пеньках ложками по сравнению с ним ..
N>Или ты ещё и про вокал?
вокал не обязательно, но если научатся одно — то думаю дойдут и до вокала
xma>>а сейчас нейросетка на GTX 1080 тренируется около суток вроде (по рассказам сбера, если не ошибаюсь) — для синтеза голоса ..
N>Не всегда и не везде: N>We demonstrate that such a giant model can efficiently be trained on 2048 TPU v3 accelerators in 4 days ..
ну это понятно, но суть в том что точкой отсчёта оказалось как раз время выхода на порядок более мощных домашних систем чем на то время Athlon XP'шные системы, т.к. суперкомпьютеры того времени или использовались для более актуальных задач, или иным образом что то служило ограничивающим фактором, например в виду отсутствия достаточной массовости доступа к подобным ресурсам ..
Здравствуйте, Tai, Вы писали:
Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
Потому что это направление усиленно финансируют, т.к. оно создаёт запрос на вычислительные мощности и железо. Т.к. обычным прикладным задачам существующих мощностей блоее чем достаточно и улучшать текущее железо всё сложнее, приходится искать новые напрвления развития и вот DL как раз одно из них. Оно позволяет еще какое-то время впаривать новые мощности.
Здравствуйте, kov_serg, Вы писали:
Tai>>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает. _>Потому что это направление усиленно финансируют, т.к. оно создаёт запрос на вычислительные мощности и железо. Т.к. обычным прикладным задачам существующих мощностей блоее чем достаточно и улучшать текущее железо всё сложнее, приходится искать новые напрвления развития и вот DL как раз одно из них. Оно позволяет еще какое-то время впаривать новые мощности.
Ну таки благодаря DL появился существенно новый вид программ, типа голосовых помощников а-ля Алиса(nlp) и автопилоты(cv).
В этом реально поучаствовали нейронки -- было стала. Т.е. можно и по-другому, наверное, но нейронки это SOTA сейчас.
Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
Почему это никто не знает?
Все знают — математика там.
Вероятность, статистика, алгебра, функции многих переменных, частные производные, нечеткая математика и логика.
Ну, и эвристики: генетические алгоритмы, алгоритмы другие живой природы и т.п.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, Tai, Вы писали:
Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
Потому, что работает. Как именно работает, на самом деле, понятно — нейронные сети просто распознают шаблоны.
Здравствуйте, Cyberax, Вы писали:
C>Здравствуйте, Tai, Вы писали:
Tai>>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает. C>Потому, что работает. Как именно работает, на самом деле, понятно — нейронные сети просто распознают шаблоны.
Всё еще проще. Сейчас взлетели только сверточные сети. В них по сути нелинейная функция с очень большим количеством переменных и для нее есть эффективная реализация градиентного спуска.
Дальше тупо на большом количестве данных запускается этот градиентный спуск и он находит локальный минимум функции. Всё, нейронка обучена.
Получили некую неусточвую хрень — при малом измении входных данных получаем большие изменения в результате.
Gо причине собственно вида функции и локального минимума нейронки легко обманываются добавляением небольших искажений в данные.
Но, да, самое удивительное, что во многих ситуациях это работает.
То бишь, что там внутри не знает только ну совсем ленивый и тупой, а вот почему такая простая хрень работает — вот это удивительно.
Здравствуйте, Vzhyk2, Вы писали:
V>Получили некую неусточвую хрень — при малом измении входных данных получаем большие изменения в результате. V>Gо причине собственно вида функции и локального минимума нейронки легко обманываются добавляением небольших искажений в данные.
С этим тоже всё более успешно борятся — Adversarial machine learning.
V>Но, да, самое удивительное, что во многих ситуациях это работает. V>То бишь, что там внутри не знает только ну совсем ленивый и тупой, а вот почему такая простая хрень работает — вот это удивительно.
Здравствуйте, Nuzhny, Вы писали:
N>С этим тоже всё более успешно борятся — Adversarial machine learning.
В простом народе называется — костыли. Пока не докажут, что существует некий глобальный минимум и извращениями над градиентным спуском его находят, до тех пор будут костыли.
Но могу сказать тебе заранее, что такого глобального минимума не существует. Но достаточно доказать, что у весов нейронки существует некая область глобального минимума и если градиентный спуск туда доходит, то будет работать правильно (после нужно придумать алгоритм нахождения этой области и быстрый).
Но пока неустойчивость нейронок говорит о том, что всё гораздо хуже и вообще странно что оное работает. Хотя бы по тому, что есть гигансткая проблема переобучения нейронок.
V>>То бишь, что там внутри не знает только ну совсем ленивый и тупой, а вот почему такая простая хрень работает — вот это удивительно. N>Не удивительно.
Ну расскажи почему не удивительно. Для меня удивительно.
Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.
на HN видел статью, ссылку не могу найти
суть примерно в том, что тренировка сети — это в некотором роде задача оптимизации. нейросети в последние годы стали просто огромными — т.е. задача превратилась в оптимизацию в пространстве с огромным количеством измерений. а в таких пространствах математика немного другая — оптимизация дается чрезвычайно легко
сам ничо не понимаю, поэтому могу переврать
буду благодарен, если кто кинет ссылку
поэтому я и не занимаюсь DL, хоть это и штука очевидно полезная — для всех кроме ученых там ничего алгоритмического, просто администрирование огромного объема данных
Здравствуйте, Vzhyk2, Вы писали:
V>В простом народе называется — костыли. Пока не докажут, что существует некий глобальный минимум и извращениями над градиентным спуском его находят, до тех пор будут костыли. V>Но могу сказать тебе заранее, что такого глобального минимума не существует. Но достаточно доказать, что у весов нейронки существует некая область глобального минимума и если градиентный спуск туда доходит, то будет работать правильно (после нужно придумать алгоритм нахождения этой области и быстрый). V>Но пока неустойчивость нейронок говорит о том, что всё гораздо хуже и вообще странно что оное работает. Хотя бы по тому, что есть гигансткая проблема переобучения нейронок.
Наоборот — всё понятно: почему работает, почему неустойчиво и что можно сделать, чтобы было устойчивей. Никто не думает о чёрном ящике, о том, что текущие нейросетки — это подобие ИИ. Кажется, что всё достаточно приземлённо.
V>Ну расскажи почему не удивительно. Для меня удивительно.
Тогда скажи, что именно тебя в этом удивляет. Какая часть сети по распознаванию, например, или сегментации является загадкой. Свёртки? Полносвязные слои? Что?
Здравствуйте, Je suis Mamut, Вы писали:
JSM>поэтому я и не занимаюсь DL, хоть это и штука очевидно полезная — для всех кроме ученых там ничего алгоритмического, просто администрирование огромного объема данных
Я работаю около, фактически являюсь пользователем: беру готовый фреймворк, готовую архитектуру, а там дальше уже дообучить под себя, интегрировать фреймворк к себе в систему, сделать максимально параллельный пайплайн, оптимизировать всё вокруг. Там пока что достаточно и чисто алгоритмических задач, которые нейросети не могут оптимально (пока не могут?) взять на себя: банальный NMS, трекинг, многокамерность, 3D компьютерное зрение и т.д.
JSM>>поэтому я и не занимаюсь DL, хоть это и штука очевидно полезная — для всех кроме ученых там ничего алгоритмического, просто администрирование огромного объема данных
N>Я работаю около, фактически являюсь пользователем: беру готовый фреймворк, готовую архитектуру, а там дальше уже дообучить под себя, интегрировать фреймворк к себе в систему, сделать максимально параллельный пайплайн, оптимизировать всё вокруг. Там пока что достаточно и чисто алгоритмических задач, которые нейросети не могут оптимально (пока не могут?) взять на себя: банальный NMS, трекинг, многокамерность, 3D компьютерное зрение и т.д.
ну под "там" я имел ввиду внутри, конечно, а не вокруг
если меня, например, возьмут какую-то вебню прикручивать к DL — пойду с удовольствием
Здравствуйте, Nuzhny, Вы писали:
N>Тогда скажи, что именно тебя в этом удивляет. Какая часть сети по распознаванию, например, или сегментации является загадкой. Свёртки? Полносвязные слои? Что? V>То бишь, что там внутри не знает только ну совсем ленивый и тупой, а вот почему такая простая хрень работает — вот это удивительно.
то ли ещё будет .. 
(если как в AlphaZero смогут забацать, когда нибудь)
