Здравствуйте, Nikе, Вы писали:

N>Это всё мизерные рюшечки, тот же CNN лично я вывел сам в юности зная про нейронки в объёме перцептрона 60х, как и DL был довольно таки очевиден — каким-то алгоритмическим мегапрорывом его сложно считать. Появились мощные компы — появилась возможность играть с обучением сложных нейронок.
N>Пофиг на эмпирически подобранные функции, покажи новые способы поиска оптимумов.

Если ты игрался с нейронками, то должен понимать, что глубокий многослойный полносвязный перцептрон обучить невозможно. Градиенты затухают по экспоненте...
Так что прорыв именно в том, что придумали такие глубокие архитектуры, которые можно обучить.

Если тебе интересны алгоритмические прорывы, то, например смотри на дропуат