Neyron tarmoq asoslari va uni chuqur o'rganish

Улучшенная разметка данных

Еще одним фактором эволюции и успеха глубоких сетей стало создание более крупных

5888. 
      лучше размеченных наборов данных, таких как MNIST и ImageNet6.
      

5888. 
      конце 1980-х и начале 1990-х годов усилиями Сеппа Хохрайтера и других уче-ных был достигнут значительный прогресс в моделировании последовательных данных с помощью рекуррентных нейронных сетей. Во второй половине 1990-х ученое сообщество создало улучшенные варианты искусственного нейрона (на-пример, долгая краткосрочная память [Long Short-Term Memory – LSTM] и память
      
5888. 
      вентилем забывания). В тиши исследовательских лабораторий по всему миру нейронные сети стали возрождаться к жизни.
      

На протяжении 2000-х годов достижения исследователей стали воплощаться в промышленные продукты7, например:

 беспилотные автомобили;
 Google Translate8;  Amazon Echo;  AlphaGo9.

5888. 
      беспилотных автомобилях, принимавших участие в конкурсе 2006 Darpa Grand Challenge, использовались многочисленные технологии, помимо глубоко-го обучения. Победители (команды Стэнфордского университета и университета Карнеги-Меллона) сумели воспользоваться серьезными достижениями в области обработки изображений.
      

Достижения в компьютерном зрении

0. 
   2012 году Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон разработали «большую глубокую сверточную нейронную сеть», победившую на конкурсе 2012 ILSVRC (ImageNet Large-Scale Visual Recognition Challenge).
   

Сеть AlexNet10 подавалась как достижение в области компьютерного зрения, и некоторые считают ее прорывом в применении глубокого обучения в этой сфере. Но на самом деле это масштабированный (более глубокий и широкий) вариант СНС, известных с 1990-х годов. Прогресс последних лет в компьютерном зрении связан не столько с новыми алгоритмами, сколько с улучшенными вычислительными средствами, данными и инфраструктурой.

Благодаря усовершенствованному анализу изображений подсистема планиро-вания в автомобиле может лучше выбирать маршрут движения по неизвестной местности и более надежно избегать препятствий. Другие достижения глубоко-го обучения позволяют модели правильнее переводить и распознавать звуковые данные, что нашло применение в линейках продуктов Google Translate и Amazon Echo. Совсем недавно мы видели, как машина играет в сложную игру на уровне

6

7

8

9
http://image-net.org/.

https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html.

https://translate.google.com/.

https://deepmind.com/research/alphago/.

0. 
   Krizhevsky, Sutskever and Hinton, 2012. ImageNet Classification with Deep Convolutional Neural Networks.
   

Определение глубокого обучения 87
мастера, – когда система AlphaGo победила Ли Седоля – профессионального игро-ка в го, имеющего девятый дан.

Прогресс машинного обучения не всегда виден. Публичное признание часто является результатом многих направлений работы, демонстрируемым в широ-ко разрекламированных мероприятиях, таких как конкурс Darpa Grand Challenge или победа программы Watson над Кеном Дженнигсом в телевизионной игре Jeopardy11. Тем временем за кулисами идет медленная, но неуклонная работа. Ее плоды, как и смену времен года, мы замечаем, только когда они перешагивают порог нашего дома.

0. 
   недалеком будущем мы станем свидетелями того, как глубокое обучение на-ходит новые необычные применения. Сочетание скрытого интеллекта (например, рекомендации или распознавание голоса) с прагматичной конструкцией сделает эти приложения полезными в повседневной жизни. Но вот чего мы, скорее всего, не увидим (по крайней мере, в ближайшем будущем), так это вышедших из-под контроля злобных искусственных агентов, которые выбрасывают нас из воздуш-ного шлюза в самое неподходящее время (вспомните о компьютере ЭАЛ 9000 из «Космической одиссеи 2001 года»).