Neyron tarmoq asoslari va uni chuqur o'rganish

Биологические корни

Биологические корни СНС – зрительная кора головного мозга животных13. Каждая клетка зрительной коры чувствительна к небольшому участку входного сигнала, который называется рецептивным полем. В совокупности эти небольшие участки покрывают все поле зрения. Клетки хорошо приспособлены для выявления силь-ной пространственной корреляции, присутствующей в изображениях, обрабаты-ваемых мозгом, и играют роль фильтров, применяемых к пространству входов.

0. 
   этой области мозга есть клетки двух видов. Простые клетки возбуждаются, когда обнаруживают паттерны, похожие на границы, а более сложные имеют большее рецептивное поле и инвариантны относительно положения паттерна.
   

0. 
   Gehring et al., 2016. A Convolutional Encoder Model for Neural Machine Translation // https:// arxiv.org/abs/1611.02344.
   
1. 
   Nogueira dos Santos and Gatti, 2014. Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts // http://www.aclweb.org/anthology/C14-1008.
   
2. 
   Eickenberg et al., 2017. Seeing it all: Convolutional network layers map the function of the human visual system // http://www.sciencedirect.com/science/article/pii/S1053811916305481.
   

Сверточные нейронные сети (СНС)  119
Интуитивное описание

Многослойные нейронные сети прямого распространения принимают на входе один одномерный вектор и преобразуют данные с помощью одного или несколь-ких скрытых слоев (полносвязных). Затем результат снимается с выходного слоя. Проблема такой сети в применении к изображениям состоит в том, что сеть плохо масштабируется. Рассмотрим, к примеру, моделирование набора данных CIFAR-10 (см. врезку ниже). Он состоит из изображений 32 × 32 пикселя с тремя цветовыми каналами.В результате получается 3072 веса на один нейрон первого скрытого слоя,

0. 
   нам, наверное, хотелось бы иметь в этом слое побольше одного нейрона. А зачас­ тую и слоев должно быть несколько, и тогда количество весов перемножается.