Neyron tarmoq asoslari va uni chuqur o'rganish

Обратное распространение и мини-пакетный стохастический градиентный спуск
Orqaga tarqalish va mini-partiyali stokastik gradientning tushishi

5888. 
      главе 1 мы узнали о мини-пакетном варианте СГС, когда модель обучается сразу на нескольких примерах,а не по одному примеру за раз.Мини-пакеты используются и при обратном распространении в нейронных сетях для повышения качества обучения.
      

За кулисами мы вычисляем усреднение градиента по всем примерам из мини-пакета. Точнее, на прямом проходе с помощью матричных операций обсчитываются все при-меры для получения выходных откликов. А на обратном проходе для каждого слоя вычисляется средний градиент по слою. При такой реализации обратного распро-странения удается получить более точное приближение к градиенту и одновременно более полно задействовать возможности оборудования.
1-bobda biz GHS-ning mini-paketli versiyasi haqida bilib oldik, unda model bir vaqtning o'zida bir nechta misollarda emas, balki bir vaqtning o'zida bir nechta misollarda o'qitilayotganda, shuningdek, ta'lim sifatini oshirish uchun mini-paketlar neyron tarmoqlarda orqaga tarqalish uchun ishlatiladi.
Sahna ortida biz mini-paketdagi barcha misollar uchun gradientning o'rtacha qiymatini hisoblaymiz. Aniqroq, to'g'ridan-to'g'ri o'tish paytida, matritsa operatsiyalaridan foydalangan holda, barcha misollar chiqish javoblarini olish uchun hisoblanadi. Va har bir qatlam uchun qaytish dovonida qatlam ustidagi o'rtacha gradyan hisoblab chiqiladi. Orqaga surish yordamida gradientga aniqroq yaqinlashish va shu bilan birga uskunaning imkoniyatlaridan to'liq foydalanish mumkin.
Вторая зима ИИ: начало 1990-х
Ikkinchi qish SI: 1990 yillarning boshi

23. 
    конце 1980-х и начале 1990-х годов вовсю рекламировались такие технологии, как экс-пертные системы и LISP-машины, но ни те, ни другие не оправдали ожиданий. Фонд Стра-тегической инициативы в области компьютерной техники отказался продолжать финанси-рование по истечении этого цикла. Программа разработки компьютеров пятого поколения закончилась провалом.
    
24. 
    Ekspert tizimlari va LISP mashinalari kabi texnologiyalar 1980-yillarning oxiri va 90-yillarning boshlarida kuchli va asosiy reklama qilingan, ammo ularning ikkalasi ham kutilgan natijalarga erisha olmagan. Kompyuter texnologiyalari strategik tashabbuslari fondi ushbu tsikldan keyin moliyalashtirishni davom ettirishdan bosh tortdi. Beshinchi avlod kompyuterlarni ishlab chiqish dasturi muvaffaqiyatsiz tugadi.