JavaScript для глубокого обучения 2021 TensorFlow js Ббк

273
Листинг 6.20.
Создание графика признака относительно индекса с помощью модуля tfjs-data
Представьте себе разбиение подобного набора данных на обучающие и кон­
трольные данные: 500 первых примеров — на обучающие данные, а остальное — на 
контрольные. Что получится? Исходя из вышеописанного, обучение будет проис­
ходить на данных из одной географической области, а контроль — на данных из 
другой. Блок 
Longitude
(Долгота) на рис. 6.3 демонстрирует суть проблемы: долгота 
первых примеров данных намного выше (западнее), чем остальных. Вероятно, при­
знаки несут немалый объем полезного сигнала, так что в какой­то мере модель будет 
«работать», но ни о какой безошибочности или высоком ее качестве, как в случае 
настоящих IID­данных, говорить не приходится. Если не учесть этого нюанса, 
можно потратить дни или недели на эксперименты с различными моделями и ги­
перпараметрами, прежде чем догадаться взглянуть на данные!
Как исправить эту ситуацию? В данном конкретном случае все просто. Чтобы 
разрушить зависимость между данными и индексом, достаточно лишь перетасо­
вать данные в случайном порядке. Впрочем, нужно учесть один нюанс. У объектов 
Dataset
TensorFlow.js есть встроенная 
потоковая оконная
функция перетасовки. Это 
значит, что примеры данных перетасовываются случайным образом в пределах окна 
фиксированного размера, но не далее. Дело в том, что объекты 
Dataset
библиотеки 
TensorFlow.js производят потоковую обработку данных и поток может состоять из 
бесконечного числа примеров. Чтобы перетасовать бесконечный источник данных, 
придется дождаться его завершения.
Можем ли мы обойтись этой потоковой оконной перетасовкой для нашего при­
знака долготы? Конечно, если нам известен размер набора данных (17 000 в данном 
случае), можно просто задать размер окна больше этого значения, и все в порядке. 
При очень больших размерах окон оконная перетасовка эквивалентна обычной пол­
ной перетасовке. Если же размер набора данных неизвестен или неприемлемо велик 

---

274