Лекция Данные. Подходы и определения данных

 
 

---

Оператор Map 
Этот оператор известен во многих языках программирования под 
различными именами, кроме Map используется также названия Select и 
Transform.
В простейшем случае Map создаёт из переданной ему функции и 
упорядоченного набора данных другой упорядоченный набор данных, в 
котором каждый элемент является значением функции от соответствующего 
элемента исходного набора данных. 
Существуют расширения оператора Map на несколько наборов данных, 
при этом функция должна быть определена от соответствующего количества 
элементов. Возвращается набор данных, элементы которого являются 
значениями функции от соответствующих наборов. При этом есть два способа 
определить поведение расширенного оператора Map в случае различия в 
размерах передаваемых наборов данных – либо результирующий набор имеет 
размер равный размеру наименьшего набора из передаваемых, либо размеру 
максимального, при этом функции передаются неопределённые значения.
Лямбда-архитектура 
Архитектура, позволяющая проводить работу с данными при помощи 
эквивалентных алгоритмов одновременно в пакетном режиме и в реальном 
времени. Аналитика в реальном времени может быть неточной, выполнятся в 
оперативной памяти, но предоставляться быстро. Расчеты в пакетном режиме 
обеспечивают хранение полученных результатов и выдают достоверные 
данные, но выполняются долго.
 
Литература: 
1.
Радченко И. А., Николаев И. Н. Технологии и инфраструктура Big 
Data. – СПб: Университет ИТМО, 2018. – 52с. 
Контрольные вопросы: 
1. Приведите пример ассоциативной, но не коммутативной функции, 
определённой на множестве целых чисел. 
2. Приведите пример коммутативной, но не ассоциативной функции, 
определённой на множестве целых чисел. 
3. Какой тип данных может возвращать оператор свёртки, примененный 
к начальному значению, функции и набору данных? 
4. В каком случае свёртка данных неэффективна?
5. Какой тип данных возвращает оператор Map примененный к функции 
и набору данных? 

---

6. Какая обработка данных обеспечивает более высокую достоверность 
результатов – в реальном времени или в пакетном режиме? 

---