Big Data Analytics Введение Зрелов П. В. Лаборатория информационных технологий оияи

Big Data Analytics
Traditional data mining and mining of Big Data

Big Data Analytics Задачи

• Классификация — отнесение входного вектора (объекта, события, наблюдения) к одному из заранее известных классов.
• Кластеризация — разделение множества входных векторов на группы (кластеры) по степени «похожести» друг на друга.
• Сокращение описания — для визуализации данных, лаконизма моделей, упрощения счета и интерпретации, сжатия объемов собираемой и хранимой информации.
• Ассоциация — поиск повторяющихся образцов. Например, поиск «устойчивых связей в корзине покупателя» (market basket analysis) — вместе с пивом часто покупают орешки.
• Прогнозирование
• Анализ отклонений — например, выявление нетипичной сетевой активности позволяет обнаружить вредоносные программы.
• Визуализация

Классификация и предсказание (classification and prediction) Пример – целенаправленный найм (focused hiring)

• Классификация и предсказание (classification and prediction) Пример – целенаправленный найм (focused hiring)
• Кластерный анализ (cluster analysis)

Пример – сегментирование рынка

• Анализ выбросов (outlier analysis)

Пример – обнаружение мошенничества

• Анализ скрытых закономерностей (association analysis)

Пример – анализ рыночной корзины

• Эволюционные алгоритмы (evolution analysis, genetic algorithms)

Пример – прогнозирование индекса фондового рынка с помощью анализа временных рядов

Big Data Analytics Методы и примеры

Data Mining для анализа финансовых данных Проектирование и строительство хранилищ данных для многомерного анализа данных и Data Minig Прогнозирование платежей по кредиту и анализ кредитной политики Классификация и кластеризация клиентов для целевого маркетинга Выявление случаев отмывания денег и других финансовых преступлений Интеллектуальный анализ данных для розничной торговли