Лекция Данные. Подходы и определения данных

Лекция 6. Программные платформы и системы для Больших 
данных. Оборудование для обработки Больших данных 
В настоящее время используется значительное количеств платформ и 
систем Больших данных. Системы обработки больших данных являются 
фреймворками
, то есть каркасами, для использования которых необходимо 
состыковать их с другими фреймворками, прикладным программным 
обеспечением пользователя и системой хранения данных.
В аналитическом отчёте Big Data Analytics Market Study, 2017 Edition 
приводится следующая диаграмма инфраструктур Больших данных, 
внедренных на предприятиях, представленная в разрезе размеров предприятий 
(рис. 1).
Рисунок 1 – Инфраструктуры Больших данных в разрезе размера 
предприятий 
Большинство используемых платформ доступно по лицензии Apache и 
расположены на сайте фонда программного обеспечения Apache.
Системы управления потоками данных: Flume, Apache Kafka, Niagara 
Files. 
Системы хранения Больших данных: HDFS (Hadoop Distributed File 
System), OpenStack Swift, Cassandra, HBase, Apache Drill, SQL интерфейс к 

---

NoSQL базам данным (HBase, MongoDB, MapR-DB, HDFS, MapR-FS, Amazon 
S3, Azure Blob Storage, Google Cloud Storage, Swift, NAS and local files). 
Платформы Больших данных: Hadoop, Spark, Elasticsearch, Solr, 
Hortonworks Data Platform (HDP), Windows Azure HDInsight.
Обработка данных в реальном времени: Apache Storm, Apache Spark, 
Apache Samza. 
Системы управления Большими данными: Ambari, Atlas, Cloudbreak, 
Knox, Ranger.
Система обеспечения безопасности данных на платформе Hadoop: 
ZooKeeper.
Аналитические платформы: RapidMiner, KNIME, Qlik Analytics Platform, 
STATISTICA Data Miner, IBM Watson Analytics, Dell EMC Analytic Insight 
Module, SAP Predictive Analytics, Oracle Big Data Preparation.