|
X
Y
Z
0
0
0
0
1
0
1
0
0
1
1
1
Zamonaviy kompyuter texnalogiyalari vositalaridan foydalanish talabalarning
real elementlar va uskunalar hamda ularning elektron sxemalardagi jarayonlarni
o’rganish to’g’risidagi bilimlarini yanada oshirishi va chuqurlashtirishiga xizmat
qilishi kerak.
Adabiyotlar
1.
Егоров Е.Н.,
Ремпен
И.С.
Применение программного
прикладного пакета Multisim для моделирования радиофизических схем,
2008, 24с. URL: http://www.sgu.ru/files/nodes/30844/MULTISIM.pdf
2.
Карлащук В.И. Электронная лаборатория на IBM PC. Программа
Electronics Workbench и ее применение. – М.: Изд. «Солон–Р», 2001. – 726 с.
ПЛАТФОРМА CASCADING ДЛЯ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ
С ИСПОЛЬЗОВАНИЕМ MAPREDUCE
Саттаров М.А.
1
, Юлдашев А.
1
, Мусаев О.
2
1
Ассистент Самаркандский филиал Ташкентского университета
информационных технологий имени Мухаммада ал-Хоразмий
2
Преподаватель академического лицея при СамМИ
Для извлечения знаний из больших данных были разработаны и
предложены различные модели, программы, программное обеспечение,
аппаратные средства и технологии. Они пытаются обеспечить более точные
и надежные результаты для приложений больших данных. Тем не менее, в
такой среде может быть трудоемким и сложным выбор среди
многочисленных технологий. Фактически следует учитывать множество
параметров: технологическую совместимость, сложность развертывания,
стоимость, эффективность, производительность, надежность, поддержку и
риски безопасности. В этой статье мы представляем обзор последних
технологий, разработанных для больших данных.
MapReduce
[1]
это
фреймворк,
состоящий
из
модели
программирования и ее реализации. Это один из первых важных шагов для
нового поколения инструментов управления и анализа больших данных.
MapReduce имеет интересное преимущество для приложений с большими
данными. Фактически, это упрощает обработку огромных объемов данных
благодаря своим эффективным и экономичным механизмам. Это позволяет
писать программы, которые могут поддерживать параллельную обработку.
140
Каскадная структура [2] - это богатый Java API, который предоставляет
множество компонентов для быстрой и экономичной разработки,
тестирования
и
интеграции
приложений
для
больших
данных.
Каскадирование имеет интересные преимущества. Оно позволяет управлять
сложными запросами и обрабатывать сложные рабочие процессы в кластерах
Hadoop. Он поддерживает масштабируемость, переносимость, интеграцию и
разработку через тестирование.
Этот API добавляет уровень абстракции в верхней части Hadoop, чтобы
упростить сложные запросы с помощью каскадной концепции. Фактически,
загруженные данные обрабатываются и разделяются рядом функций для
получения нескольких потоков, называемых потоками. Эти потоки образуют
ациклически ориентированные графы и могут при необходимости
объединяться.
Сборка канала определяет поток, который будет проходить между
источниками данных (ответвления источника) и выходными данными
(ответвления приемника), которые подключены к каналу. Трубная сборка
может содержать один или несколько кортежей заданного размера.
Каскадный поток написан на Java и преобразован во время выполнения
в классические задания MapReduce. Потоки выполняются в кластерах Hadoop
и основаны на следующем процессе:
Экземпляр потока - это рабочий процесс, который сначала считывает
входные данные из одного или нескольких отводов источника, а затем
обрабатывает их, выполняя набор параллельных или последовательных
операций, как определено сборкой канала. Затем он записывает выходные
данные в один или несколько отводов.
Tuple представляет собой набор значений (например, запись базы
данных таблицы SQL), которые могут быть проиндексированы с помощью
полей и могут быть сохранены непосредственно в любом формате файла
Hadoop в виде пары ключ / значение. Кортеж должен иметь сопоставимые
типы, чтобы облегчить сравнение кортежей. Для расширения ее
возможностей было добавлено много расширений, включая [3,4]:
• Шаблон (Pattern): используется для создания прогнозных приложений
для больших данных. Он предоставляет множество алгоритмов машинного
обучения и позволяет переводить документы Predictive Model Markup
Language (PMML) в приложения на Hadoop.
• Масштабирование (Scalding): используется в качестве динамического
языка программирования для решения функциональных задач. Он основан на
языке Scala с простым синтаксисом. Это расширение создано и
поддерживается Twitter.
• Cascalog: позволяет разрабатывать приложения с использованием Java
или Clojure (динамический язык программирования, основанный на диалекте
Lisp). Он поддерживает специальные запросы, выполняя серию нескольких
заданий MapReduce для анализа различных источников (HDFS, баз данных и
141
локальных данных). Он обеспечивает более высокий уровень абстракции,
чем Hive или Pig.
• Lingual: предоставляет интерфейс ANSI-SQL для Apache Hadoop и
поддерживает быструю миграцию данных и рабочих нагрузок в и из Hadoop.
Благодаря Lingual легче интегрировать существующие инструменты бизнес-
аналитики и другие приложения.
Do'stlaringiz bilan baham: |
