X
Y
Z
0
0
0
0
1
0
1
0
0
1
1
1
Zamonaviy kompyuter texnalogiyalari vositalaridan foydalanish talabalarning
real elementlar va uskunalar hamda ularning elektron sxemalardagi jarayonlarni
o
’
rganish to
’
g
’
risidagi bilimlarini yanada oshirishi va chuqurlashtirishiga xizmat
qilishi kerak.
Adabiyotlar
1.
Егоров Е.Н., Ремпен И.С. Применение программного
прикладного пакета
Multisim
для моделирования радиофизических схем,
2008, 24с.
URL: http://www.sgu.ru/files/nodes/30844/MULTISIM.pdf
2.
Карлащук В.И. Электронная лаборатория на
IBM PC
. Программа
Electronics Workbench
и ее применение. –
М.: Изд. «Солон–Р», 2001. –
726 с.
ПЛАТФОРМА CASCADING ДЛЯ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ
С ИСПОЛЬЗОВАНИЕМ
MAPREDUCE
Саттаров М.А.
1
, Юлдашев А.
1
, Мусаев О.
2
1
Ассистент Самаркандский филиал Ташкентского университета
информационных технологий имени Мухаммада ал
-
Хоразмий
2
Преподаватель академического лицея при СамМИ
Для извлечения знаний из больших данных были разработаны и
предложены различные модели, программы, программное обеспечение,
аппаратные средства и технологии. Они пытаются обеспечить более точные
и надежные результаты для приложений больших данных. Тем не менее, в
такой среде может быть трудоемким и сложным выбор среди
многочисленных технологий. Фактически следует учитывать множество
параметров: технологическую совместимость, сложность развертывания,
стоимость, эффективность, производительность, надежность, поддержку и
риски безопасности. В этой статье
мы представляем обзор последних
технологий, разработанных для больших данных.
MapReduce
[1]
это
фреймворк,
состоящий
из
модели
программирования и ее реализации. Это один из первых важных шагов для
нового поколения инструментов управления и анализа больших
данных.
MapReduce
имеет интересное преимущество для приложений с большими
данными. Фактически, это упрощает обработку огромных объемов данных
благодаря своим эффективным и экономичным механизмам. Это позволяет
писать программы, которые могут поддерживать параллельную обработку.
140
Каскадная структура [2]
-
это богатый
Java API
, который предоставляет
множество компонентов для быстрой и экономичной разработки,
тестирования и интеграции приложений для больших данных.
Каскадирование имеет интересные преимущества.
Оно позволяет управлять
сложными запросами и обрабатывать сложные рабочие процессы в кластерах
Hadoop
. Он поддерживает масштабируемость, переносимость, интеграцию и
разработку через тестирование.
Этот
API
добавляет уровень абстракции в верхней части
Hadoop
, чтобы
упростить сложные запросы с помощью каскадной концепции. Фактически,
загруженные данные обрабатываются и разделяются рядом функций для
получения нескольких потоков, называемых потоками. Эти потоки образуют
ациклически ориентированные графы и могут
при необходимости
объединяться.
Сборка канала определяет поток, который будет проходить между
источниками данных (ответвления источника) и выходными данными
(ответвления приемника), которые подключены к каналу. Трубная сборка
может содержать один или несколько кортежей заданного размера.
Каскадный поток написан на
Java
и преобразован во время выполнения
в классические задания
MapReduce
. Потоки выполняются в кластерах
Hadoop
и основаны на следующем процессе:
Экземпляр потока
-
это рабочий процесс, который сначала считывает
входные данные из одного или нескольких отводов источника, а затем
обрабатывает их, выполняя набор параллельных или последовательных
операций, как определено сборкой канала. Затем он записывает выходные
данные в один или несколько отводов.
Tuple
представляет собой набор значений (например, запись базы
данных таблицы
SQL
), которые могут быть проиндексированы с помощью
полей и могут быть сохранены непосредственно в любом формате файла
Hadoop
в виде пары ключ / значение. Кортеж должен иметь сопоставимые
типы, чтобы облегчить сравнение кортежей. Для расширения ее
возможностей было добавлено много расширений, включая [3,4]:
•
Шаблон (
Pattern)
: используется для создания прогнозных приложений
для больших данных. Он предоставляет множество алгоритмов машинного
обучения и позволяет переводить документы
Predictive Model Markup
Language (PMML
) в приложения на
Hadoop.
•
Масштабирование (
Scalding)
: используется в качестве динамического
языка программирования для решения функциональных задач. Он основан на
языке Scala с простым синтаксисом. Это расширение создано и
поддерживается Twitter.
•
Cascalog
: позволяет разрабатывать приложения с использованием Java
или Clojure (динамический язык программирования, основанный на диалекте
Lisp). Он поддерживает специальные запросы, выполняя серию нескольких
заданий MapReduce для анализа различных источников (HDFS, баз данных и
141
локальных данных). Он обеспечивает более высокий уровень абстракции,
чем Hive или Pig.
•
Lingual
: предоставляет интерфейс ANSI
-
SQL для Apache Hadoop и
поддерживает быструю миграцию данных и рабочих нагрузок в и из Hadoop.
Благодаря Lingual легче интегрировать существующие инструменты бизнес
-
аналитики
и другие приложения.
Do'stlaringiz bilan baham: |