|
Потоковая передача данных
Потоковые данные – это данные, непрерывно генерируемые тысячами
источников данных, которые обычно отправляют записи данных одновременно
и небольшими объемами (по несколько килобайтов). В состав потоковых данных
входят различные виды данных, например файлы журналов, сформированных
клиентами при использовании мобильных или интернет-приложений, покупки в
интернет-магазинах, действия игроков в играх, информация из социальных
сетей, финансовые торговые площадки и геопространственные сервисы, а также
телеметрические данные, полученные от подключенных устройств или
оборудования в ЦОД.
Эти данные должны быть обработаны последовательно и инкрементно
либо по каждой из записей, либо с использованием скользящего временного
окна, после чего их можно использовать в различных аналитических задачах,
включая корреляцию, агрегацию, фильтрацию и шаблонизацию. Информация,
полученная в результате подобного анализа, позволяет компаниям разобраться
187
во многих аспектах своей деятельности, например в использовании сервисов
(для задач учета/выставления счетов), активности серверов, навигации по веб-
сайтам, геолокации устройств, людей или товаров, и в результате быстро
реагировать на изменяющиеся условия. К примеру, компании могут отслеживать
изменения общественного настроя в отношении своих торговых марок и
продуктов за счет постоянного анализа потоков данных из социальных сетей, а в
случае необходимости принимать своевременные меры.
3.
Преимущества потоковой передачи данных
Обработка потоковых данных является предпочтительной для
большинства сценариев использования, подразумевающих непрерывное
формирование новых динамических данных. Обработка потоковых данных
применима в большинстве отраслевых сегментов и случаев использования,
подразумевающих обработку больших данных. Обычно компании начинают с
простых задач, например со сбора данных системных журналов, или с
элементарных вычислений, например с обновления минимумов и максимумов.
Затем эти задачи трансформируются в более сложную обработку, происходящую
в режиме, близком к реальному времени. Изначально приложения могут
обрабатывать потоки данных с целью формирования простых отчетов и
выполнения простых ответных действий, например активации сигнализации,
когда значения ключевых параметров выйдут за указанные границы. В итоге
этим приложениям приходится выполнять более сложные формы анализа
данных, например применять алгоритмы машинного обучения и достигать более
глубокого понимания ситуации на основании данных. С течением времени в этот
процесс также добавляются комплексные алгоритмы обработки потоков и
событий, например анализ временных окон для определения самых свежих
188
популярных кинофильмов, что позволяет получать еще более полезную
аналитическую информацию.
Когда разработчики используют потоковую передачу мультимедиа в своих
приложениях, значительно сокращается потребность в программировании для
конкретного формата. Как правило, приложение, которое должно получать
мультимедийные данные из файла или аппаратного источника, должно иметь все
сведения о формате данных и оборудовании устройства. Приложение должно
работать с подключением, передавать данные, выполнять все необходимые
преобразования данных, а также обеспечивать визуализацию данных или
хранение файлов. Так как каждый формат и устройство немного отличаются,
этот процесс часто является сложным и громоздким. Потоковая передача
мультимедиа, с другой стороны, автоматически согласовывает передачу и
преобразование данных из источника в приложение. Интерфейсы потоковой
передачи предоставляют единообразный и предсказуемый метод доступа к
данным и управления им, что позволяет приложению легко воспроизводить
данные независимо от их исходного источника или формата.
В следующих шагах показано, как реализовать потоковую передачу, с
аппаратного устройства в подготовленное к просмотру воспроизведение.
1.
источник данных видео, например DirectShow, предоставляет интерфейсы
потоковой передачи.
2.
Для обработки преобразования формата данных разработчик приложения
использует интерфейсы потоковой передачи мультимедиа.
3.
Разработчик приложения использует интерфейсы DirectDraw для
визуализации результирующих данных.
На
предыдущем
семинаре
мы
познакомились
с
механизмами,
обеспечивающими потоковую передачу данных между процессами в
операционной системе UNIX, а именно с pip'aMH и FIFO. Потоковые механизмы
достаточно просты в реализации и удобны для использования, но имеют ряд
существенных недостатков, Операции чтения и записи не анализируют
содержимое передаваемых данных.
Процесс, прочитавший 20 байт из потока, не может сказать, были ли они
записаны одним процессом или несколькими, записывались ли они за один раз
или было, например, выполнено 4 операции записи по 5 байт. Данные в потоке
никак не интерпретируются системой. Если требуется какая-либо интерпретация
данных, то передающий и принимающий процессы должны заранее согласовать
свои действия и уметь осуществлять ее самостоятельно.
Для передачи информации от одного процесса к другому требуется, как
минимум, две операции копирования данных: первый раз — из адресного
пространства передающего процесса в системный буфер, второй раз — из
системного буфера в адресное пространство принимающего процесса.
189
Процессы,
обменивающиеся
информацией,
должны
одновременно
существовать в вычислительной системе. Нельзя записать информацию в поток
с помощью одного процесса, завершить его, а затем, через некоторое время,
запустить другой процесс и прочитать записанную информацию.
Do'stlaringiz bilan baham: |
