Петрухнова Галина Викторовна

• Автор: студент группы бВМ-201 Хрюкин Денис Сергеевич
• Руководитель: Петрухнова Галина Викторовна
• Организация: ВГТУ
• Контакты: [phone]

Инженеры данных

• Чтобы воспользоваться большими данными, сначала их нужно достать, упорядочить и подготовить к анализу. Когда аналитика проведена, их нужно где-то хранить, чтобы при надобности поднять. Все это обеспечивает дата-инженер.

Инженеры данных
Кто такой дата-инженер

• Дата-инженер (Data Engineer) — это специалист, который собирает и обрабатывает большие данные, загружает их в модель для анализа, а затем организовывает их хранение и дальнейшее использование в бизнесе. Это представитель самой быстрорастущей профессии на рынке Data Science.

Чем занимается дата-инженер

• В процессе работы с данными дата-инженер присутствует на начальных и конечных этапах. Он занимается задачами, которые обозначают аббревиатурой ETL: достает данные (Extract), трансформирует и обрабатывает (Transform), загружает (Load). Его задача — организовать эти процессы в пайплайн («трубопровод», конвейерная последовательность обработки данных перед их загрузкой в модель), по которому будут двигаться потоки данных, чтобы их можно было использовать для принятия решений в компании. На конечном этапе работы с данными дата-инженер организует базу данных так, чтобы нужную информацию в любой момент можно было поднять и использовать снова.

Чем занимается дата-инженер

• Например, в локальной службе доставки еды задачей дата-инженера будет собрать и рассортировать данные о заказах, времени доставки, чеках клиентов. Затем он сортирует и оформляет эти данные так, чтобы ими было удобно пользоваться и они постоянно обновлялись. Далее эти данные анализирует дата-сайентист, чтобы получить ответы на вопросы бизнеса и помочь руководству или маркетингу принимать решения. К примеру о том, как обновить меню, удержать клиентов при помощи программ лояльности, повысить средний чек, оптимизировать работу курьеров.

Какие навыки нужны дата-инженеру

• Чтобы организовывать пайплайны для получения данных, нужно уметь работать с базами, иногда — писать сервисы для некоторых процессов, визуализировать данные. Вот список базовых навыков, которые нужны дата-инженеру: * Знать SQL (Structured Query Language — язык структурированных запросов). Нужен, чтобы составлять запросы для извлечения данных. * Программировать на Python, Java/Scala. Python пригодится в работе с таблицами, моделями, для создания веб-сервисов. На языках Java и Scala написаны все распространенные инструменты для работы с большими данными.

Какие навыки нужны дата-инженеру
* Знать инструменты для работы с большими данными (Apache Spark, Kafka, Hadoop, Apache Cassandra). * Знать типы баз данных (реляционные, колоночные), алгоритмов и структур для работы с ними. * Уметь пользоваться Docker. Это инструмент контейнеризации, с помощью которого можно упаковывать разработанные на локальном компьютере сервисы и разворачивать их на любом другом компьютере. * Работать с инструментами визуализации данных. Например, Tableau или ElasticSearch.
Откуда приходят в профессию

• В профессию дата-инженера можно прийти из аналитики, при этом неважно, айтишная она или нет. Например, не-айтишных аналитиков в дата-инженеры может привести желание автоматизировать работу с таблицами и отчетами. В сфере ИТ в дата-инженеры приходят специалисты, которые уже неплохо знают Python и хотят развиваться в технической специальности.

Зарплата

• По данным hh.ru, инженер данных неплохо зарабатывает даже в рамках IT-сферы.

*Junior зарабатывает 60 000–70 000 рублей. 
*Middle — от 70 000 до 140 000 рублей. Здесь аналитики уже делятся на продуктовых, маркетинговых и бизнес-аналитиков, оплата труда зависит от сложности задач.
*Senior и Teamlead в Москве: 140 000–190 000. Чуть меньше сумма в регионах — до 160 000. 

Достоинства профессии
* Одна из самых высоких заработных плат;
* Возможность работать как в офисе, так и удаленно;
* В отличии от других IT-профессий, нововведения в работе с данными появляются не так часто;
* Так как для изучения профессии нужно быть специалистом в нескольких средах, программах и языках программирования, очень легко сменить специальность;
* В большинстве компаний сотрудникам выдают абонементы в тренажерные залы и всячески помогают поддерживать ЗОЖ.
Недостатки профессии
* Очень высокий порог входа;
* Исключительно сидячая работа;
* Для обучения обязательно знать английский язык;
* Обязательно хорошее знание алгебры и информатики.
Заключение

• Профессия инженера данных, пусть и сложная, но явно стоит того, чтобы ей обучиться. Если вы понимаете, что в силах это сделать, и такая работа порождает интерес, то вам нужно изучать это дело!

Спасибо за внимание!