[МФТИ] Профессия Data Engineer [Гайк Инанц, Олег Ивченко]

Robot · 6 Мар 2023

Почему Data Engineering?

Спрос
Спрос на квалифицированных инженеров

по обработке данных намного превышает предложение
Работа удаленно
Возможно работать как в офисе, так и удаленно
Математический барьер
Сильно ниже, чем в data science
Data engineering
– фундамент любой data-driven компании
Зарплаты
Одна из самых высоких заработных плат
Востребованность в будущем
Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством

Чем занимается Data Engineer:

собирает информацию о продукте и/или клиентах из разных источников
сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше
организовывает безопасное хранение данных, на основании которых принимаются

взвешенные бизнес-решения и создаются конкурентоспособные продукты

Для кого программа?

Для аналитиков
Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу
Для начинающих IT-специалистов
Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста
Для практикующих разработчиков
Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше

Какие компетенции вы получите:

Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python
Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения
Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере
Пользоваться распределенной файловой системой
Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать