Научитесь разрабатывать архитектуру данных и освоите проектирование пайплайнов. Узнаете, как создавать витрины и хранилища. Добавите в портфолио 9 проектов.
- Бесплатный вводный курс. Простая витрина данных. Устроитесь на работу в IT-компанию как начинающий инженер данных и попробуете выполнить своё первое задание — получите от лида требования и построите по ним витрину данных.
- Актуализация модели данных. Компания продолжает погружать вас в свои процессы. Данные, с которыми вы работали, обновились, поэтому необходимо изменить модель данных.
- DWH: пересмотр модели данных. Компания растёт, архитектура данных усложняется. Вам дают задание — оптимизировать процессы с данными.
- ETL: автоматизация подготовки данных. О хранилище данных компании вы теперь знаете почти всё. Пришло время пересмотреть ETL-процессы.
- Проверка качества данных. Вы хотите быть уверены, что ваши первые пайплайны работают нормально. Качество данных необходимо проверять, а поломки — вовремя отслеживать.
- DWH для нескольких источников. Вы продолжаете исследовать DWH, потому что развитие компании и, следовательно, увеличение объёма данных не остановить.
- Аналитические базы данных. Специфичных неструктурированных данных, которые тоже надо хранить и обрабатывать, становится больше. Поэтому мы познакомим вас с концепцией аналитических баз данных на примере СУБД Vertica.
- Организация Data Lake. Классические решения не помогают справиться с объёмом данных. Чтобы справиться с новыми вызовами бизнеса, вы построите и наполните Data Lake.
- Потоковая обработка данных. Трудности с большим объёмом данных вы победили, но появилась новая задача — нужно помочь бизнесу быстрее принимать решения. Тут понадобятся знания потоковой обработки данных (англ. streaming).
- Облачные технологии. Теперь вы умеете работать и с большими объёмами данных, и с потоками. Осталось только автоматизировать масштабирование систем с помощью облачных сервисов.
- Выпускной проект. Подтвердите, что освоили новые навыки. Здесь вам будет нужно самостоятельно выбрать и реализовать решения для бизнес-задачи. Это поможет вам ещё раз закрепить использование изученных инструментов, а также самостоятельность.
