DE or DIE #7

Дата мероприятия: 16.06.2021.
Формат мероприятия: online.

Доклады

Handling late data. How to make the right choice?

Автор: Дарья Буланова, Data Engineer, Dodo Engineering.

Материалы первого доклада:

• Запись выступления на YouTube.
• Презентация в формате PDF.

О чем первый доклад

Сначала мы постараемся ответить на вопросы: а какие данные можно называть late? Все ли out-of-order считаются late? Какие есть способы обработки таких данных? Потом разберемся с тем, как различные паттерны обработки данных решают эту проблему.

Во второй части, посмотрим, на то, как с помощью различных движков добиться различных гарантий completeness. И в конце, на что опираться, когда вы принимаете решения, какой паттерн обработки данных выбрать.

Ingestion and historization in the Data Lake

Автор: Илья Тодор, Data Engineer, HRS Group, Certified AWS Cloud Practitioner.

Материалы второго доклада:

• Запись выступления на YouTube.
• Презентация в формате PDF.

О чем второй доклад

Как мигрировать данные из одного источника в Data Lake, а затем в Data Warehouse с применением процесса хисторизации (SCD Type 2) на инфраструктурe AWS.

Вместе с Ильей мы посмотрим на живой кейс: на какие грабли можно наступить и каких успехов добиться в этом нелегком деле.