DE or DIE #6

Дата мероприятия: 25.03.2021.
Формат мероприятия: online.

Доклады

Delta Lake — table format for large scale storage and analytics

Автор: Иван Трусов, Solutions Architect, Databricks.

Материалы первого доклада:

• Запись выступления на YouTube.

О чем первый доклад

Delta Lake — эффективный OSS формат для построения надежных и управляемых data lakes поверх облачных хранилищ.
В рамках этого доклада рассмотрим практические области применения, трехслойную архитектуру раскладки данных (bronze-silver-gold), а так же различные особенности Delta-формата, упрощающие ETL процессы.

Love to Frankenstein’s monster: Kotlin for Apache Spark

Автор: Паша Финкельштейн, Developer Advocate for Big Data, JetBrains.

Материалы второго доклада:

• Запись выступления на YouTube.
• Презентация на сайте автора.

О чем второй доклад

Спарк поддерживается множеством языков, одних только официально поддерживаемых языков 4.

Так какого же рожна Паша написал поддержку ещё одного JVM языка и чего это ему стоило? Как устроены кишки и на какие компромиссы пришлось пойти? Попробуем узнать ответ на этот вопрос вместе.