Полуночный трёп №12: Data Mesh - почему, что и как.

Опівночні Балачки

المحتوى المقدم من Денис, Ігор, Саша. يتم تحميل جميع محتويات البودكاست بما في ذلك الحلقات والرسومات وأوصاف البودكاست وتقديمها مباشرة بواسطة Денис, Ігор, Саша أو شريك منصة البودكاست الخاص بهم. إذا كنت تعتقد أن شخصًا ما يستخدم عملك المحمي بحقوق الطبع والنشر دون إذنك، فيمكنك اتباع العملية الموضحة هنا https://ar.player.fm/legal.

<div class="span index">1</div> <span><a class="" data-remote="true" data-type="html" href="/series/uncuffed">Uncuffed</a></span>

1
Uncuffed

إلغاء الاشتراك

منذ 10 أياممنذ 10d ago

إلغاء الاشتراك

شهريا

Uncuffed empowers people in California prisons to tell their own stories. The award-winning collaboration between incarcerated student producers and professional journalists shines light on the human experience of people before, during, and after their prison terms. The new Season 4 is hosted by formerly incarcerated producer Greg Eskridge. https://www.WeAreUncuffed.org

منذ 4 أعوام 1:33:56

MP3•منزل الحلقة

Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50

Тайминги

0:00:00-0:01:35 Intro. Почему именно эта тема
0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️ . Data Lake. Data Hoarding (дата скопидомство)
0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям.
0:26:33 - 0:33:50 Что в классическом подходе может пойти не так?
0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports.
0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе.
1:00:01 - 1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo
1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow.
1:13:26 - 1:32:50 Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги.
1:32:50 - 1:33:55 Outro

Ссылки

Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8

Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2

Инструменты не влазят в лимиты описание, поэтому они вот.

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

Музыка подкаста: Harris Heller - StreamBeats

47 حلقات

#Технології #Денис, Ігор, Саша

Опівночні Балачки