DataWatch

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre accueillent Victor Vaneecloo, Data Engineer expérimenté, pour échanger sur ses retours d’expérience autour de dbt (data build tool) et de ses usages en Data Engineering.

Les ressources

👉 Victor sur LinkedIn : https://www.linkedin.com/in/baptiste-wlodarczyk/
➕ rateIndex : https://rateindex.streamlit.app/
➕ Newsletter : https://vaneec.tech/
➕ Site : https://vvaneecloo.ghost.io/

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/
➕ Formation SQL sur BigQuery de 3 jours : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance
➕ Newsletter : https://datayoka.notion.site/1355071b...
➕ Blog : https://datayoka.com/blog

Liens vers les articles

1️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-performance-working-at-scale-trade-offs-1-3/
2️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-why-dbt-your-orchestration-layer-one-app-not-two-2-3/
3️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-lets-build-a-production-ready-platform-with-dbt-airflow-3-3/

Chapitres

00:00 Introduction et présentation de l’invité
01:13 Comprendre DBT : définition et enjeux
03:22 Défis et pièges dans l’utilisation de DBT
05:37 Passage à l’échelle de DBT : aspects techniques et organisationnels
09:38 Intégration des modèles incrémentaux dans DBT
11:54 Le rôle de la gouvernance en data engineering
15:34 Intégration de DBT avec les outils d’orchestration
19:39 L’intérêt des monorepos
21:53 Simplifier l’orchestration des données avec Airflow et DBT
23:55 Gouvernance et visibilité dans la gestion des données
25:20 Les avantages du micro-batching
27:09 Présentation d’Elementary pour l’observabilité
29:23 Quand utiliser un traitement complet ou incrémental
31:14 Projets et outils futurs en data engineering

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les dernières avancées en ingénierie des données et en intelligence artificielle. Ils discutent des nouvelles fonctionnalités d'AWS S3 pour le stockage de vecteurs, de l'IDE Antigravity de Google, et de l'intégration d'Excel avec Databricks. Les hôtes partagent leurs réflexions sur l'impact de ces technologies sur le secteur et les défis potentiels qu'elles posent.

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/
👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/
➕ Newsletter de Bertrand : https://datayoka.notion.site/1355071ba1ca80189240d83808f5994d
➕ Blog de Bertrand : https://datayoka.com/blog

00:00:00 Introduction et présentation
00:03:00 AWS S3 et le stockage de vecteurs
00:09:00 Google Antigravity et l'expérience IA
00:15:00 Databricks et l'Intégration d'Excel
00:21:00 Conclusion et perspectives

☝️ Dans cet épisode, Bertrand et Axel discutent de l'utilisation de Polars chez Decathlon, de la comparaison entre Polars et Spark, de Lance comme nouveau format de données, et de l'impact de l'IA sur l'observabilité des données avec Monte Carlo. Ils explorent comment ces outils et technologies peuvent optimiser le traitement des données et améliorer l'efficacité des équipes data.

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/
👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/
➕ Newsletter de Bertrand : https://datayoka.notion.site/1355071ba1ca80189240d83808f5994d
➕ Blog de Bertrand : https://datayoka.com/blog

00:00 Introduction et présentation des sujets
00:58 Utilisation de Polars chez Décathlon
08:48 Comparaison entre Polars et Spark
16:33 Lance : un nouveau format de données
27:54 Monte Carlo et l'IA pour l'observabilité

☝️ Dans cet épisode, Bertrand et Axel explorent les nouveautés de Python 3.14, notamment le T-String, les améliorations de débogage, et les implications du GIL sur les performances. Ils discutent également des concepts de Data Redaction et Data Masking, ainsi que des meilleures pratiques pour la gestion des données sensibles.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

Liens vers les articles :
👉 Les nouveautés de Python 3.14 : https://www.docstring.fr/blog/les-nouveautes-de-python-314/
👉 Data redaction vs. data masking: What's the difference? : https://www.rudderstack.com/blog/data-redaction-vs-data-masking

00:00 Introduction au Data Engineering et Python 3.14
02:00 Les nouveautés de Python 3.14 : T-String et F-String
06:13 Améliorations de débogage et annotations différées
09:06 Le GIL et ses implications sur les performances
10:57 Just-In-Time et multi-interpréteur dans Python
16:09 Nouvelles fonctionnalités de compression et gestion des erreurs
18:37 Data Redaction vs Data Masking : Concepts et applications
27:52 Conclusion et réflexions sur la conformité des données

☝️ Dans cet épisode, Bertrand Fabre, Axel Mauroy et leur invité Baptiste Vlodarczyk (AI Engineer chez SFEIR, en mission chez L’Oréal) discutent de plusieurs sujets liés à l’intelligence artificielle et à l’ingénierie des données.Baptiste présente un article de Google sur la sécurisation des serveurs MCP (Model Context Protocol), standard proposé par Anthropic pour connecter les modèles de langage à des outils via des interfaces compréhensibles par les LLM. Ils abordent les risques de sécurité (exposition de données, vol de tokens, détournement de session) et la solution proposée par Google : un proxy centralisé avec des couches de contrôle telles que Model Armor, IAM et Secret Manager.La conversation se poursuit sur les différences entre API et SDK, les standards ouverts (notamment l’OpenAI SDK), et l’importance de ces outils pour unifier l’écosystème IA.Enfin, les intervenants commentent l’article de Daniel Beach sur le rôle du YAML Engineer, en débattant de la surutilisation du YAML et de Terraform dans la data et des limites en termes de flexibilité et de créativité.L’épisode se conclut sur une réflexion sur la place du code, la lisibilité, et la bonne répartition entre logique applicative et infrastructure.
🎙️ DataWatch est un podcast de veille en data.Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.
👉 Axel sur LinkedIn
👉 Bertrand sur LinkedIn
➕ Newsletter de Bertrand
➕ Blog de Bertrand
Liens vers les articles :
👉 Le MCP et sa sécurité
👉 SDK vs API
👉 Le YAML Engineer