Ép 12 : Tester Kafka dans le CI avec Stéphane Derosiaux

Dans l'épisode 12 du podcast Nom d’un Pipeline ! animé par Julien Danjou, Stéphane Derosiaux, CPTO et co-fondateur de Conduktor.io, partage son parcours et ses réflexions sur les défis et opportunités du traitement des données en temps réel.

Stéphane Derosiaux est ingénieur depuis 2008, avec une expertise inégalée dans le domaine des données en temps réel. Conduktor, une entreprise fondée par des Français mais basée aux États-Unis et située à Londres, a été créée avec l'objectif de faciliter l'accès aux données et de répondre aux défis croissants liés à l'explosion des volumes de données et à la sécurité.

Des débuts humble à une clientèle prestigieuse

L'histoire de Conduktor commence modestement il y a quatre ans, mais aujourd'hui, l'entreprise compte parmi ses clients des géants de diverses industries. La vision de Stéphane et de ses co-fondateurs était de créer un logiciel qui résout les problèmes rencontrés dans des environnements Kafka, un système qu'ils utilisaient eux-mêmes. Cette approche pratique, basée sur l'expérience directe des "pains" liés aux données, a été essentielle pour leur succès.

Le problème des données en temps réel

Comme Stéphane l'explique, le monde génère des exaoctets de données chaque jour, et la demande pour un traitement en temps réel ne cesse de croître. Les architectures doivent être robustes, car les données sont constamment en action. Cette explosion des volumes de données entraîne des défis de sécurité importants, notamment en matière de gestion de l'accès aux données.

Restaurer la confiance dans la gestion des données

Un problème courant rencontré par leurs clients est la perte de contrôle sur qui a accès aux données. Stéphane partage un cas où toutes les données étaient accessibles par tout le monde dans une entreprise, ce qui posait un risque majeur. Conduktor aide à trouver un chemin pour reprendre le contrôle de la gestion des données et fournir des solutions de sécurité robustes.

Le rôle de la CI/CD dans la normalisation des données

Stéphane aborde l'importance de l'intégration continue et du déploiement continu (CI/CD) pour standardiser et normaliser les données dans Kafka. La CI/CD permet de valider les créations de fichiers et de s'assurer que tout est configuré selon des règles strictes. Des tests fonctionnels, tels que les tests KO et Gorillas testing (termes popularisés par Netflix), sont utilisés pour simuler des scénarios de production et tester la résilience des systèmes.

L'importance des tests de production réalistes

Tester un plan de reprise d'activité (DRP) aujourd'hui implique de simuler des pannes dans Kafka pour évaluer la réponse du système. En créant des tests de production réalistes, Conduktor permet à ses clients de se préparer aux imprévus et d'assurer la continuité des opérations.

En conclusion, l'épisode avec Stéphane Derosiaux offre un aperçu fascinant des défis du traitement des données en temps réel et des solutions innovantes proposées par Conduktor.io pour aider les entreprises à naviguer dans ce paysage complexe.

‍