Confluent s’attaque à la simplification des intégration de stream de données. L’éditeur vient ainsi d’annoncer TableFlow qui permet aux utilisateurs de convertir les topics Kafka et les schémas associés en tables Iceberg en un seul clic. L’objectif est ainsi de faciliter la mise en œuvre de tâches analytiques dans les data lakes et les data warehouses. Par ailleurs, les connecteurs entièrement gérés de Confluent ont été améliorés avec de nouvelles possibilités de connectivité réseau qui doivent permettre jusqu'à 50 % de réduction des coûts liés au débit.
TableFlow vient ainsi résoudre un des principaux défis que représente la transposition des données de Kafka vers les table Iceberg. L’opération qui nécessite de convertir les données en flux dans un format de table avant que les entrepôts de données ou les data lakes puissent travailler avec pour une analyse plus approfondie peut être un processus long et complexe nécessitant une gestion minutieuse des formats de données et des schémas. En conséquence, de nombreuses entreprises doivent donc exécuter des migrations complexes, qui peuvent être intensives en ressources, résultant en des données obsolètes et non fiables et des coûts accrus.
Dans le détail, TableFlow permet ainsi de matérialiser les topics en tables Iceberg en un seul clic, avec tous les schémas associés et d’assurer que les tables Iceberg soient continuellement mises à jour avec les dernières données en flux. L’objectif est de fournir des produits de données de haute qualité en exploitant la puissance de la plateforme de data streaming, la Gouvernance des Flux et Apache Flink en mode serverless pour nettoyer, traiter ou enrichir les données en flux.