Ingérez en continue vos données en provenance de fichiers quel que soit leur format. Manipulez et filtrez vos données pour les transformer en données structurées grâce à une collection de filtres extensibles. Faites tout cela facilement avec Connect File Pulse, une solution distribuée, tolérante à la panne et scalable qui est basée sur le framework Kafka Connect.
Ingérer des données avec la puissance de Kafka Connect
Ingérer, structurer et diffuser
Readers et Filtres
Analysez et structurez vos données avant de les diffuser en temps-réel
Readers
Les données sont fréquemment exportées, partagées et intégrées depuis des systèmes existants (peu évolutifs) à travers l'utilisation de fichiers sous des formats très divers. Connect File Pulse vous permet d'intégrer facilement tous types de données vers une plateforme centralisée Apache Kafka et de les diffuser à l'échelle de votre entreprise.
Filters
Définissez des pipelines complexes pour transformer et structurer vos données avant leur intégration dans Kafka :
- Parsez des données au format JSON.
- Structurez et agrégez des données textuelles de logs via grok.
- Filtrez et anonymisez des données à caractère personnel
- Enrichissez des données avec des métadonnées descriptives
Uniformisez vos données en combinant les filtres disponibles nativement avec le connecteur.
Élasticité et tolérance aux pannes
Ne perdez plus vos données et intégrez les en continue.
Connect File Pulse est un plugin Kafka Connect qui est une solution distribuée, élastique et tolérante à la panne. Vous souhaitez intégrez rapidement un grand nombre de fichiers ? Aucun souci : augmentez le nombre de tâches allouées à l'ingestion des données via un simple appel à une API REST.
L'état d'avancement de chaque fichier est sauvegardé dans un topic Kafka. Ainsi, en cas de perte d'un connecteur ou d'un arrêt/relance lors d'une opération de maintenance, le connecteur reprendra l'ingestion de vos fichiers là où il s'était arrêté.
Extensibilité
Enrichissez et adaptez le connecteur à vos besoins.
Nous voulons proposer une solution qui puisse s'adapter aux spécificités de chaque projet. Connect File Pulse repose sur une architecture extensible dans laquelle vous pouvez tout configurer. Vous ne trouvez pas le Filtre ou le Reader adapté à vos données ou à votre structure cible ? Vous pouvez développer facilement vos propres filters, readers en utilisant une API relativement simple.