Data EngineerContexte
Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable.
Objectif de la mission
Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements.
Activités principales
Modélisation l'architecture technique des pipelines (ingestion à stockage)
Développement des flux ETL modulaires (OCR, transformation, enrichissement)
Standardisation du format pivot et les conventions de métadonnées
Suivi de l'historisation, le versioning et la traçabilité des documents traités
Implémentation d'un orchestrateur (Airflow, Dagster, Prefect) si nécessaire
Suivi de la robustesse du traitement sur des volumes variés
Collaboration avec les équipes KM et Data Science pour alignement
Documentation de l'ensemble des flux de traitement
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data.
Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT.
VISIAN, filiale d'un grand groupe technologique de plus de 6500 personnes, est une société de conseil spécialisée dans l'innovation, la conception de produits et la data. Ses consultants technophiles allient compréhension des enjeux digitaux et vision produit. De la structuration des DSI à la conception de produits digitaux en passant par la valorisation de la data, VISIAN concrétise les objectifs de ses clients en faisant converger ambition et faisabilité. Fondée par des consultants, VISIAN connait une croissance rapide pour atteindre 14 millions de CA cette année et renforce ses partenariats avec de nombreux clients grands-comptes sur Paris et Marseille.