Au fil des cueillettes d'informations : Stratégies, méthodes et enjeux de la collecte de données

La collecte de données est la collecte et la mesure systématiques d'informations provenant de différentes sources qui seront ensuite utilisées pour la prise de décision, la génération de renseignements et l'alimentation de systèmes basés sur les données. Elle représente toutes les informations brutes qui sont collectées pour une organisation avant d'être traitées, stockées et analysées. Ce n'est pas la même chose que l'ingestion de données, bien que les deux soient étroitement liées. La collecte de données représente le « quoi » (les informations brutes collectées), tandis que l'ingestion de données représente le « comment » (le processus de déplacement de ces données dans l'écosystème d'une organisation à des fins de traitement, de stockage, d'analyse, de prise de décision et d'action). Ensemble, la collecte et l'ingestion de données constituent la base d'un pipeline de données qui achemine les informations de la capture initiale jusqu'à des insights exploitables.

Les fondements de l'élicitation pour le Business Analyst

Une question qu’on se pose tous en tant que Business Analyst est : « De quelle manière vais-je pouvoir collecter une information fiable et vérifiée, qui me servira ensuite de base pour analyser les besoins, puis recommander et décrire la solution cible la plus appropriée ? ». Notez que cela peut bien entendu être n’importe quel type de solution : une application informatique, une cartographie ou une redéfinition de processus, la définition d’une stratégie de gouvernance métier, le développement d’un nouveau produit ou service etc.

Le Business Analyst dispose de plusieurs techniques pour favoriser cette élicitation :

• Le Brainstorming : C’est un excellent moyen pour favoriser la réflexion créative autour d’un problème. Le but est de produire de nombreuses idées nouvelles et d’en extraire des thématiques pour une analyse ultérieure plus approfondie.
• Les jeux collaboratifs : Ils encouragent la collaboration participative dans le but de construire conjointement une solution. Ils permettent de confronter les points de vue de manière ludique.
• L’analyse documentaire : Elle est utilisée pour recueillir des informations métier facilitant la compréhension du contexte, de l’organisation ou des contraintes réglementaires. Le « document » est vu comme un jeu d’informations, sous quelque forme que ce soit (écrite, enregistrement sonore, vidéo, base de données, présentation, graphique…).
• Sondage / questionnaire : Ils sont utilisés pour recueillir des informations métier structurées sur un temps relativement court.
• L’interview : Cette approche se fait en face à face, par téléphone ou par tout autre moyen permettant d’échanger en temps réel. Le face à face est de loin le plus recommandé, car le Business Analyst peut agir et réagir en fonction de la communication non verbale de son interlocuteur - laquelle représente, rappelons-le, 80% de la communication globale.

Processus de collecte de données et bonnes pratiques

Le processus de collecte se déroule généralement en quatre étapes : la planification, la mise en œuvre, l'assurance qualité et la documentation. Aborder chaque étape de manière intentionnelle garantit que les données restent utiles et fiables dès le début. Sans une collecte de données fiable et sécurisée dès le start, tous les insights et analytiques en aval risquent d'être compromises.

1. Planification

Quels sont les objectifs clés et les questions de recherche spécifiques ? À quoi les données doivent-elles répondre et quelle valeur apporteront-elles ? Identifiez les sources clés, les méthodes de collecte et les contraintes, puis établissez des métriques de succès et des seuils de qualité des données. Les données issues des programmes de données d'entreprise montrent que des objectifs clairs et des métriques de succès définies lors de la phase de planification permettent d'obtenir une plus grande précision et de réduire les remaniements tout au long du cycle de vie des données.

2. Mise en œuvre

Commencez par créer les bons outils, tels que des enquêtes ou une configuration de suivi. Choisissez des technologies qui fluidifient la collecte et standardisent les formats, les conventions de nommage et les processus de validation. Il est important de donner la priorité aux mesures de sécurité et de confidentialité, en utilisant une transmission chiffrée (HTTPS, SFTP) et des identifiants sécurisés pour tous les échanges de données.

3. Assurance et gestion de la qualité

Validez et vérifiez toutes les données pour vous assurer qu'elles sont fiables et pour détecter toute anomalie à un stade précoce en exécutant des scripts de validation, en les comparant aux plages attendues et en signalant les valeurs aberrantes. L'utilisation de tableaux de bord ou d'alertes automatisées aide à faire remonter les problèmes potentiels dès la collecte des données.

4. Documentation et gestion des métadonnées

Une documentation complète garantit la transparence et la reproductibilité et peut aider à garantir que d'autres personnes puissent interpréter et réutiliser les données de manière responsable. Les pistes d'audit et le contrôle de version permettent aux équipes de reproduire les analyses et de suivre l'évolution des données.

Méthodes et typologies de données

En fonction de la source et du volume des données, différentes méthodes de collecte peuvent être appropriées. Elles peuvent être regroupées en quatre grandes catégories : primaire, secondaire, automatisée et à l'échelle de l'entreprise.

Collecte de données primaires

Ce sont des données qui ont été collectées directement à partir des sources d'origine dans un but précis.

• Sondages et questionnaires : sondages en ligne, sur papier ou par téléphone.
• Méthodes d'observation : observation directe, participante ou structurée.
• Méthodes expérimentales : Expériences contrôlées, A/B testing ou expériences sur le terrain.
• Méthodes d'entretien : Discussions structurées, semi-structurées ou non structurées.

Collecte de données secondaires

Il s'agit d'informations qui ont été collectées dans un but et mises à disposition pour un autre.

• Sources de données internes : Bases de données de l'entreprise, systèmes CRM, logs opérationnels et tableaux de bord analytiques.
• Sources de données externes : datasets publics, rapports sectoriels, repositories de données ouverts ou données tierces achetées.
• Sources Web et digital : Flux d'API, plateformes de médias sociaux ou web scraping pour les interactions digital.

Collecte de données automatisée

Ces données à haut volume sont automatisées pour pouvoir circuler en continu, sans aucun travail manuel requis. On y retrouve l'analytique web et suivi, les données de l'IoT et des capteurs, ainsi que les données générées par le système.

Solutions de collecte de données d'entreprise

Ces données sont collectées par des analytiques et des rapports à grande échelle sur plusieurs systèmes et régions. L'entreposage des données, les systèmes de reporting et les plateformes analytiques rassemblent les informations pour un insight unifié.

Défis techniques et organisationnels

La collecte de données à grande échelle présente des défis techniques et organisationnels. Une stratégie et une conception réfléchies peuvent aider à garantir l'exactitude, la confidentialité et la cohérence des données provenant de sources variées.

1. Qualité des données : Des données incomplètes, incohérentes ou dupliquées peuvent avoir un impact significatif sur l'analyse. La solution repose sur l'établissement de normes de qualité claires avant même le début de la phase de collecte.
2. Confidentialité et conformité : Les réglementations telles que le RGPD, le CCPA et l'HIPAA évoluent. Il faut appliquer les principes de protection de la vie privée dès la conception pour ne collecter que les données nécessaires.
3. Évolutivité et performance : À mesure que le volume de données brutes augmente, les systèmes doivent pouvoir monter en charge de manière fiable. La mise en œuvre d'architectures distribuées est ici indispensable.
4. Complexité : Les données collectées auprès de diverses sources peuvent être difficiles à standardiser. L'utilisation d'interfaces et d'API standards permet de réduire la complexité des processus en aval.

Applications concrètes et avenir de la collecte

La collecte de données est un moteur de progrès. Elle permet de passer des insights à l'action, en aidant tous les secteurs d'activité imaginables à innover, à s'adapter et à mieux servir les gens. En commerce et marketing, la collecte des données client favorise la segmentation, la personnalisation et la mesure des performances. Dans les secteurs de la santé et des services financiers, une collecte précise et sécurisée sert de base à la modélisation des risques, au reporting et à l'analyse prédictive. Dans l'industrie et l'IoT, les appareils connectés collectent des données en continu pour surveiller les performances et optimiser la production.

À mesure que la technologie évolue, la collecte de données devient plus intelligente, plus rapide et plus connectée. Quatre grandes tendances sont à l'origine de ce changement :

• Collection alimentée par l'IA : Elle identifie de nouvelles sources, trie de multiples entrées et signale les problèmes de qualité avant qu'ils ne se propagent.
• Streaming en temps réel : Permet de générer des insights quasi instantanément, afin que les organisations puissent réagir en temps réel à mesure que les événements se produisent.
• Edge Computing : Le traitement local réduit la latence et les besoins en bande passante.
• Collecte de données unifiée : Assurance d'une gouvernance centralisée et d'une agrégation fiable des sources hétérogènes.

La collecte de données est une phase de la recherche scientifique pour laquelle le chercheur doit définir la technique et/ou les outils qui seront utilisés principalement dans les recherches empiriques. Les bons principes de collecte de données sont la systématicité, la pertinence et l'accent mis sur la qualité. L'objectif doit toujours être de maintenir des normes élevées d'exactitude, d'exhaustivité et de cohérence en définissant et en mettant en œuvre des métriques de qualité des données.

tags: #au #file #des #cueillette