Introduction : La Complexité des Données en Didactique des Mathématiques
La recherche en didactique des mathématiques, dans sa quête des "conditions spécifiques de l’acquisition provoquée des connaissances mathématiques" (Brousseau, 1994, p. 51), est une entreprise complexe. Elle vise à produire des connaissances à finalité professionnelle, sous les contraintes d'une réalité à la fois épistémique, sociale et humaine. Cette recherche est intrinsèquement de nature expérimentale, conférant à ses productions une légitimité scientifique par la validation phénoménologique. Au cœur de ce processus se trouve la notion de "donnée", un construit de la recherche aux racines profondes, dont l'identification, le recueil et l'analyse sont des étapes cruciales et souvent délicates.
Le présent article, issu d'une réflexion pour le weekend jeunes chercheurs en didactique des mathématiques (WEJCH2020), se propose d'établir un cadre pour penser la question des données. Il se place dans le contexte d'un projet ou d'une thèse dont le sujet est déterminé, sans ignorer la complexité du choix d'une problématique en amont ni le travail nécessaire à son expression. L'objectif principal est de mettre en perspective la notion de "donnée" dans nos recherches, en explorant son lien indissociable avec le cadre théorique, la modélisation, l'expérimentation, et les critères de validité et de fiabilité.
Le Rôle Prépondérant du Cadre Théorique
La prééminence du cadre théorique est fondamentale, car il détermine la formulation du sujet de la recherche en l'insérant dans un champ conceptuel. Ce champ, reprenant le terme de Gérard Vergnaud, est un espace de problèmes et de connaissances qui mobilise des représentations, des relations et des procédures organisées en un système explicite et cohérent. Il est rare qu'un cadre théorique se réduise à une seule théorie ; au contraire, il en articule plusieurs pour rendre compte de la complexité du sujet ou pour dépasser des limitations intrinsèques à une théorie particulière.
Ainsi, des approches comme la théorie des situations didactiques, les champs conceptuels, la dialectique outil-objet, les registres sémiotiques, et d'autres encore, pourront être associées pour saisir le sujet de la recherche et, en quelque sorte, le modéliser. Cette modélisation permet d'articuler les théories et constitue un outil essentiel pour les mettre en relation avec le référent phénoménal, c'est-à-dire la classe ou le contexte d'apprentissage réel.
Mémoire MEEF 4. Construire son cadre théorique
Modélisation : Un Pont entre Théorie et Réalité
Le modèle instancie les concepts théoriques et leurs relations, établissant des liens entre différentes théories. Le schéma des espaces de travail mathématique, proposé par Kuzniak, est un exemple de générateur de modèles qui articule les "plans épistémologique" et "cognitif", ainsi que les approches instrumentale et sémiotique. Un tel modèle est un outil précieux pour créer une représentation décontextualisée, au sens de l'abstraction d'un problème ou d'une situation d'apprentissage, en les projetant dans les différents plans théoriques. La théorie des situations didactiques, par exemple, propose des moyens explicites de modélisation de situations qu'elle qualifie et relie.
La construction d'un modèle est une tâche indissociable d'une recherche expérimentale. Bien que souvent implicite, sous-jacente à celle d'un schéma expérimental basé sur des "réalisations didactiques" en classe (comme l'exprime la définition classique de l'ingénierie didactique), son explicitation est cruciale. En rendant le modèle explicite, on permet à la recherche de gagner en possibilités de résultats, et on s'offre l'opportunité de remettre en question l'un de ses éléments clés. Cela permet de le détacher des circonstances contingentes de sa réalisation sous les contraintes d'une réalité dont la complexité dépasse la problématique didactique. L'instanciation du modèle dans une réalité scolaire, qu'il s'agisse de celle de l'institution elle-même ou d'un contexte aménagé (assimilable à des conditions de laboratoire), est la phase la plus fragile et délicate de la recherche, car elle donne accès à l'observation et au recueil des données.
L'Ingénierie Didactique et l'Opérationnalisation des Concepts
L'ingénierie didactique est la méthode canonique de la recherche pour la problématique qui nous intéresse. Comme le souligne Michèle Artigue (1996, p. 247), elle se caractérise par "la conception, la réalisation, l'observation et l'analyse de séquences d'enseignement".
Opérationnalisation : Transformer l'Abstrait en Concret
Dans la recherche empirique, l'opérationnalisation est un élément très important. Elle cherche à établir des liens entre des concepts (variables théoriques) et à valider ces liens à l'aide de données. Il s'agit de trouver des indicateurs et éventuellement de calculer des indices qui peuvent mesurer les concepts théoriques. Dans un deuxième temps, il faut trouver des corrélations entre ces variables issues du terrain. Enfin, à partir de ces analyses, il est possible de tirer des conclusions théoriques, par exemple confirmer ou infirmer une hypothèse.
Cependant, mesurer des concepts comme l' "effet pédagogique" ou l' "apprentissage collaboratif" n'est pas simple. Lorsque l'on opérationnalise un concept, deux obstacles se présentent : (1) passer de l'abstrait au concret et (2) passer du tout aux parties. Par exemple, le socio-constructivisme renvoie à une école de pensée pédagogique. Si l'on prévoit de mesurer le "socio-constructivisme" d'un design pédagogique, il est nécessaire de prendre en considération plusieurs dimensions, telles que l'apprentissage actif ou constructif, l'apprentissage orienté sur soi, l'apprentissage contextuel, l'apprentissage collaboratif et le comportement interpersonnel de l'enseignant (Dolmans et al. 2003). Selon le modèle d'enseignement socio-constructiviste du cycle d'apprentissage des 5 E, il pourrait se décomposer en Engagement, Exploration, Explication, Élaboration et Évaluation.
De même, dans le domaine de l'analyse des politiques publiques, le "développement économique" est un concept important qui englobe souvent l'industrialisation, l'urbanisation, les transports, les communications et l'éducation. Dans les études sur l'interaction personne-machine, l' "utilisabilité" est un facteur clé, décomposable en utilité (le rôle est-il rempli), le principe associé d' "utilisabilité cognitive" (ce que le logiciel permet de réaliser) et l' "utilisabilité de base" (navigation, recherche de boutons, etc.).
L'opérationnalisation est donc un processus délicat qui nécessite une décomposition minutieuse des concepts en dimensions mesurables. Des exemples de pièges à éviter incluent l'intérêt uniquement pour la technologie utilisée par l'enseignant lors de la mesure de l'usage de la technologie par une classe, ou l'inclusion de l' "éducation" dans la définition du développement économique, ce qui ferait perdre une variable explicative importante. Le type de mesures choisi doit être efficace pour mesurer le concept visé.
Le Recueil et la Nature des Données
Une fois les questions de recherche opérationnalisées (pouvant inclure des hypothèses opérationnelles), il est crucial de réfléchir aux types de données à recueillir et aux cas (population) à étudier.
La Diversité des Données
Qu'est-ce que des "données" ? Ce sont des chiffres, des éléments textuels, des données enregistrées par le système (logs), des photos, des séquences vidéo, etc., qui seront utilisées pour répondre à la question de recherche. L'analyse de ces données peut être textuelle, se baser sur des enregistrements système, etc. Les méthodes de recueil incluent l'observation systématique (formelle et non structurée), les entretiens (ouverts, semi-structurés, protocoles de pensée à voix haute), les questionnaires ouverts, les journaux, les vignettes, et bien d'autres.
L'Échantillonnage : Sélectionner les Cas Pertinents
L'échantillonnage correspond au processus de sélection des cas, c'est-à-dire de personnes, d'activités, de situations, etc., que l'on prévoit d'étudier. Ces cas doivent être représentatifs de l'ensemble de la "population" que l'on souhaite analyser. Par exemple, dans une enquête par sondage, les 500 personnes qui répondent au questionnaire doivent être représentatives du groupe de personnes qui nous intéresse (par exemple, tous les enseignants d'école primaire d'un pays, tous les étudiants d'une université, tous les électeurs d'un État). Une règle importante pour l'échantillonnage est de s'assurer que les variables opératoires aient de la variance, sans quoi il sera impossible de se prononcer sur la causalité ou la différence. Les variables opératoires sont définies comme l'ensemble des variables dépendantes (à expliquer) et indépendantes (explicatives).
Dans la recherche quantitative, l'échantillonnage est relativement simple. Il s'agit de sélectionner un nombre de cas suffisamment élevé au sein d'une population mère donnée (c'est-à-dire la population concernée par la théorie). La meilleure stratégie d'échantillonnage consiste à sélectionner aléatoirement un échantillon à partir d'une population mère, mais la difficulté est d'identifier tous les membres de cette population mère et d'obtenir leur participation.
L'échantillonnage peut être plus complexe en recherche qualitative. On distingue plusieurs types :
- Échantillonnage à cas extrêmes ou déviants : dont l'objectif est de rendre compte de la solidité de "patterns" ou thèmes communs importants en la mettant à l'épreuve de cas extrêmement variés.
- Échantillonnage homogène : dont l'objectif est de se concentrer sur des personnes ayant des caractéristiques démographiques et sociales similaires.
- Échantillonnage par cas critiques : dont l'objectif permet une généralisation logique et une application maximale de l'information recueillie auprès d'autres cas. Le cas critique permet de "prouver", d'illustrer les résultats principaux, offrant ainsi de meilleures garanties pour répondre aux questions de recherche.
- Échantillonnage à cas rares ou inhabituels : dont l'objectif permet l'apprentissage à partir de manifestations inhabituelles du phénomène étudié.
Il est important de comprendre que les stratégies d'échantillonnage dépendent beaucoup de la question de recherche et qu'il n'y a pas de réponse toute faite. Par exemple, pour une étude préliminaire sur l'utilisation d'une plateforme de formation à distance par les enseignants d'une université, avec un budget limité ne permettant d'interroger que six professeurs, le choix des participants doit être justifié par rapport à la question de recherche et aux objectifs de l'étude.
Fiabilité, Validité et Causalité
La qualité d'une recherche empirique repose sur plusieurs piliers, parmi lesquels la fiabilité et la validité sont essentielles.
La Fiabilité : Cohérence des Mesures
La fiabilité correspond au degré de cohérence relatif à une mesure obtenue pour un même objet. En résumé, il s'agit de la reproductibilité d'une recherche et de la fiabilité des données sur lesquelles elle se base. La fiabilité peut être comprise dans un sens plus large. Les mesures empiriques sont soit directement utilisées comme des indicateurs pour des variables théoriques, soit utilisées pour constituer ce que l'on appelle les indices. Par conséquent, un "indicateur" n'est qu'un terme désignant une mesure individuelle ou un indice composé de plusieurs mesures.
Il est important de distinguer plusieurs aspects de la fiabilité :
- Fiabilité circonstancielle : le fait d'obtenir toujours le même résultat ne signifie pas nécessairement que les réponses soient fiables.
- Fiabilité synchronique : des résultats similaires sont obtenus en utilisant des méthodes différentes.
Cependant, même des mesures de bonne qualité et fiables ne garantissent pas que la recherche soit bien menée. La signification de certaines données n'est pas toujours comparable (par exemple, les évaluations de logiciels ne signifient pas toujours la même chose dans toutes les cultures).
La Validité : La Qualité Logique de l'Analyse
La validité est un terme complexe, au centre de nombreux débats académiques concernant la qualité des résultats. Elle détermine la qualité formelle de la recherche. Plus concrètement, la validité du travail (par exemple, la théorie ou le modèle) est déterminée par la validité des composantes de son analyse.
Six éléments sont pris en compte pour évaluer la qualité d'une recherche empirique, la validité étant le plus important. Un bon travail de recherche doit remplir un objectif, mais aussi être mené selon des règles précises pour que les résultats soient considérés comme valables. Les critères formels les plus importants sont la "validité" (étayer, avec des preuves solides, les liens de causalité découverts par l'étude) et la "fiabilité" (montrer que le recueil de données, c'est-à-dire l'observation, est effectué de manière cohérente).
La Causalité et la Validité Interne
La causalité dépend beaucoup de ce que l'on appelle la "validité interne". Un principe clé à retenir est que les corrélations entre des données prouvent peu de choses. Le raisonnement pratique et théorique constitue le meilleur moyen d'éviter les erreurs d'interprétation.
Par exemple, si l'on suppose que "L'utilisation des TIC dans l'enseignement augmente la satisfaction des apprenants", une analyse de données superficielle pourrait conclure : "Nous avons introduit les TIC dans notre école et la satisfaction des apprenants est bien plus grande". Cependant, il est essentiel de tester d'autres hypothèses concurrentes. L'augmentation de la satisfaction pourrait simplement être due à d'autres variables de réorganisation de l'institution, qui à leur tour ont eu un impact sur de nombreuses variables intermédiaires telles que les relations entre enseignants et étudiants, l'investissement des enseignants, etc. Même si une conclusion peut être appuyée théoriquement par des preuves, il est du devoir du chercheur de trouver une explication concurrente (c'est-à-dire une hypothèse alternative qui pourrait expliquer les mêmes résultats).
Il existe des causalités cachées qu'il faut détecter avant d'interpréter une corrélation apparente. Bien sûr, des méthodes quantitatives et qualitatives existent pour tester les variables qui influencent une corrélation, mais une réflexion approfondie et le bon sens sont primordiaux. De bons cadres analytiques (par exemple, des modèles) sont également très utiles.
L'Analyse des Données et la Trace du Sens
L'analyse des données mobilise une part très importante des ressources d'un projet de recherche. À la distinction classique entre analyse qualitative et quantitative, il faut ajouter, dans la problématique retenue, l'analyse a posteriori qui interroge les données à l'aune du modèle et de l'analyse a priori. C'est cette dernière qui spécifie les observables recherchées lors de l'observation. Le modèle permet de remonter vers le problème et le cadre théorique qui donnent du sens au traitement des données, c'est-à-dire qui constitue le produit de ce traitement en un résultat.
La Traçabilité des Données
La spécification des observables et leur potentialité expérimentale est le rôle de l'analyse a priori. Il s'agit, d'une part, de déterminer les comportements significatifs qui seront favorisés ou disqualifiés, et d'autre part, d'identifier les caractéristiques du modèle qui leurs sont hypothétiquement associées. Pour cela, l'analyse a priori doit proposer des indicateurs tangibles (observables comportementaux, verbalisations, productions) qui sont les éléments focaux de l'observation.
L'identification des données au cours de l'observation et leur recueil est souvent difficile, tant elle est fragilisée par les effets des conditions de la réalisation effective - souvent qualifiées d'écologiques - de l'expérience. Cette réalisation en classe est soumise à des contraintes multiples qui peuvent en modifier les caractéristiques, le sens et les enjeux. La recherche dans le vif de la démarche expérimentale et l'enseignement dans la dynamique de sa mise en œuvre diffèrent en termes d'objectif et de responsabilité. Cette complexité requiert de documenter les étapes et les détails de l'organisation et d'en suivre précisément le déroulement afin de pouvoir examiner a posteriori la qualité de l'observation et des données ; c'est ce que l'on appelle la traçabilité des données. Cela nécessite une procédure et un langage (Mandran, 2017).
La mise en œuvre de l'expérience mobilise des enseignants, des élèves, l'accord de l'institution scolaire et celui des parents le cas échéant. Les multiples problèmes rencontrés ont rarement une réponse simple. En fait, c'est très souvent sur la base du volontariat de proches ou le hasard d'opportunités heureuses que la classe est ouverte pour la recherche.
La Rédaction Scientifique et la Construction du Résultat
La rédaction du premier article - ou celle de la thèse - est un moment initiatique dans la vie du chercheur. La décision de publier peut avoir des raisons multiples, mais la raison d'ordre scientifique est l'existence d'un résultat. Comprendre ce qui constitue le résultat d'une recherche est probablement le plus difficile pour un jeune chercheur, mais pas uniquement pour lui ou elle.
Au fil des évaluations d'articles et des rapports de thèse, il est souvent constaté que la conclusion de la publication est une synthèse de l'analyse des données. L'effort et la mobilisation des ressources pour les réunir et les traiter tendent effectivement à les mettre en avant, en perdant de vue les raisons mêmes de la recherche. Décider et expliciter ce qui constitue le résultat, c'est identifier ce que la recherche a apporté aux connaissances, aux méthodes ou aux théories mobilisées dans la problématique choisie.
Le rôle de l'état de l'art est de préparer la démonstration de l'existence d'un résultat, et donc de la pertinence de la question et de la recherche. Il est important a priori pour s'engager dans la recherche, et essentiel a posteriori pour légitimer son produit.
Traduction des Concepts en Données
La rédaction de la communication doit parcourir le chemin inverse de celui de la recherche, en ne retenant que ce qui est nécessaire à la validation de son produit et sa constitution en résultat. Cette stratégie assure de ne pas perdre le lien avec le cadre théorique et le sujet de la recherche, et elle préserve le sens des données et de leur analyse. Comme le soulignent Argot & Milano (2007) dans Thietart (Ed.), Méthodes de recherche en Management, "Établir un lien entre concepts et données constitue une étape des plus importantes et des plus difficiles dans un travail de recherche. (…) Elle consiste à opérer une traduction fondée sur deux démarches : la mesure et l’abstraction." La mesure consiste à déterminer les indicateurs ou instruments de mesure nécessaires à la traduction d'un concept. La mesure représente ce que certains auteurs désignent sous le nom d'opérationnalisation ou encore d'instrumentation des concepts. L'abstraction permet, au contraire, de traduire des données en concepts grâce à des procédés de codage et de classification.
Mémoire MEEF 4. Construire son cadre théorique
Pensée Critique et Triangulation
Il est impossible de répondre à une question de recherche sans avoir procédé à une opérationnalisation sérieuse. De même, il est impossible de prouver une hypothèse (on ne peut que la tester, la renforcer, la corroborer, etc.). Par conséquent, il faut également chercher des "contre-hypothèses". De bonnes connaissances informelles d'un domaine peuvent également être d'une grande aide. Les approches de raisonnement purement inductives sont complexes et dangereuses. Nous avons tous tendance, en tant qu'êtres humains, à chercher des éléments qui confirment notre raisonnement et à ignorer les éléments qui le contredisent. Il est donc crucial de présenter son travail à d'autres chercheurs pour bénéficier de leurs perspectives.
L'utilisation d'une triangulation de méthodes est également essentielle. Différents points de vue (et mesures) peuvent renforcer les résultats, et même les affiner. Une analyse groupée des données peut permettre d'identifier des types d'utilisateurs principaux (par exemple, 6 types d'enseignants et 4 types d'utilisateurs).
Il est important de rappeler qu'il existe des types de recherches très différents, chacun possédant des avantages et des inconvénients. Les méthodes qualitatives sont plus adaptées pour créer de nouvelles théories (exploration / compréhension), tandis que les méthodes quantitatives sont plus adaptées pour tester / affiner des théories (explication / prédiction).
Un autre enjeu du lien entre l'amont théorique et l'aval expérimental est la possibilité de poser précisément le problème de la réplicabilité de l'expérience et de la reproductibilité des observables.
tags: #donnees #recoltees #recherche #didactique #et #theorie