Qualité Dans Les Enquetes

t de sélectionner un échantillon à partir d’une population finie, aux méthodes d’amélioration des estimations et aux méthodes de calcul des variances d’échantillonnage (Ardilly (2006), Tillé (2001)). Ces méthodes sont généralement exposées dans le cadre théorique d’un modèle où chaque individu sélectionné dans l’échantillon peut être joint et accepte de répondre à l’enquête (absence d’erreur de non-réponse), puis sait répondre, accepte de répondre aux questions posées et donne la vraie réponse (absence d’erreur de mesure). Dans ce contexte, le seul type d’erreur qui affecte les © Revue MODULAD, 2009

- 137 -

Numéro 39

résultats est l’erreur d’échantillonnage, c’est-à-dire la différence entre la valeur du paramètre étudié sur la population tout entière et la valeur du paramètre estimé sur l’échantillon sélectionné. Dans la pratique des enquêtes par sondage, d’autres types d’erreur peuvent affecter les résultats. Les sources d’erreurs possibles sont par exemple : les refus de participer à l’enquête le répondant qui ne donne pas une réponse exacte à la question posée l’enquêteur qui ne respecte pas les consignes de passation du questionnaire, qui donne une définition erronée des termes employés dans le questionnaire, etc.. la saisie des données si des erreurs sont faites lors de cette saisie.

Pour concevoir une enquête, évaluer et améliorer la qualité des résultats d’enquête, il est indispensable de connaître ces différentes sources d’erreur afin de savoir comment les prévenir et, a posteriori, si possible, comment en diminuer l’impact sur les résultats. Nous décrirons les sources d’erreur possibles et les moyens de les prévenir ou d’y remédier au §4. Nous présenterons préalablement les différentes étapes de réalisation d’une enquête au §2 et des définitions de la qualité au §3. Cette connaissance des différentes sources d’erreur permet également d’évaluer la qualité des résultats. Ceci fera l’objet du §5. Cet article s’appuie largement sur les ouvrages de Dussaix et grosbras (1996), Ardilly (2006) et Biemer et Lyberg (2006). Ce dernier ouvrage en particulier offre un exposé à la fois simple et complet sur la qualité dans les enquêtes. 2. Les différentes étapes dans une enquête par sondage Une enquête par sondage est une recherche d’informations, auprès d’une fraction de la population étudiée, appelée échantillon, le plus souvent au moyen d’un questionnaire ou parfois par observation directe (ex : panels de téléspectateurs, panels de distributeurs, …), l’objectif étant d’estimer à partir des données collectées sur l’échantillon, certains paramètres caractéristiques de la population. Il existe une très grande diversité des enquêtes par sondage. Nous nous placerons ici dans le contexte des études quantitatives, c’est-à-dire des études visant à quantifier les comportements, les opinions ou les attitudes d’une population à partir d’un échantillon. L’échantillon doit donc être d’une taille suffisante. Il doit être sélectionné de telle sorte qu’il permette l’extrapolation des résultats à la population tout entière, avec une précision acceptable, étant donnés les objectifs de l’enquête. La détermination de la taille d’échantillon en fonction de la précision souhaitée et les méthodes de sondage sont traités dans tous les manuels de Théorie des Sondages (cf. par exemple Ardilly, 2006) ; nous n’y reviendrons pas. La qualité des résultats d’enquête dépend des choix qui ont été effectués à chacune des étapes de réalisation de l’enquête ; il est donc important de préciser ici ces différentes étapes. On distingue généralement, dans une enquête par sondage avec collecte des informations réalisée par questionnaire, les étapes suivantes (cf. par exemple Dussaix et Grosbras, 1996) :

© Revue MODULAD, 2009

- 138 -

Numéro 39

a) Conception générale de l’enquête. Cette phase très importante comprend la définition des objectifs de l’enquête, de la population étudiée (ou population cible ou champ de l’enquête), des informations que l’on souhaite obtenir, avec quelle périodicité, à quel niveau de détail (pour quelles zones géographiques ? pour quelles périodes de temps ? sur quelles cibles ou sous-populations ?). A ce stade, il est indispensable de s’assurer que les informations recherchées n’existent pas par ailleurs (données dites secondaires). En fonction des points précédents, des coûts et des délais, en fonction aussi de l’existence ou non d’une base de sondage, de la longueur du questionnaire, on choisit une technique de collecte des informations (questionnaire ou observation). Ce choix a une influence directe sur la qualité des résultats. Les différents modes d’administration du questionnaire sont principalement : par enquêteur (en face-à-face ou par téléphone) en auto-administré (essentiellement questionnaire envoyé par voie postale ou questionnaire par Internet dit « questionnaire en ligne »).

Le choix du mode de collecte est fondamental car il a une incidence sur le choix de la méthode de sondage et la forme du questionnaire. Ce choix dépend de différents critères. Les plus importants sont (Evrard et al. (2006), Jolibert et Jourdan (2006)) : le coût des différents modes de collecte (le face-à-face par enquêteur à domicile est le plus onéreux ; il s’impose cependant lorsque le questionnaire est long ou complexe), le questionnaire (sa longueur, sa complexité, la nécessité de montrer des supports visuels tels que des logos de magazine, l’importance des questions ouvertes), le taux de réponse anticipé, la dispersion géographique souhaitée : une enquête en face-à-face à domicile n’est pas le bon choix lorsque les objectifs de l’étude imposent une grande dispersion géographique des interviews.

Enfin, on détermine simultanément la méthode de sondage qui sera utilisée pour constituer l’échantillon. On détermine aussi la taille de l’échantillon nécessaire, compte tenu du budget disponible, de la précision souhaitée et des objectifs de l’enquête. Le choix de la méthode de sondage est un facteur déterminant dans la qualité d’une enquête. Un paragraphe sera consacré aux différentes méthodes de sondage et à l’impact du choix effectué sur la qualité. b) Rédaction du questionnaire. La rédaction proprement dite du questionnaire s’effectue généralement en trois étapes : première rédaction du questionnaire (si possible en utilisant les résultats d’études exploratoires préalables), pré-test du questionnaire auprès d’un petit nombre d’individus issus de la population cible afin de s’assurer de la de la bonne acceptation du questionnaire, de sa fluidité et de la bonne compréhension des questions,

© Revue MODULAD, 2009

- 139 -

Numéro 39

-

rédaction définitive incluant le pré-codage du questionnaire pour faciliter la saisie informatique.

c) Administration du questionnaire Le « terrain » est la phase de collecte des informations auprès des interviewés. Il commence par une réunion d’information des enquêteurs (ou briefing) afin de leur expliquer le sujet de l’étude, de leur transmettre les consignes d’échantillonnage et de passation du questionnaire ; il est suivi par l’administration des questionnaires sur le « terrain », et enfin par le contrôle de la qualité du travail des enquêteurs. Ce contrôle a posteriori est indispensable ; il permet de s’assurer de la matérialité des entretiens et du bon respect des consignes de recrutement des interviewés et de passation du questionnaire.

d) Traitement et analyse des données Cette dernière étape comprend : les opérations de vérification, de codage, de saisie informatique des questionnaires en cas de questionnaires « papier-crayon », le traitement éventuel des questions ouvertes, le calcul des poids de sondage et des coefficients de redressement, le traitement informatique, généralement par des logiciels spécialisés de traitement d’enquêtes. Les résultats de ces traitements sont alors synthétisés dans un rapport final. L’importance et la complexité de ces différentes phases varient beaucoup d’une enquête à l’autre ; les choix opérés à chacune des étapes ont une incidence directe sur la qualité globale de l’enquête.

3. Qu’est-ce que la qualité d’une enquête ? Il n’existe pas de définition unique de la qualité des données d’enquête. Pour les statisticiens, la qualité est souvent assimilée à la précision des résultats calculée par la technique des intervalles de confiance. Mais, pour les utilisateurs des résultats, d’autres aspects sont importants comme, par exemple, la pertinence par rapport au problème posé, la mise à disposition des données en temps voulu. Dans le manuel d’Eurostat sur l’évaluation de la qualité des données (Handbook on Data Quality Assessment Methods and Tools), trois aspects de la qualité des données sont considérés : les composantes de la qualité du produit statistique (au nombre de six : elles sont détaillées ci-dessous), la perception par les utilisateurs de la qualité des données, quelques caractéristiques du processus