pdfGénérer un PDF

Grille d’évaluation des protocoles : Manuel d’utilisation

INTRODUCTION

RETOUR HAUT DE PAGE

La grille d’évaluation des protocoles a été conçue au cours du premier trimestre 2011 dans le cadre d’une convention entre Parc Nationaux de France et le laboratoire du Centre d’Ecologie Fonctionnelle et évolutive UMR5175 du CNRS de Montpellier. Les Parcs Nationaux Français manifestent à juste titre, aussi bien à l’échelle des établissements que de leur réseau, la volonté de synthétiser et d’évaluer les opérations de collectes de données à visées scientifiques, de plus en plus nombreuses, mis en place par leurs équipes. Cet état des lieux est particulièrement nécessaire à l’heure où les besoins en données rigoureuses concernant l’évolution de la biodiversité se font de plus en plus pressants et que le concept même d’évaluation de la biodiversité est en évolution permanente.

Le manuel que vous avez entre les mains permet, en complément de la grille d’évaluation, de finaliser l’outil d’évaluation des opérations de collecte de données. Il apporte notamment une aide pour remplir la grille, question par question, afin de garantir une utilisation optimale de celle- ci. Le fait de répondre, et donc de se poser l’ensemble des questions de la grille constitue en soit un travail constructif d’évaluation, indépendamment même des résultats fournis par la grille ; pour cela nous recommandons cet outil, pour l’évaluation des opérations en cours mais aussi lors des phases de conception de nouvelles opérations. Ce manuel rappelle également quelques concepts importants à connaître pour mener correctement sa propre réflexion sur la conception ou la révision d’une opération de collecte de données. Enfin, il permet grâce à des exemples concrets tirés des 20 protocoles choisis par les Parcs pour évaluation, d’illustrer l’articulation entre les résultats de la grille et leur interprétation. Cet outil (Grille + Manuel) devrait répondre aux attentes de la convention en termes d’aide à l’évaluation, d’orientation, et de dialogue entre les référents et leurs conseils scientifiques. Une évaluation de qualité permet de synthétiser et de « mettre à plat » les problèmes rencontrés dans la collecte, le stockage et l’analyse des données. Cette démarche d’évaluation si elle est conduite sur l’ensemble des opérations devrait aussi faciliter la définition de priorités ainsi que la prise de décisions stratégiques.

Nous avons choisi, par soucis d’efficacité, d’orienter cette grille vers un maximum de compatibilité avec l’ensemble des opérations pourtant très différentes menées sur les territoires des parcs. Les questions de la grille sont donc très générales et ne permettent pas toujours de descendre à des niveaux extrêmement fins d’analyse. Les résultats sont classés en 8 catégories bien distinctes. Il nous semblait en effet peu approprié d’attribuer une note globale à un protocole, et plus pertinent de bien séparer les aspects positifs ou négatifs sur les différents axes. Grâce à cette méthode, il est possible d’identifier rapidement les grandes caractéristiques d’une étude ainsi que ses points forts ou faibles. Bien sûr, les résultats sont très généraux. Il est ensuite du ressort de l’utilisateur d’interpréter les résultats présentés, à l’aide de ce manuel si nécessaire.

Il est important de rappeler que cette grille se focalise sur la recherche de biais ou de limites potentielles dans la conduite d’une opération. Rappelons que l’objectif est bien d’aider à améliorer la qualité des données recueillies et optimiser les efforts entrepris sur le terrain. Afin de rendre l’outil pertinent, nous avons fais le choix d’utiliser un système de notation pour les différents axes en séparant des notes positives des notes négatives. Nous avons aussi et surtout développé un ensemble de liens entre les réponses de manière à fournir des éléments d’évaluation rédigés en complément du système de notation. Ces éléments permettent d’identifier sans ambigüité les points forts et faibles de chaque opération et fournissent aussi des pistes pour d’éventuelles modifications ou améliorations.

UTILISATION DE LA GRILLE

RETOUR HAUT DE PAGE

Fonctionnement :

RETOUR HAUT DE PAGE

La grille d’évaluation fonctionne sur le principe des questionnaires à choix multiples. L’utilisateur doit cocher la/(les) case(s) correspondant à la réponse qui lui convient le mieux (1). Quelques champs doivent aussi être complétés et rédigés. Par exemple, si la réponse à la question : « L'opération a-t-elle été conçue pour répondre à une question précise ? » est « OUI », alors il faudra remplir le champ : « rédiger cette question » symbolisé par une case soulignée (2).

Les réponses proposées varient en fonction de la question posée. Le cas le plus courant étant : OUI / NON / NE SAIT PAS / NE S’APPLIQUE PAS. Les deux dernières possibilités sont presque toujours proposées et doivent être explicités : ü NE SAIT PAS : Lorsque l’on ne peut pas apporter de réponse à la question par méconnaissance de l’opération, on peut cocher cette case. Cependant la grille considèrera toujours cette question comme « à remplir » (voir. Pourcentage complété p.5). ü NE S’APPLIQUE PAS : Cette grille possède ses limites du fait de son caractère général, et certaines questions peuvent ne pas s’avérer pertinentes pour évaluer votre protocole. Cette réponse permet donc à l’utilisateur d’adapter la grille à son protocole, ainsi que la notation fournie dans la fiche de résultats (cf. « fiche résultats p.5). Les cas où la réponse est « NE S’APPLIQUE PAS » sont explicités en détail dans la partie QUESTION PAR QUESTION.

Structure :

RETOUR HAUT DE PAGE

La grille d’évaluation est centrée sur une grille principale composée de 33 questions. Ces questions sont organisées en 8 catégories :

L’onglet « résultats généraux » fournit les résultats de l’analyse des réponses fournies dans la grille principale. Il est également possible d’approfondir l’une ou l’autre de ces catégories de questions grâce à 5 grilles d’approfondissement (Conception / Couverture Géographique / Effet observateur / Respect sur le terrain / Stockage & analyse des données). Toutes les catégories ne sont pas approfondies car, pour certaines d’entre elles, l’ensemble des questions clé se trouvent dans la grille principale. L’utilisation des questions d’approfondissement peut être un choix de l’utilisateur ; il peut aussi être suggéré dans la feuille des résultats obtenus à partir de la grille principale. Ce découpage permet également à l’utilisateur qui le souhaiterait de ne remplir que les parties qui l’intéresseraient plus spécifiquement. Dans ce cas il est cependant indispensable commencer par la catégorie concernée dans la grille principale, puis de remplir l’onglet d’approfondissement spécifique.

QUESTION PAR QUESTION...

RETOUR HAUT DE PAGE

Dans cette partie sont détaillées les questions qui peuvent poser quelques difficultés à la lecture, ou les parties de la grille demandant de remplir des champs ou tableaux.

Questions générales

RETOUR HAUT DE PAGE

> Q.1 : L'opération a-t-elle été conçue pour répondre à une question précise ?

(Diap. N°166). Cette question est la question centrale posée par le protocole. Il s’agit ici de définir précisément la question abordée et en complément de réfléchir à la variable mesurée, (et la population statistique sur laquelle on travaille, c'est-à-dire l’ensemble de la population sur laquelle on pourra extrapoler les résultats obtenus). On peut revenir à cette question après avoir fait le point sur le protocole si les objectifs semblent trop flous au départ.

> Q.2 : Est-ce que cette opération cible une variable en particulier ?

(Diap. N°166). En lien avec la première question, il s’agit ici de connaitre le type de données nécessaire pour répondre à la question que l’on se pose (Cf. Glossaire p.14, Variable). Il est indispensable de savoir définir la variable cible. Par exemple : « OUI », « ABONDANCE RELATIVE » ou « OUI », « POURCENTAGE DE RECOUVREMENT ». Si un protocole relève simultanément plusieurs variables (par exemple des recouvrement mais aussi une hauteur moyenne des végétaux), il est possible de remplir une grille d’analyse pour chacune de ces variables. Si on se contente d’analyser la méthode, on peut se contenter d’une seule grille et cocher « NE S’APPLIQUE PAS » pour les questions nécessitant d’entrer des valeurs numériques (Q.7 et Q.14).

Conception

RETOUR HAUT DE PAGE

> Q.3 : Utilise-t-on une technique d'échantillonnage sur le(s) paramètre(s) étudié(s)

(Diaporama -> Diap. N°96 à 106). Ou : « Etudie-t-on l’ensemble du système ciblé par la Question 1, ou une partie seulement ? (cf. Glossaire p.12, Echantillonnage). Si l’étude ne couvre pas l’ensemble de la population ciblée par l’étude, la réponse est « OUI » ; si l’on cherche à mesurer l’ensemble de la variable, la réponse est « NON ».

> Q.6 : Existe-t-il une version écrite du protocole à laquelle se référer (…) ?

Il arrive parfois que certains protocoles n’existent que par transmission orale. On risque alors fortement de biaiser les données en modifiant au fil des ans le protocole. La présence d’un protocole écrit est donc indispensable.

Variation spatiale

RETOUR HAUT DE PAGE

> Q.7 : Quelles sont les valeurs maximales, minimales et moyennes obtenues sur variable mesurée ? (SUR L’ENSEMBLE DES SITES, ET SUR UNE MEME ANNEE - HORS VALEURS TROP EXTREMES).

(Diap. N°118 & 119). Il convient de ne pas entrer ici des valeurs trop extrêmes mais les bornes contenant environ 95% des valeurs de l’échantillon. Ces données permettent d’estimer assez grossièrement si la taille de l’échantillon collecté (cf. Q.8) est suffisante pour obtenir des résultats suffisamment précis.

> Q.8 : Nombre total de points de mesure sur la variable ciblée ?

Comme indiqué, on entre ici le nombre de points DANS L’ESPACE (on ne prend pas en compte les répétitions), où des données sont collectées (nombre de placettes, de points d’écoute, nombre d’observations…).

> Q.9 : Existe-t-il une hiérarchisation et/ou une stratification de l’espace dans l’aire géographique ?

(Diaporama -> Diap. N°138 à 142). N.B : hiérarchisation et stratification peuvent être présents sur une même opération de collecte ; en effet on peut réaliser par exemple trois Transects comprenant dix points de mesures (=hiérarchisation), et ce sur trois strates (par exemples dans trois milieux différents). (Cf. Glossaire p.13).

> Q.11 : Est-ce que des zones ont été exclues avant étude, à l’intérieur de l'aire géographique étudiée?

(Diap. N° 147). Lorsque l’on débute une étude sur un territoire donné, on exclut parfois des zones de l’aire géographique pour différentes raisons (zones difficiles d’accès, zones inadaptée pour l’espèce cible…). Ces exclusions géographiques posent la question de la représentativité de l’échantillon collecté. On peut-être amené à reformuler la question à laquelle on est en train de répondre, car nos résultats ne sont plus forcément extrapolables (Diap. N°122). Une solution possible face à ce problème : faire quelques mesures dans les zones difficiles/inaccessibles/exclues afin de comparer les résultats obtenus avec le reste de la zone d’étude, ou revoir son extrapolation à des surfaces plus raisonnables.

> Q.12 : Les zones d’échantillonnage sont-elles choisies de façon strictement aléatoire (ou systématique) à tous les niveaux d'organisation de l'espace ?

(Diaporama -> Diap N° 129 à 146). Ou : « Les différents points de collecte de données offrent-ils une représentation objective de la zone d’étude ? ». Le terme aléatoire ne désigne pas forcément le fait de tirer tous les points de mesure totalement au hasard : si l’on a peu de points, on peut se retrouver dans des situations délicates où tous les points sont dans la même zone. On peut alors utiliser des grilles (= échantillonnage systématique). L’important est que tous les points de la zone d’étude aient potentiellement la même probabilité d’apparaître dans l’échantillon final. Cette question NE S’APPLIQUE PAS pour les protocoles visant à l’exhaustivité sur le paramètre étudié.

> Q.13 : Taille des sites d’étude ?

On veut savoir ici si chaque mesure se fait dans un périmètre prédéfini et constant (= STANDARDISE), ou, si ce n’est pas le cas, si la taille des sites est mesurée (=MESURE). Dans les autres cas, répondre « NON ».

Variation temporelle

RETOUR HAUT DE PAGE

> Q.14 : Donner une estimation des valeurs minimales et maximales de la variable ciblée, obtenues sur un même site (SUR UN SEUL SITE, ET SUR L’ENSEMBLE DE LA PERIODE D’ETUDE - HORS VALEURS TROP EXTREMES).

Idem Q.7, mais cette fois on entrera les données relatives à un seul site (site présentant une variabilité moyenne-élevée par rapport à l’ensemble des sites). A nouveau il s’agit d’estimer la variabilité pour savoir si le protocole peut apporter des estimations précises, cette fois à l’échelle d’un seul site.

> Q.15 : A quel intervalle de temps ce protocole est-il répété ? (= quel est le PAS DE TEMPS du protocole ?)

Le pas de temps est l’intervalle de temps entre 2 réplications du protocole. Pour un suivi, le pas de temps sera souvent annuel ou saisonnier, pour des mesures de températures ou de variables physiques relevées automatiquement, ou pour des bases de « contact », on peut être sur des suivis considérés comme continus.

> Q.16 : Ce rythme de relevés est-il calé sur le cycle d'activité du sujet d'étude?

Dans les deux cas on cochera la case « ne s’applique pas » si l’on considère que le paramètre étudié ne varie pas à l’échelle d’une saison ou à l’échelle d’une journée, respectivement.

> Q.17 : Quel est le nombre de mesures effectuées sur un même site lors d'une saison complète d'échantillonnage (réplication des mesures) ?

Cette fois on veut savoir combien de mesures ont eu lieu sur chaque site, dans un pas de temps (cf. Q.15 ci-dessus). Par exemple pour le protocole « Pic de la Guadeloupe », 4 IKA sont réalisés tous les ans (le pas de temps est d’un an). On cochera donc ici la réponse « AUTRE », puis on entrera dans le champ correspondant « 4 ».Pour les protocoles continus sur un site, on entrera ici le nombre de données collectées sur un site en un pas de temps, si cette configuration convient à l’opération effectuée sur le terrain.

> Q.18 : Combien de temps/ d’années cette opération de collecte de données doit elle durer ?

Entrer ici la durée totale prévue pour ce protocole, si il a été prévu de répondre à la question sur une période déterminée. Pour faciliter les calculs, il est demandé ici de répondre à cette question en utilisant la même unité de temps que pour la question 15. Pour les suivis pérennes dans le temps cocher la case « SUIVI A DUREE INDETERMINEE TYPE VEILLE »

> Q.19 : Le temps de prospection ?

Le temps de prospection correspond à l’effort d’échantillonnage sur le terrain. Il est souvent primordial de le prendre en compte pour pouvoir comparer des données entre sites ou d’une année sur l’autre. On peut le fixer (par exemple deux heures par site), cocher alors « STANDARDISE » ; on peut aussi le mesurer (cocher« MESURE »). Si l’effort n’est pas pris en compte, cocher « NON ». Pour de nombreuses opérations ou il n’est pas question de détecter des individus, mais de réaliser des mesures sur le terrain (exemple : recouvrement floristique, relevés de paramètres physiques du milieu, évaluer le succès de reproduction d’une espèce), cette question « NE S’APPLIQUE PAS ».

Autres variables

RETOUR HAUT DE PAGE

> Q.20 : La variable étudiée et sa mesure sont-elles influencées significativement par la météo ou d'autres variables physiques / du milieu ?

(Diap. N° 63 & 64). On demande ici à l’utilisateur de réfléchir à d’autres variables extérieures (bien souvent la météo) pouvant modifier (= apporter de la variabilité dans) les résultats obtenus. Si un facteur quelconque peut influencer les données obtenues d’une année sur l’autre, ou au sein d’une même année, ou entre les sites, etc. Et ce de façon notable, cocher « OUI ».

> Q.21 : L'application standard du protocole limite-t-elle cette variabilité ?

Pour pallier à ce problème (cf. Q.20), on peut choisir de réduire cette variabilité en imposant des conditions standards : une température minimale ou un vent maximal à ne pas dépasser pour l’application du protocole par exemple. Si ceci est défini dans le protocole, cocher « OUI »

> Q.22 : Le cas échéant, les variables ayant le plus d'influence sont elles systématiquement relevées ?

Si les variables environnementales ont une influence sur l’étude et ne sont pas standardisées, il peut être nécessaire de relever les plus importantes afin de les prendre en compte lors des analyses de données. Si celles-ci sont mesurées systématiquement, cocher « OUI ».

Observateur

RETOUR HAUT DE PAGE

> Q.23 : Les données relevées sur le terrain sont elles influencées par l'observateur ?

(Diaporama -> Diap. N°168 à 205). Ou : « Est-ce que deux personnes différentes prenant la même mesure obtiendront des résultats différents ? » (Suffisamment différents pour influencer les résultats d’une analyse par exemple). Cette question est primordiale car la variabilité apportée par la mesure elle-même a tendance à brouiller l’information que l’on cherche à relever sur le terrain. Il faut donc mettre en œuvre autant de moyens que possible pour la réduire.

Précision

RETOUR HAUT DE PAGE

> Q.26 : Y a-t-il des répétitions de mesures pour estimer la précision des données (double mesure, mesure par deux observateurs différents….)

(Diap. N° 186 & 187). Par répétition de mesure on entend prendre la même mesure de façon simultanée ou quasi-simultanée par un même observateur. Ceci permet d’estimer la fiabilité des mesures.

> Q.28 : La qualité de la mesure a-t-elle évolué ou est-elle susceptible d’évoluer sur la durée de l’opération ?

Si les observateurs, ou le matériel utilisé, ont progressé ou sont susceptibles de progresser sur la durée du protocole, cocher OUI.

Respect du protocole

RETOUR HAUT DE PAGE

> Q.30 : Les données nulles (absences) sont-elles toujours rapportées ?

La valeur de la donnée nulle doit être communiquée aux agents de terrain afin d’obtenir un jeu de données cohérent. En effet un zéro est une donnée comme une autre et doit être relevé systématiquement pour ne pas biaiser les résultats.

> Q.31 : Les standardisations spatiales et temporelles sont elles strictement respectées sur le terrain ?

Il s’agit ici de savoir si tous les sites sont correctement suivis, et si le protocole est bien respecté par les différents observateurs : est-ce que les dates et les horaires sont respectés ? Est-ce que le temps de prospection est toujours noté, ou respecté s’il est standard ? Etc. La présence d’hétérogénéité dans la méthode employée sur une opération de terrain peut remettre totalement en cause l’obtention de résultats.

Stockage et analyse des données

RETOUR HAUT DE PAGE

> Q.32 : Y a-t-il une phase de relecture ou de validation des données après la saisie ?

Est-ce que quelqu’un vérifie et corrige les éventuelles données aberrantes après saisie ? Y’a-t-il une procédure type de relecture/validation des données en amont de leur intégration à la base de données ?

> Q.34 : Existe-t-il une valorisation régulière de ce travail ?

Par valorisation on entend ici un rendu des résultats obtenus (graphiques, bilans), auprès de l’équipe gestionnaire, du grand public, des personnes participant au terrain…

ONGLET : ‘VAR. GEOGRAPHIQUE’

RETOUR HAUT DE PAGE

> 1 : TABLEAU STRATIFICATION : (cf. GLOSSAIRE « Stratification »)

Entrer tout d’abord le nombre de « strates » (ensembles de sites pour lesquels les données seront analysées). Puis pour chaque strate (une strate = une ligne du tableau), entrer :

> 2 : TABLEAU HIERARCHISATION : (cf. GLOSSAIRE « Hiérarchisation »)

Entrer tout d’abord le nombre de niveaux hiérarchiques compris dans le protocole. Puis, pour chacun de ces niveaux:

> 3 : Quel critère subjectif a conduit au choix de ces zones ou des sites d'étude de façon non - aléatoire ?

ONGLET : ‘ANALYSE-DONNEES’

RETOUR HAUT DE PAGE

> 1 : Le protocole définit-il le mode d'analyse des données ?

La question est ici de savoir si l’on a anticipé la façon dont les données seront analysées, ce qui permet d’adapter le protocole aux hypothèses des différentes méthodes d’analyses, ainsi que d’optimiser la forme de recueil et de saisie des données.

> 5 : TABLEAU Les données sont-elles analysées ?

STATISTIQUES DESCRIPTIVES : consiste à tirer rapidement les caractéristiques du jeu de données obtenues à l’aide de graphique des fréquences, de calcul de moyenne ou de variance, de tracer des tendances...

STATISTIQUES ANALYTIQUES : pour les questions plus complexes comprenant des hypothèses ou des estimations de paramètres de populations par exemple, on utilisera des méthodes statistiques requérant parfois plusieurs années de données (influence des variables, différences entre les populations statistiques etc) et des méthodes permettant de tester ces hypothèses (tests de Student, ANOVA, GLM…).

Interprétation des résultats

RETOUR HAUT DE PAGE

Cette grille a été conçue pour s’adapter à un maximum de protocoles, il convient donc de ne pas interpréter au pied de la lettre les résultats obtenus et de les adapter aux situations rencontrées. Il est à noter que les champs de « remarques » sont eux aussi affichés dans la fiche des résultats et permettent de tempérer directement dans la grille les résultats obtenus. Nous présentons ci-dessous quelques exemples tirés des 20 protocoles « tests » sélectionnés par les parcs pour évaluation :

1_ Des résultats à tempérer : Gagée de Bohème.

Dans l’onglet résultats du protocole concernant la gagée, un des points faibles du protocole désigné par la grille est l’absence de technique d’échantillonnage. En soit, l’échantillonnage est une bonne chose lorsque l’on souhaite répondre à une question, mais dans le cas présent, l’objectif du botaniste est bien de définir le contour de chaque station. Les stations ont été repérées suite aux observations de terrain des agents et des campagnes de quadrillage du Parc lors de protocoles antérieurs. Dans ce cas, et dans le cadre de la définition d’un état 0 des contours de station de Gagée dans le parc des Cévennes, cette remarque peut donc être ignorée.

2_ Bien définir la question pour bien définir son échantillonnage :

Voici deux exemples de protocoles pour lesquels la définition de la question est relativement évasive et peut créer des difficultés dans l’interprétation de la grille :

-phanérogames de Guadeloupe :

Q1 : « Quel est l’état de santé des phanérogames marines ? » -> On remarque que cette question ne définit pas d’aire géographique. On en conclut également dans la partie « variation géographique » (Q.11), au vu du nombre de sites (5 herbiers suivis), que des zones ont été exclues. Dans l’onglet détaillant les résultats de la hiérarchisation des sites, on peut lire : « DU FAIT DE REPARTITIONS NON - ALEATOIRE DE CERTAINES UNITES GEOGRAPHIQUES, LES RESULTATS OBTENUS SUR LES NIVEAUX SUIVANTS SEMBLENT DIFFICILEMENT INTERPRETABLES: ENSEMBLE DE L’AIRE GEOGRAPHIQUE » , ceci du fait que les 5 stations n’aient pas été choisies de façon aléatoire mais pour des raisons d’accessibilité et pour suivre les différents impacts subis par les herbiers en Guadeloupe (pêche, plaisance, braconnage). Ces deux commentaires négatifs sont dus au fait que la question a été mal définie. En effet ce suivi est bien ficelé, rigoureux, et les sites suivis bénéficient de nombreuses mesures et donc d’une grande précision, la question aurait donc pu être : « Quel est l’état de santé des phanérogames marines sur quelques herbiers représentatifs des enjeux écologiques en Guadeloupe » (en supposant que cette représentativité aie été débattue au préalable) ou bien pour prendre moins de risques : « Quel est l’état de santé des phanérogames marines sur 5 stations du grand cul de sac marin en Guadeloupe ? ». Alors nous aurions pu dire qu’aucune zone n’a été exclue au préalable (Q11-> »NON »), puisqu’on ne considère pas l’ensemble des herbiers de la Guadeloupe ; de plus l’extrapolation des résultats à la zone complète d’étude n’aurait posé aucun problème. Si l’on souhaite obtenir des résultats extrapolables directement à l’ensemble de l’île, ou du Parc, l’échantillonnage doit se faire sur l’ensemble de la zone d’étude (en sélectionnant des points aléatoirement sur cette zone), ce qui demande des moyens nettement différents !

-Protocole STOC EPS des Ecrins :

Q1 : « Quelles sont les tendances d’évolution des effectifs des espèces d’oiseaux montagnardes du parc national des Écrins ? ». Le programme STOC EPS est un protocole extrêmement bien cadré à l’échelle nationale ; pour l’application dans le parc, il semble cependant difficile de répondre à la question posée avec ce protocole. En effet dans l’onglet de détails de hiérarchisation des sites on peut lire : « PEU DE SITES D'ETUDE, REFLECHIR A LA REPRESENTATIVITE DE CES SITES AVANT D'EXTRAPOLER LES RESULTATS A UNE ZONE PLUS GRANDE… » et "DU FAIT DE REPARTITIONS NON - ALEATOIRE DE CERTAINES UNITES GEOGRAPHIQUES, LES RESULTATS OBTENUS SUR LES NIVEAUX SUIVANTS SEMBLENT DIFFICILEMENT INTERPRETABLES: -ENSEMBLE DE L’AIRE GEOGRAPHIQUE et - ZONES DU PARC". Ces deux commentaires fournis par la grille sont dus au décalage entre la question et le protocole proposé. Le programme STOC est en effet un programme national, représentant des milliers de points d’écoute répartis sur l’ensemble du territoire. Une ampleur qui permet de minimiser le fait que certains sites soient choisis de façon non-aléatoire, par exemple. A l’échelle du parc, nous avons 80 points d’écoute, restreints à 8 sites (Transects). Ce protocole a des résultats excellents en y entrant ses composantes nationales, mais ceci semble moins évident pour une question locale. La question aurait pu être : « Quelles sont les tendances d’évolution des effectifs des espèces d’oiseaux : participation du parc des écrins au programme de suivi temporel des oiseaux communs » ou encore « Quelles sont les tendances d’évolution des effectifs des espèces d’oiseaux : participation du parc des écrins au suivi des espèces montagnardes » dans le cadre d’une analyse des données communes à toutes les zones d’altitude ou ces points d’écoute sont effectués. Pour répondre à la question posée à l’échelle du Parc, la répartition spatiale des points d’écoute pourrait par exemple être repensée, ou, comme c’est en projet actuellement aux Ecrins, des points complémentaires peuvent être mis en place (ici dans le cadre d’un partenariat).

3_Tempérer : Estimations de la précision de l’opération de collecte :

Pour des raisons pratiques, les calculs de précision ne prennent pas en compte les réplicats de mesure. Dans le cas de l’étude sur le Pic de la Guadeloupe, 4 réplicas de mesure sont effectués chaque année sur chaque site. L’analyse, (sans ces réplicas) nous dit : "ON DETECTE DES RESULTATS PEU PRECIS : TROP PEU DE MESURES POUR APPREHENDER LE JEU DE DONNEES SUR UN PAS DE TEMPS" mais précise : " ATTENTION : LE CALCUL CI-DESSUS NE CONSIDERE QU'UN SEUL REPLICAT DE MESURE PAR SITE". Dans un cas comme celui-ci, une analyse plus approfondie des données obtenues doit être faite afin d’estimer efficacement la précision du protocole entrepris (on ne parle plus ici de méthodologie mais de puissance du jeu de données). Il faudra donc passer par des tests de puissance prenant en compte les variabilités intra-site, inter-site et inter annuelles pour connaître la précision exacte du protocole. On pourra alors dire : « notre méthode peut détecter une variation de la population de tapeurs supérieure à 10% par an, ou supérieure à 5% tous les 3ans » (les valeurs données sont à titre d’exemple). Si les résultats de la grille ne répondent pas à vos exigences sur cette question de précision, des programmes de test de puissance sont actuellement en cours de conception au CEFE/CNRS de Montpellier.

GLOSSAIRE / RAPPELS

RETOUR HAUT DE PAGE

Echantillonnage : (Diaporama -> Diap. N°96 à 205). L’échantillonnage a pour but de ne pas étudier l’ensemble d’un système, mais d’étudier des sous-unités représentatives de celui-ci, afin de trouver le meilleur compromis entre l’effort fournis, les moyens engagés, et la qualité de l’estimation obtenue (Diap. N°107 & 118). Un échantillonnage spatial consiste à ne pas appliquer un protocole sur l’ensemble du territoire mais seulement sur certains « sites ». Un échantillonnage dans le temps consiste à ne pas appliquer un protocole en continu, mais à faire quelques passages à intervalles prédéfinis. Toute la difficulté de l’échantillonnage se trouve dans la définition du « système » que l’on souhaite étudier (qu’on nomme « population statistique »), et dans la définition d’un échantillon qui soit représentatif. (Diap. N°.122).

Echantillon : L’échantillon (Diap. N°106) est l’ensemble des sous- unités provenant d’une sélection au sein de la ‘population statistique’ (cf. échantillonnage). Il s’agit en général d’unités géographiques, d’individus, de prélèvement de sol… Les échantillons sont presque aussi divers que les protocoles existants. La taille de l’échantillon est le nombre de sous-unités étudiées. L’échantillon est, autrement dit, l’ensemble des individus statistiques mesurés (cf. Individu statistique). De la taille de cet échantillon va dépendre la précision des résultats obtenus. (Diap. N°119 & 120).

Individu statistique : Source de confusion lors de l’analyse des données, l’individu statistique doit être défini précisément : c’est l’unité STATISTIQUE qui composera le jeu de données obtenu sur le terrain suite à la saisie (Diap. N°106). Dans certains cas, individu statistique et individu biologique se confondent : par exemple lorsque l’on prélève des écailles sur des poissons, chaque donnée obtenue (individu statistique ici une écaille) correspond à un individu biologique. Si on prélève plusieurs écailles sur chaque poisson plusieurs individus statistiques appartiennent au même individu biologique. Dans d’autres cas, par exemple lors de comptages Wetland, l’individu statistique sera l’effectif relevé ; en effet c’est bien cette information qui viendra remplir les cases des tableaux de données et qui sera analysée par la suite. Alors plusieurs individus biologiques formeront un individu statistique. Lorsque l’on fait des relevés en présence-absence sur des placettes, l’individu statistique est… la placette.

Population statistique : A la manière d’une population au sens biologique, la population statistique est l’ensemble des individus statistiques potentiellement mesurables lors d’une campagne d’échantillonnage (Diap. N°106). Pour reprendre l’exemple ci-dessus, lors de relevés en présence-absence, ma population statistique est l’ensemble des placettes potentiellement présentes sur mon aire géographique (soit l’ensemble du territoire). La population statistique d’un comptage « Wetland » sera, l’ensemble des zones humides étant potentiellement incluses dans le programme.

Variable : Une variable est une entité que l’on s’atèle à mesurer. Dans le cadre de la création d’un protocole nous cherchons à mesurer une variable cible, ceci, si possible, précisément et sans trop de biais (d’où l’importance de bien définir cette variable) ; et d’éventuelles variables explicatives, susceptibles d’influencer les valeurs mesurées. Le taux de feuilles mortes dans la litière, le succès de reproduction d’Apis mellifera en 2010, la température minimale, la moyenne annuelle des précipitations, la population totale de telle ou telle espèce, sont autant de variables de notre environnement.
Par exemple :

Paramètre : Le terme de paramètre est utilisé pour décrire la synthèse chiffrée d’une ou plusieurs variables (sous forme d’une moyenne par exemple). Les paramètres sont principalement utilisés dans l’analyse des données.

Standardisation : Fait de fixer un standard : une valeur ou une fourchette de valeurs imposées pour la réalisation du protocole (entre telle et telle date, sur une surface de X mètres carrés…). (Diap. N°117)

Hiérarchisation : (Diap. N°141 & 142). Fait de répartir les unités mesurées selon une logique hiérarchisée. Exemples :

Stratification : (Diaporama - Diap. N°138 à 140). Stratifier les données consiste à créer des groupes dans la population statistique (cf. « population statistique, p. précédente ») ; lorsque l’on suppose que les variables mesurées sont plus homogènes à l’intérieur d’un groupe qu’entre ces groupes. On peut par exemple stratifier par type d’habitat, par classe d’âge dans la population observée, etc.

Effort : L’effort correspond au temps total passé sur le terrain. La quantité de données recueillies est généralement proportionnelle à l’effort de terrain développé et plus celle-ci est grande, plus l’échantillon sera grand, et donc plus l’étude fournira des résultats précis. (Diap. N°123)

Précision : (Diaporama -> Diap. N°113 à 117). Lors de l’application d’un protocole sur le terrain, il s’agit toujours d’estimer la valeur d’un paramètre à partir de nos données (moyenne, variance, différence…). La qualité et la quantité de ces données déterminera la précision de l’estimation obtenue.

Biais : Le biais est la différence entre le résultat d’une mesure d’une variable et sa valeur réelle (généralement inconnue). Attention ! Le biais n’est pas lié à la précision. En effet un protocole peut fournir des mesures précises, mais biaisées et vice-versa (si un thermomètre de pointe est mal calibré, il fournira des mesures très précises, en lesquelles on aura d’autant plus confiance, mais ces données ne correspondront pas à la valeur réelle de température). (Diap. N°123).

CONCLUSION

RETOUR HAUT DE PAGE

Une des missions des organismes de gestion du patrimoine naturel est de recueillir des informations fiables sur son territoire. Mesurer les dynamiques et les tendances qui l’animent est un défi très ambitieux, auquel s’attellent les équipes des parcs depuis plusieurs dizaines d’années. Loin de l’image de « l’équilibre naturel », un mythe occidental, la biosphère est un organisme en perpétuelle transformation, difficile à appréhender. Une dynamique rendue encore plus complexe aujourd’hui par la très forte influence de l’homme sur les milieux naturels. Dans ce contexte, quelles informations peut-on obtenir, avec les moyens disponibles ? Dans quel but ? Les données obtenues seront-elles à la hauteur des moyens investis, en termes de conservation et de science ?

La question est à prendre au sérieux, il est donc tout à fait justifié de s’interroger sur les protocoles menés sur le terrain : lors d’une étude, les biais s’accumulent entre le phénomène observé, l’observateur, sa méthode, la donnée obtenue et son analyse finale. Ces biais sont intrinsèques à notre condition d’observateur. Cependant, il est possible de les minimiser, et de les évaluer pour obtenir des données aussi fiables que possible. Les questions posées dans la grille d’évaluation ont pour objectif de faire le tour des biais principaux susceptibles d’apparaître, en appliquant le raisonnement d’un méthodologiste. On ne trouvera pas dans cet outil, comme chacun pourrait s’y attendre, un cahier composé de méthodes préconçues à utiliser partout. Bien au contraire, ce document incite chacun à mener sa propre réflexion à ce sujet, tout en rappelant les règles associées à la création d’un protocole.

L’objectif est d’éviter tous les travers des « recettes de cuisine » : on ne prend pas le temps d’observer le terrain, ni de se poser des questions qui doivent précéder l’étude et non pas se présenter une fois les données récoltées (à quelle question est-ce que souhaite répondre ? Quels types de données vais-je obtenir après ma mesure et comment vais-je les analyser ? Quelles variables risquent d’influencer mes données et dans ce cas lesquelles dois-je relever ?…). La création d’une étude de terrain adaptée demande une attention particulière aux dynamiques locales, pour anticiper les biais et tendances sur les données obtenues, et donc une observation perpétuelle du terrain. Sur ce point, les équipes des Parcs nationaux, notamment grâce à la sensibilité naturaliste des thématiciens et des agents de terrain (une richesse à préserver et encourager !), ont toutes les cartes en main pour réaliser et créer des protocoles de qualité.

Note : La grille présentée ici ne pratique qu’une analyse grossière des données. Une fois la méthodologie fixée, on peut également utiliser des outils statistiques pour estimer la précision des protocoles. Ces outils (« Tests de puissance ») sont actuellement en cours de conception, ils sont simples à utiliser et permettent d’optimiser l’effort de terrain. Un regard tout à fait complémentaire à cette grille, mais très différent : les biais éventuellement détectés par la grille faussent les résultats obtenus, quelque soit leur degré de précision !