Méthodes pour analyser le travail des utilisateurs

12 méthodes sont définies dans la norme ISO/TR 16982 (en 2002).
Facteurs influençant le choix des méthodes :

• Etapes du cycle de vie
• Caractéristiques des utilisateurs
• Caractéristiques de la tâche à exécuter
• Produit ou système lui-même
• Contraintes du projet
• Degré d'expertise en ergonomie disponible au sein de l'équipe

La norme ISO/TR 16982 décrit les 12 méthodes suivantes :

1. Observation des tâches utilisateurs
2. Mesures relatives aux performances
3. Incidents critiques
4. Questionnaires
5. Interviews
6. Penser à haute voix
7. Conception et évaluation collaboratives
8. Méthodes de créativité
9. Méthodes basées sur des documents
10. Approches basées sur des modèles
11. Évaluation par expertise
12. Évaluation automatisée

Je détaille ici quelques méthodes que j'ai l'habitude d'utiliser.

Pour les définitions précises de ces 12 méthodes se reporter à la norme ISO/TR 16982.

1. Observations des tâches des utilisateurs

L'observation est un outil de recueil des données. Ces données seront utilisées pour décrire et expliquer comment les opérateurs procèdent pour réaliser un ensemble plus ou moins complexe de tâches.

L'observation permet de mettre en évidence, selon les différentes séquences de travail, l'intention sous-jacente à l'action. L'analyse fine doit donner une base de compréhension suffisante de l'activité déployée.

Les observations en temps réel permettent de recueillir:

• les gestes, les postures, les déplacements
• les prises d'informations de l'opérateur,
• la nature des informations prélevées et leur support,
• les actions de l'opérateur et leurs résultats
• les communications

Toutes ces catégories peuvent être prises en compte lors de l'observation, mais leur intérêt est d'inégale importance suivant la nature du travail et les objectifs de l'étude.

Il faut rappeler qu'il n'est possible d'observer que ce qui est observable. Il est donc impossible d'observer directement :

• les objectifs et sous-buts de l'opérateur,
• ses représentations,
• ses raisonnements,
• ses modes de traitement de l'information,
• la hiérarchisation des connaissances...

On ne doit donc pas confondre observer le travail d'un opérateur et "se mettre à sa place", imaginer les raisons des actes de cet opérateur. Exemples :

• "Il tend le bras en direction de" ne doit pas être observé en tant que "il veut attraper";
• "Il est immobile" ne doit pas être observé en tant que "il attend".

L'observateur doit donc faire preuve de rigueur pour réaliser une description fiable de la situation observée.

Les observations directes de l'activité au poste de travail peuvent s'assortir de verbalisations, selon un protocole précis, de façon à perturber le moins possible l'opérateur en activité.

Parallèlement, un film vidéo peut être effectué. L'enregistrement vidéo permet une analyse fine des comportements verbaux et non-verbaux, notamment si l'on veut ensuite confronter les données avec l'opérateur.

L'observation nécessite la construction d'un protocole à partir d'un catalogue des variables observables:

• déplacements,
• prises d'informations,
• comportements...

On établira également des plans d'observation en tenant compte des paramètres suivants

• Variations possibles des conditions d'exécution de la tâche:
  suivant le moment de la journée où la tâche est réalisée, il peut y avoir des contraintes temporelles.
• Enchaînement des étapes: une même tâche (faire un dossier par exemple)
  peut être réalisée en plusieurs étapes et par plusieurs opérateurs.
• Variations des représentations: utilisation différente des informations en fonction de la qualification des opérateurs.

On déterminera donc en fonction de tous ces paramètres:

• le mode d'observation: continu ou par séquences
• la durée, la fréquence et le moment de l'observation
• les objets de l'observation: lieu géographique, postes, opérateurs.

2. Entretiens ou interviews des utilisateurs

L'entretien avec les opérateurs permet de connaître leur propre conception de la tâche.
C'est une des premières techniques que l'on utilise en analyse du travail.

On peut se situer dans l'un des cas suivants :

En ergonomie, on utilise en général , l'entretien ouvert individuel, centré sur les activités de travail :

• Travail que fait l'opérateur
• Organisation du travail
• Relations de travail

L'ergonome reformule sans les interpréter les éléments qui permettent de décrire la représentation qu'à l'opérateur de sa tâche.

Il est cependant utile de garder en mémoire un guide d'entretien.

Il n'est pas nécessaire d'être directif dans les questions posées: ce sont les "points" essentiels qu'il faudra aborder au cours des conversations familières avec les opérateurs.

Les questions sont posées en vue de décrire précisément les tâches effectuées par l'opérateur.

Il peut être intéressant d'avoir des entretiens avec d'autres opérateurs ou avec les supérieurs hiérarchiques qui donneront une description différente ou plus théorique des tâches.

Plusieurs méthodes peuvent être utilisées au cours de l'entretien :

• on peut préparer une liste de thèmes par séance, organisés du général au particulier
• on peut fractionner les séances d'entretien de façon à mieux préparer les entretiens
  suivants à partir des auditions intermédiaires.

La technique d'entretien peut être affinée par la suite :

• en particulier pour préciser l'arbre des cheminements du traitement de l'information
  dans une tâche particulière.
• pour demander au sujet ce qui se passerait s'il utilisait telle autre méthode
  pour résoudre le problème.

Il faut noter certaines difficultés relatives à la technique d'entretien:

• L'opérateur peut expliquer ce qu'il devrait faire et non pas ce qu'il fait réellement.
• Il convient de bien repérer la conduite par rapport aux procédures "officielles".
• L'opérateur n'a pas forcément la capacité d'analyser les processus mis en jeu
  pour réaliser sa tâche.
  Il convient d'essayer de les formuler ou tout au moins d'en avancer les hypothèses.

3. Analyse des documents de travail

Il existe toujours des travaux, des études, ayant le plus souvent donné lieu à des rapports écrits, sur les situations de travail à analyser. Ces travaux doivent être recensés et analysés du point de vue de la méthodologie que l'on suit pour le recueil des données

Où rechercher ?

• Dans les manuels de formation
• Dans le règlement intérieur
• Auprès des services (hiérarchie, services amont et aval, personnel,
  méthodes, bureaux d'études).

4. Verbalisations

Les verbalisations reposent sur la confrontation des données recueillies sur l'activité
avec les données exprimées par les opérateurs.

On distingue plusieurs catégories de verbalisations:

• les verbalisations spontanées
• les verbalisations pendant le travail ou auto-confrontation interruptive,
  l'observateur posant des questions (du type pourquoi faites-vous ceci...)
  pendant son observation.
• les verbalisations sur des traces : films, photos, résultats d'observations.

5. Auto-confrontation

L'auto-confrontation est bien une situation qui permet la production d'une verbalisation d'un opérateur lorsqu'il est confronté aux données recueillies sur son activité et qu'il répond aux questions portant directement sur ces données.

L'auto-confrontation de l'activité à partir d'un enregistrement vidéo permet une analyse fine de l'activité du fait des possibilités de retour en arrière et des arrêts sur image. Utilisée conjointement avec la technique d'entretien, elle la complète par des données plus objectives.

Pour utiliser cette technique, l'observateur doit respecter certaines règles:

• les données présentées à l'opérateur doivent être suffisamment complètes
  et sous une forme compréhensible;
  elles doivent correspondre à des séquences d'activité logique pour l'opérateur
  ou à l'intégralité d'une opération.
• l'écart de temps entre l'observation et la présentation des données
  doit être le plus faible possible,

L'utilisation de l'auto-confrontation permet de:

• valider les données d'observation
• d'inventorier les informations jugées pertinentes et utilisées par l'opérateur
• préciser les processus cognitifs mis en jeu par les opérateurs et la logique d'action.

6. Analyse des traces

L'analyse des traces, c'est l'étude des résultats du travail et peut s'apparenter
d'une certaine manière à l'observation.
L'analyse doit permettre d'éclairer les processus de travail.

On peut étudier:

• les gestes
• les documents de travail,
• les communications enregistrées
• les défauts et rebus de la production.

L'analyse reste cependant insuffisante pour inférer les traitements de l'information effectués par les opérateurs .

Mais elle est une précieuse source de renseignements concernant les écarts entre les objectifs théoriques assignés et les objectifs atteints.

Ainsi on pourra relever le nombre et la nature des problèmes traités et s'orienter plus spécifiquement sur l'étude des dysfonctionnements ou l'analyse d'un mode opératoire particulier.

L'étude des traces supposent la réalisation des étapes suivantes:

• recueil des données à partir d'un échantillon représentatif
• description des éléments d'information
• analyse des résultats
• élaboration d'hypothèses sur les processus cognitifs mis en jeu.

7. Analyse des mouvements oculaires

L'utilisation d'études des mouvements oculaires en ergonomie est ancienne (Chapanis et al, 1949). On distingue :

• les mouvements fins des yeux (saccades, fixations, tremblements, dérives....),
• et les directions de regards, c'est-à-dire simplement la localisation de la source,
  et les stratégies perceptives pour discriminer la source explorée
  au sein d'un champ d'informations disponibles.

L'appareil le plus utilisée est le Nac Eye Marker, appareil japonais, raccordé à une caméra ou un magnétoscope, qui se fixe sur la tête, et permet de garder la mobilité des mouvements de la tête.

Grâce à un système optique, on enregistre simultanément :

• le champ qui s'offre aux regards des sujets
• les mouvements oculaires repérés par le reflet d'un faisceau lumineux
  sur la cornée de l'oeil droit.

8. Incidents critiques

La méthode des incidents critiques de Flanagan (1954) —article téléchargeable au format pdf—permet de recueillir, à partir d' entretiens individuels, les incidents que les opérateurs ont jugés critiques pour leur travail à un moment donné.

La consigne permet de faire varier la catégorie d'incidents de telle sorte que l'opérateur peut rapporter

• des incidents mineurs
• ou des incidents graves,
• l'accident étant le cas limite, ayant eu des conséquences différentes.

Cette méthode est particulièrement adaptée au repérage des dysfonctionnements.

L'utilisation des scénarii de situations critiques permet d'évaluer

• les conséquences des erreurs
• ou retards sur la sûreté des procédures existantes,

c'est-à-dire d'inventorier et de décrire :

- les principaux déterminants de l'activité d'un ou de plusieurs opérateurs et donc les conditions de la fiabilité humaine

- les effets (conséquences)de ces déterminants sur le système socio-technique considéré

- les régulations (réponses) des opérateurs à ces effets (charge de ces dysfonctionnements)

- les résultats de la production en termes de:

• performance quantitative
• performance qualitative
• sûreté du matériel utilisé
• sûreté des informations entrées ou sorties

9. Analyse de la charge de travail

Les techniques d'évaluation de la charge de travail peuvent être classées selon 4 catégories (Spérandio 1980) :

Les indicateurs physiologiques

Plusieurs indicateurs physiologiques sont capables de fournir des renseignements indirects du travail mental en particulier ceux qui permettent d'étudier l'activité oculaire: mouvements des yeux, direction des regards, clignements palpébraux, distance oeil-tâche.

Le problème des indicateurs physiologiques en général, c'est qu'il nous renseigne médiocrement sur la difficulté réelle de la tâche pour l'opérateur.

Les indices de sentiment de charge

A partir de techniques psychométriques d'évaluation, on interroge les opérateurs non pas sur leur sentiment global de charge, mais sur des critères précis: tâche, poste de travail, facteur particulier comparé à tel autre, sous telle condition.

On peut également faire classer les facteurs d'exigence par les opérateurs eux-mêmes si l'on dispose d'une population assez nombreuse, de façon à dégager les facteurs les plus apparents.

La technique de la tâche ajoutée

La technique consiste à saturer la capacité de travail de l'opérateur par une deuxième tâche ajoutée à la principale et d'évaluer la détérioration de la performance qui en résulte.

Le principe de cette technique repose sur la notion de capacité résiduelle non utilisée par une tâche lorsque celle-ci induit une charge inférieure à la capacité limite de l'opérateur.

La tâche additionnelle sert donc à mesurer la capacité résiduelle qui n'est pas utilisée par la tâche principale lorsqu'elle est effectuée seule.

L'analyse des variations des comportements opératoires

L'évaluation de la charge repose sur les caractéristiques de régulation. Lorsque la charge dépasse le niveau admis par l'opérateur, celui-ci va transformer les caractéristiques du travail: soit par un changement de méthode dans la réalisation de sa tâche, soit par une modification des exigences du travail.

Le repérage de ces changements constituera un indicateur de l'accroissement des exigences pour l'opérateur.

On peut interpréter les changements de modes opératoires comme reflétant un processus de régulation qui répond à la nécessité de maintenir la charge globale à un niveau inférieur à la capacité limite, pour qu'il n'y ait pas de dégradation de la performance.

Sur le terrain, la difficulté essentielle est de bien discriminer :

- entre les changements attribuables aux effets régulatoires

- et ceux qui constituent directement une réponse adaptée aux nouvelles conditions de la situation de travail.

10. Apprentissage du métier

Cette technique peut être utilisée pour l'approche de tâches simples .

Elle comporte des avantages et des inconvénients :

• Elle permet de se rendre compte des difficultés rencontrées par les opérateurs.
• Compte tenu de la formation de l'ergonome et de ses objectifs d'apprentissage,
  elle ne permet pas d'accéder à des données objectives.

11. Expérimentation

L'expérimentation sur le terrain des variables choisies dans le but d'éprouver une hypothèse doit pouvoir se développer de plus en plus si l'on veut aboutir a une méthodologie rigoureuse de conception ergonomique des systèmes informatiques.

Il faut souligner que le "bon sens" ne suffit pas. Il est nécessaire de manipuler les variables.

Seule l'expérimentation permet de répondre aux questions que le praticien se pose.

Dans la méthode expérimentale, c'est l'expérimentateur qui modifie à son gré la condition dont l'hypothèse permet d'attendre qu'elle joue le rôle de cause (variable indépendante).

Il observe les effets de cette modification sur la conduite étudiée (variable dépendante).

Par exemple, en fonction de la qualification des sujets et le type de dossier étudié (variables indépendantes), comment va varier la demande d'information (variable dépendante).

Il faut souligner que:

• l'expérimentation n'impose pas nécessairement une modification de la situation habituelle, mais un choix judicieux des variables de la situation.
• une des difficultés sur le terrain est de ne pouvoir rendre indépendantes certaines variables, du fait des effectifs réduits (par ex, l'âge et l'expérience, les sujets expérimentés étant souvent plus âgés).

Pour que les résultats soient corrects, il faut que l'expérience soit construite selon un plan expérimental rigoureux.

Information à la demande

On peut également faire une expérimentation à partir de l'observation d'une situation-problème fabriquée à dessein par l'analyste:

On demande au sujet de penser "tout haut". Cette verbalisation provoquée permet de tester simplement certaines situations-problèmes que l'on a choisit et de déterminer les informations minimales et maximales.

On place le sujet devant une situation-problème dépourvue d'information, et celui-ci doit demander les informations dont il a besoin pour réaliser sa tâche.

Cette technique "d'information à la demande" permet de recueillir toutes les informations jugées pertinentes par l'opérateur pour traiter un dossier par exemple.

Elle a l'intérêt de placer les sujets dans une situation d'interrogation, relativement proche d'une situation de travail sur écran par exemple.

12. Simulation

Enfin on situera les expériences de simulation, très efficaces, puisque les variables ne sont pas aussi nombreuses que dans la réalité.

La simulation est un modèle auquel on fait subir des modifications.

On expérimente peut-être plus facilement si l'on travaille sur un simulateur mais on déplace aussi le problème puisque va se poser la question de l'adéquation du simulateur à la situation réelle, débat éternel de l'expérimentation sur le terrain et en laboratoire.

La situation de simulation repose sur des données recueillies en situation réelle et fait intervenir des opérateurs professionnels. Elle anticipe la situation future.

Autrefois très coûteuses, les simulations peuvent se réaliser de plus en plus grâce au maquettage et prototypage des systèmes informatiques.

Validation

La validation constitue la phase finale de l'expérimentation ergonomique.

Il faut vérifier si le poste de travail transformé selon les résultats de l'expérience, permet les performances attendues.

Il est nécessaire de définir dès que possible un ou plusieurs critères de validation, c'est-à-dire de choisir parmi les variables "sorties" du système, celles qui permettront d'évaluer les effets d'une intervention ergonomique.

Le choix des critères est un problème d'optimisation entre:

• les critères économiques: coût de fabrication et coût de fonctionnement.
• les critères de temps: on cherche généralement à minimiser les temps.
• les dysfonctionnements: minimiser le nombre.
• les performances: qualité du produit fabriqué, pourcentages de bonnes réponses.

Les variables dépendantes recueillies au stade de l'expérimentation peuvent constituer les critères.

Pour en savoir plus

Bibliographie suggérée par l'auteur

http://usability.jameshom.com/biblio.htm