Date post: | 03-Apr-2015 |
Category: |
Documents |
Upload: | leonard-bellanger |
View: | 109 times |
Download: | 4 times |
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
1Unit B-Introduction(c) elsaddik
SEG 3520
Conception et implémentation d’interfaces usagers
Prof. Dr.-Ing. Abdulmotaleb El Saddik
University of Ottawa (SITE 5-037)
(613) 562-5800 x 6277
elsaddik @ site.uottawa.ca
abed @ mcrlab.uottawa.ca
http://www.site.uottawa.ca/~elsaddik/
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
2Unit B-Introduction(c) elsaddik
Unité B: Évaluation de l’IU
1. Objectifs de l’évaluation de l’interface usager
2. Place de l’évaluation dans le processus de développement
3. Étude de cas préliminaire: Réservations dans un hôtel
4. Regard sur les méthodes d’évaluation d’interfaces
5. Détails: évaluation heuristique
6. Analyses des défauts de fonctionnement
7. Détails: Évaluation d’une bande vidéo
8. Détails: Expérimentations
9. Détails: technologie de convivialité (usability engineering)
10. Détails: détection Cognitive
11. Points essentiels à revoir
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
3Unit B-Introduction(c) elsaddik
1. Objectifs d’évaluation de l’interface usager
Objectif clé de la conception et de l’évaluation de l’IU:
•Minimiser les défauts de fonctionnements
Principale raison de l’importance de l’évaluation:• Sans évaluation, le concepteur travaillera comme s’il avait les
yeux bandés.• Les Designers ne sauront pas s’ils sont en train de résoudre les
problèmes des clients de la façon la plus productive.
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
4Unit B-Introduction(c) elsaddik
1. Objectifs d’évaluation de l’interface usager
Questions répondues par diverses techniques d'évaluation :
1. Quelle est la vraie tâche de l’usager?• Prévenir les défauts de fonctionnement
• en faisant de l'évaluation une étape de l'analyse des spécifications
• Présenter et travailler avec un IU• pour aider à formuler les exigences
• Tâches/exigences inappropriées constituent les sources majeures des défauts de fonctionnements
2. Quels sont les problèmes éprouvés par les usagers des IU? • Trouver directement les défauts de fonctionnement
3. Lesquelles des différentes alternatives d’IU est la meilleure?• Sélectionner la version qui mène à peu de défauts de fonctionnement
4. Est ce que l’IU a atteint les buts de convivialité?• Assurez-vous que le nombre de défauts de fonctionnement est minime
5. Est ce que l’IU est conforme aux standards?• Puissance de la « sagesse » collective pour réduire des défauts de
fonctionnement
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
5Unit B-Introduction(c) elsaddik
1. Objectifs d’évaluation de l’interfaces usager
Mais, afin que l’évaluation donne une rétroaction aux designers...
...on doit comprendre pourquoi un défaut de fonctionnement se produit…
Analyse des défauts de fonctionnement:• Déterminer pourquoi un défaut de fonctionnement se produit• Déterminer comment éliminer un défaut de fonctionnement
On discutera de ceci dans cette unité.
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
6Unit B-Introduction(c) elsaddik
2. Place de l’évaluation dans le processus de développement
Tout au long du cycle de vie !• Durant l’esquisse ou le prototypage• Durant le design itératif.
L’évaluation est meilleure • Surtout lorsque l’usager est impliqué
Évaluation formative:• Lorsqu’on design ou maintient un logiciel qu’on développe
Évaluation sommative:• Lorsque le produit fini est jugé par quelqu’un d’autre
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
7Unit B-Introduction(c) elsaddik
3. Étude de cas préliminaire: Réservations dans un hôtel
Évaluation d’IU effectuée pour «Forte Travelodge» dans un lab spécial de convivialité
Buts:• Identifier et éliminer les défauts de fonctionnements
• Par conséquent, le système est plus simple à utiliser• Éviter les difficultés à l’emploi causées par ces défauts de
fonctionnements.• Développer du matériels améliorés et documentés.
• Prévenir les défauts de fonctionnement en enseignant aux utilisateurs comment les éviter.
Installation de laboratoire de convivialité d'IBM :• Ressemble à un studio de TV
• Équipements visuels et microphones• Miroir opaque• Techniciens et observateurs assis d’un côté• Usagers assis de l’autre côté dans un environnement réaliste
• Environnement usager ressemble à un bureau de réception• Pas de menaces
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
8Unit B-Introduction(c) elsaddik
3. Étude de cas préliminaire: Réservations dans un hôtel
Aspects du système à évaluer:• Comment rapidement une réservation peut-être effectuée?
• (Pendant que l’utilisateur est au téléphone)• Est ce que chaque écran est bien employé?• Est ce que les messages d’aide et d’erreurs sont efficaces?• Est ce qu’un utilisateur non familié avec les ordinateurs peut
utiliser le système?• Est ce que la complexité est minimisée?
• Est ce que la formation et la documentation sont efficaces?
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
9Unit B-Introduction(c) elsaddik
3. Étude de cas préliminaire: Réservations dans un hôtel
Procédure:• 15 scénarios de tâches courantes sont développés:
• Entre autres: inscription élémentaire, annulation, demande pour une chambre spécifique, extension d’un séjour, etc.
• Le test a duré quatre jours avec différents usagers effectuant un ensemble de tâches variées
• Les usagers ont été informés que l’évaluation concerne le système et non leur performance.
• Toutes les actions ont été enregistrées.• Des comptes rendus des séances ont été réalisés.
• Analyse des vidéos pour détecter les défauts de fonctionnement
• 62 défauts identifiés.• Priorités:
• Vitesse de navigation à améliorer• Titres des écrans et formats doivent être adaptés.• Difficile de faire référence à la documentation• Difficultés physiques avec les écouteurs téléphoniques et les
équipements.
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
10Unit B-Introduction(c) elsaddik
3. Étude de cas préliminaire: Réservations dans un hôtel
Résultats:• Productivité plus élevée du personnel effectuant des
réservations• Tâches complétées plus rapidement
• Meilleures atteintes des exigences des clients• Coûts de formation restent peu élevés• Bon moral
• augmentation des réservations par téléphone.• 14500 27000 par semaine.
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
11Unit B-Introduction(c) elsaddik
4. Regard sur les méthodes d’évaluation d’interface
• Trois types de méthodes• Évaluation passive
• Évaluation active
• Évaluation prédictive / inspections de convivialité• Tous les types de méthodes sont utiles pour des résultats
optimals• Utiliser en parallèle
• Tous tentent de prévenir les défauts de fonctionnements
• Avant d’essayer une méthode, il faut faire des études préliminaires.
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
12Unit B-Introduction(c) elsaddik
4. Évaluation passive
• L’utilisation du logiciel est «surveillée» (création d’un log file)• Exécuter durant le prototypage (tests alpha et après).• Ne pas chercher activement des défauts de fonctionnement
• les chercher seulement lorsqu’ils se produisent rarement (mais qu’ils sont graves). Les défauts de fonctionnement peuvent ne pas être trouvés.
• Exige généralement une utilisation réaliste du système• Les défauts de fonctionnement frustrent les utilisateurs
Recueillir l'Information:a) Suivi des problèmes:
• Les utilisateurs devraient avoir une manière facile de faire connaître leur insatisfaction et leurs suggestions
• Meilleur si integré au logiciel.
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
13Unit B-Introduction(c) elsaddik
4. Évaluation passive: collecte d’informations
b) Journal automatique crée par le logiciel (logs)• Peut fournir plus d’informations à propos…
• des tâches les plus souvent exécutées• de la fréquence de certaines erreurs et des opérations réalisées
avant l’obtention d’une erreur• des opérations non complétées (un signe de défauts de
fonctionnement)
• La sécurité des données est un souci
• Le système doit être conçu pour pouvoir être testé (DFT – Design for Testability)
• Le journal peut inclure:• Les touches sur lesquelles l’usager appuie, clics de souris• détails complets des interactions usager-système
• Permet de reproduire l’erreur plus facilement
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
14Unit B-Introduction(c) elsaddik
4. Évaluation passive: collecte d’informations
c) Questionnaires / sondages• Utile pour obtenir des données statistiques d'un grand nombre
d'utilisateurs• Les moyens statistiques appropriés sont nécessaires pour analyser
les résultats
• Recueillir des données subjectives au sujet de l'importance du défaut de fonctionnement• Un journal automatisé ne précise pas l'importance du défaut de
fonctionnement• les défauts de fonctionnement moins fréquents peuvent être plus
importants• les utilisateurs peuvent donner la priorité à des certaines
améliorations
• Limite sur le nombre de questions
• Très difficile de bien exprimer les questions
• Les questions peuvent être à choix multiples ou à développement
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
15Unit B-Introduction(c) elsaddik
4. Évaluation active
• Étudier certaines activités exécutées par les utilisateurs• Effectuer lors du prototypage et après.
Recueillir l’information:d) Expérimentations et technologie de convivialité
• Prouver les hypothèses au sujet des attributs mesurables d'une ou plusieurs IU• e.g. vitesse/apprentissage/précision/frustration
• Dans un test de technologie de convivialité, tester des éléments pré-établis
• Peut être coûteux
• Connaissance des statistiques exigées
• Difficile de contrôler toutes les variablese) Séances d’observation
• Aussi appelé “évaluation interprétative”
• Simple observation ou évaluation coopérative
• Décrite en détail plus loin
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
16Unit B-Introduction(c) elsaddik
4. Évaluation prédictive
• Études du système par des experts plutôt que des utilisateurs• Effectuée quand les besoins de l’IU sont spécifiés et plus tard
• Utile avant le prototypage• Peut éliminer beaucoup de défauts de fonctionnement avant
que les utilisateurs n’aient vu le logiciel• Appelée aussi “inspection de convivialité”
Recueillir l’information:f) Évaluation heuristique
• Basé sur le document principal de conception de l’IU
• Analyse si chaque instruction adhère au contexte de la tâche et des utilisateurs
• Peut également verifier l’adhérence aux normesg) Détection cognitive (Cognitive walkthroughs)
• Analyse étapes par étapes:• des étapes devant être exécutées pour réaliser la tâche• des buts poursuivis par les utilisateurs en accomplissant ces tâches• de la manière dont le système guide l’utilisateur à travers les tâches
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
17Unit B-Introduction(c) elsaddik
Sommaire des évaluations techniquesTechnique Quand l’utiliser
a) Signalisation d’un problème
Toujours
b) Journal automatique (logs)
Dans tout système modérément complexe et partout où il y a de grands nombres et beaucoup de commandes
c) Questionnaires Quand il y a beaucoup d’utilisateurs
d) Expérimentation et technologie de convivialité
Dans des cas spéciaux où il est difficile de choisir entre les différentes alternatives, ou quand il faut être très précis («fine tuning»)
e) Séances d’observation
Presque toujours, particulièrement quand l'utilisateur doit interagir avec un client tout en utilisant le système
f) Évaluation heuristique
Toujours
g) Cognitive Walkthrough
Quand la convivialité doit être optimisée
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
18Unit B-Introduction(c) elsaddik
Comparaison des questions essentielles des évaluations techniques
A Prob
B Log
C Q?
D Exp
E Obs
F Heu
G Wlk
Quelle est la tâche? ++ ++ +
Quels sont les défauts courants?
+ + ++ ++ ++ ++ ++
Quel IU est meilleure?
++ ++ + +
Est-ce que l’IU a atteint ses buts?
+ + + ++ + 0
Est-ce que les IU sont conformes aux normes?
+ ++
++: très bonne technique
+ : techique OK
0 : technique possible
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
19Unit B-Introduction(c) elsaddik
5. Détails: Évaluation heuristique
• Type d’évaluation prédictive• Employer des experts du HCI pour critiquer et non pas des
utilisateurs• Avantages de l’évaluation prédictive:
• Les experts savent quels problèmes chercher
• Peut être fait avant de bâtir le système
• Les experts donnent une rétroaction préscriptive• Points importants concernant l’évaluation prédictive :
• Les réviseurs devraient être indépendants des concepteurs
• Les réviseurs devraient avoir de l’expérience dans le domaine de l’application ainsi que dans le HCI
• Inclure plusieurs experts pour éviter la partialité
• Les experts doivent connaître les classes des utilisateurs
• Prenez garde : les débutants peuvent faire des choses très bizarres que les experts peuvent ne pas prévoir
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
20Unit B-Introduction(c) elsaddik
5. Détails: Évaluation heuristique
• Planification pour l'évaluation heuristique• Basé sur les instructions d'IU (heuristique sur ce qui est le mieux)• Passages multiples requis
• un passage pour rechercher chaque type de problème• passages pour suivre différents itinéraires d’écrans et des fenêtres de
dialogues (c.-à-d. différentes tâches)• Séances de 1-2 heures (bien)• 1 évaluateur expert trouve seulement 33% des problèmes• 5 évaluateurs sont nécessaires pour trouver 75% des problèmes• 15 ou plus pour trouver les problèmes à environ 99%
• Exemple d’heuristiques pour l’évaluation heuristique (couvert beaucoup plus tard dans le cours)
• Employer un langage simple et courant• Parler le langage de l’utilisateur• Minimiser la mémorisation• Être consistant• Fournir une rétroaction (feedback)• Indiquer clairement comment quitter le système• Créer des raccourcis• Fournir des messages d’erreurs efficaces• Prévenir les erreurs
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
21Unit B-Introduction(c) elsaddik
6. Analyse des défauts de fonctionnement
Une approche disciplinée pour analyser les défauts de fonctionnement
• Fournir une rétroaction dans le processus de reconception
1. Play protocol, chercher les défauts de fonctionnements
2. Répondre à quatres questions distinctes:• Q1. comment le défaut se manifeste-il?
• Que remarquez-vous et qui l’a remarqué?• Q2. dans quelle étape de l’interaction le défaut se produit-il?
• Goal forming, action décision, action exécution, interprétation des résultats
• Q3. à quel niveau de l’IU le défaut se produit-il?• Niveau matériel, niveau définition d’une tâche,…
• Q4. pourquoi le défaut se produit-il?• Quelle est la cause principale, la racine du problème.
3. Lister et ordonner par priorité les solutions possibles
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
22Unit B-Introduction(c) elsaddik
Q1. Comment les défauts de fonction. se manifestent-ils?
a) Défauts de fonctionnements détectés par le système (les plus faciles à détecter)
• omission d’un argument• format de date incorrect
Solutions: • Meilleures fenêtres de dialogue (prompt), consistance,
exemples visibles, plus d’alternatives (more forgiving of alternatives), d’explications, de référence à l’aide ou la doc.
b) Défauts de fonctionnement détectés par l’utilisateur durant l’opération
• Suivre un mauvais chemin dans la hiérarchie des menus• Aide non-trouvée / non-disponible• Être incapable d’exécuter une certaine action• Être incapable de dire l’état actuel du système
Solutions:• améliorer la fonctionnalité, rétroaction, clarté, simplicité
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
23Unit B-Introduction(c) elsaddik
Q1. Comment les défauts de fonction. se manifestent-ils?
c) Défauts de fonctionnements non-détectés (vu plus tard unité E)• Sortie erronée due à une entrée erronée• Travail inutile exécuté
Solutions: • Améliorer la rétroaction en indiquant les conséquences des
entrées; simplifier
d) Inefficacités• Temps de réponse très long• Temps de réflexion très long• Séquences de commandes longues et inutiles• Répétitions inutiles• Opérations complexes
Solutions: • Simplifier, accélérer le système
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
24Unit B-Introduction(c) elsaddik
Q2. À quelle étape dans l’interaction se présentent les défauts?
a) Lorsque l’utilisateur décide comment atteindre son but (cherche à faire une action inappropriée)• décide de vider ou de ne pas remplir un champ en pensant qu’il
n’est pas important (quand il est important)• décide d’utiliser le taux de change par défaut (quand il devrait
utiliser le taux de change courant)
Solutions: • Mieux guider l’utilisateur à travers la tâche; meilleure
rétroaction; meilleure formation
b) Quand l’utilisateur spécifie l’action (action non-conforme avec le but)• supprimer l’historique au lieu de vider un champ• ‘’charge réciprocal’’ du taux de change
Solutions:• Améliorer la clarté, les fenêtres de dialogue (prompt), clarté,
modèle conceptuel
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
25Unit B-Introduction(c) elsaddik
Q2. À quelle étape dans l’interaction se présentent les défauts?
c) Lorsque le système exécute l’action • Défauts de fonctionnalité
Solutions:• Corriger la fonctionnalité pour obtenir le bon résultat
d) Lorsque l’utilisateur interprète l’état résultant du système• Penser qu’un compte de banque a été débité lorsqu’il ne l’est
pas.• Penser que le système a “raccroché” alors que ce n’est pas le
cas• Penser que des données doivent être saisies alors que le
système utilise des données par défaut• Ne pas comprendre les messages d’erreurs résultants
solutions:• Meilleure rétroaction, meilleur modèle conceptuel
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
26Unit B-Introduction(c) elsaddik
Q3. À quel niveau les défauts se produisent-ils?
a) Niveau de tâches (tâches et buts non supportés)• Ce que l’utilisateur veut faire ne peut être fait pas le système• La fonctionnalité n’est pas disponible
traitement: • Ajouter des fonctionnalités
b) Niveau conceptuel (l’utilisateur a un modèle mental erroné; il ne comprend pas le modèle conceptuel utilisé)• Penser que de l’argent a été déduit du compte bancaire alors que le
montant a été ajouté à une carte de crédit• Penser que glisser un fichier sur le bureau (desktop) signifie qu’on le
supprime du disque dur• Penser que glisser l’icône du disque dur sur l’icône Poubelle formate le
disque • Penser que supprimer un élément du menu Démarrer supprime le
programme correspondant.
traitements: • Clarifier le modèle conceptuel; améliorer les métaphores
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
27Unit B-Introduction(c) elsaddik
Q3. À quel niveau les défauts se produisent-ils?
c) Niveau de modèle d'interaction (problème du système)• Ne pas savoir comment faire dérouler un menu• Faire défiler une page au lieu d’une ligne• Aller au prochain écran au lieu de faire défiler la page courante• Retaper une commande à la suite d’un message d’erreur au lieu
d’éditer la commande
traitements: • Rendre les opérations de l’interface plus intuitives et consistantes
d) Niveau d’élément d’interaction (détails spécifiques inappropriés)• Sélectionner le mauvais bouton parce que l’étiquette est mal
interprétée.• Spécifier une syntaxe de commande invalide• Spécifier un mauvais code d’options.
traitements: • Faire attention aux détails de l’interface, simplification
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
28Unit B-Introduction(c) elsaddik
Q3. À quel niveau les défauts se produisent-ils?
e) Niveau d’éléments physiques (exécution physique incorrecte)• Appuyer accidentellement sur une mauvaise touche• Cliquer sur le mauvais pixel d’une image• Machine ”out-types” (actions perdues)• Écrire lorsque le système est occupé: les entrées du clavier
risque d’être lues/traités par un autre processus
Traitements: • Protéger l'utilisateur des conséquences; meilleure conception
matérielle; corriger les bugs dans le code
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
29Unit B-Introduction(c) elsaddik
Q4. Pourquoi les défauts de fonctionnement ont lieu?
Manque de (de la part de l’utilisateur):• Motivation:
• Satisfaction personnel faible• Attention:
• Utilisateur est préoccupé par autres choses.• Traitement de l'information entrée:
• Pas de rétroaction pour informer l’usager de ce qui se passe
• Réponses fournies par le système ne sont pas identifiables
• Réponses mal interprétées. Solutions: rétroaction plus claire, plus consistante
• «Discrimination»: • l'utilisateur est incapable de différencier certains éléments
• e.g. distinction des couleurs rouge/vert
• e.g. deux icônes qui sont similairesSolutions: Améliorer l’affichage de l’information,
grouper
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
30Unit B-Introduction(c) elsaddik
Q4. Pourquoi les défauts de fonctionnement ont lieu?
• Coordination physique:• e.g. Sélectionner le mauvais item à cause de la difficulté à
positionner le curseur avec la souris.Solutions: Permettre plusieurs méchanismes
d’interaction, meilleure rétroaction
• Mémoire: • Les utilisateurs ne se rappellent pas les commandes, la syntaxe
etc.Solutions: meilleurs (plus de) mnemonics, aide en
ligne, recherche rapide, saisie automatique• Connaissance / manque de formation:
• L’utilisateur n’a pas une connaissance suffisante des affaires ou du logiciel pour faire le bon choix
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
31Unit B-Introduction(c) elsaddik
Q4. Pourquoi les défauts de fonctionnement ont lieu?
Apprendre les difficultés qui causent des défauts de fonctionnements: • Il est difficile d’apprendre
• Les usagers se frustrent
• L’apprentissage prend du temps; peut-être difficile à utiliser• Ceux qui apprennent font des interprétations “ad-hoc”
• Peuvent ne pas reconnaître leur problème
• Peuvent penser qu’ils ont un problème même s’ils n’en ont pas• Ceux qui apprennent généralisent selon leurs connaissances
• Supposent que les ordinateurs fonctionnent comme ce qu’ils connaissent
• Supposent que tout est consistant• Ceux qui apprennent ne suivent pas toujours les instructions
• les ignorent même s’ils les voient
• ne les comprennent pas facilement
• ne veulent/prennent pas le temps de lire la doc
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
32Unit B-Introduction(c) elsaddik
Q4. Pourquoi les défauts de fonctionnement ont lieu?
• Interaction des problèmes et des caractéristiques• Ne voient pas qu’un problème peut en causer un autre
• Les pré-requis et effets secondaires mêlent• Les rubriques d’aide n’aident pas toujours
• Ne savent pas quoi demander
• Trop de détails sont souvent donnés
• Autres causes de défauts de fonctionnement:• Demande excessive de ressources (CPU load)
• Évènements extérieurs (e.g. bruit)
• Mauvaise gestion ou formation inadéquate
• Définition des tâches non réalistes• Ex: utilisation du clavier, de la souris ET du téléphone en même
temps… pour rendre la tâche réaliste, le système devra réduire l’utilisation au clavier seulement ou encore supposer l’utilisation d’un casque téléphonique pour libérer les mains
• Différences humaines intrinsèques
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
33Unit B-Introduction(c) elsaddik
7. Détails: évaluation d’une bande vidéo
Un ingénieur logiciel étudie les utilisateurs qui utilisent activement l’IU• Pour noter quels sont les problèmes rencontrés
• Plutôt que de mesurer des chiffres• Les séances sont enregistrées sur vidéo• Peut être fait dans l’environnement de l’utilisateur
Activités de l’utilisateur:• Effectuer des tâches prédéfinies
• Avec ou sans instructions détaillées sur la façon de les effectuer• De préférence, l’utilisateur devrait agir comme s’il était seul
dans la pièce• L’utilisateur devrait expliquer ce qu’il voudrait faire et les gestes
qu’il pause à voix haute
• Ce processus est appelé une évaluation «coopérative»: l’ingénieur et l’utilisateur se parlent
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
34Unit B-Introduction(c) elsaddik
7. Détails: évaluation d’une bande vidéo
L’importance du vidéo:• Sans lui, on vois seulement ce qu’on veux voir
• Parce qu’on interprète ce qu’on voit en se basant sur son modèle mental
• Sur le coup, on peut rater plusieurs choses• Avec la caméra, des détails minimes sont capturés et peuvent
être analysé (ex: langage du corps)• Il est alors possible de visionner plusieurs fois la vidéo pour
rechercher différents problèmes.
Instructions pour utiliser la vidéo:• Utiliser plusieurs caméras peut être utile• Un logiciel est disponible pour aider à analyser le vidéo en
divisant les scènes en segments et en permettant d’étiqueter chaque segment
• L’évaluation peut prendre beaucoup de temps donc une bonne planification est primordiale
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
35Unit B-Introduction(c) elsaddik
Étapes de l’évaluation de la bande vidéo
1. Sélectionner 6 à 8 utilisateurs représentatifs par les classes d’utilisateurs• Ex: clients, vendeur, administrateur, préposé aux comptes recevables
2. Inviter les utilisateurs à des séances individuelles• Une séances devraient durer entre 30 et 90 minutes• Planifier de 4 à 6 séances par jour
3. Si le système fait participer des clients en plus des utilisateurs1. que les utilisateurs amènent des clients importants ou
2. que d’autres personnes (ex: le personnel) jouent le rôle des clients4. Sélectionner des observateurs et des personnes pour prendre des
notes5. Préparer les tâches:
• Sélectionner les tâches les plus couramment réalisées ainsi que quelques tâches moins importantes
• Écrire les instructions à suivre pour réaliser les tâches à l’intention des usagers
• Estimer le temps requis pour compléter chaque tâche et réserver du temps pour en discuter
6. Préparer un carnet de notes ou un formulaire pour organiser les commentaires
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
36Unit B-Introduction(c) elsaddik
Étapes de l’évaluation de la bande vidéo
7. Installer et tester l’équipement1. Matériel sur lequel le système s’exécutera2. Caméra vidéo et l’enregistrement du son3. Journals logiciels (Software logs)
8. Faire un test d’exécution (étude pilote)9. Au début d’une séance d’observation avec un utilisateur
• expliquer:• la nature du project• la contribution qui est attendue des usagers• pourquoi l’opinion des usagers est importante• que seule l’interface usager est évaluée. Ce ne sont pas les
utilisateurs qui sont évalués.• que toutes les notes, commentaires, etc., sont confidentiels• que l’usager peut se retirer à n’importe quel moment• comment fonctionne les appareils d’enregistrement (qu’est-ce qui
sera enregistré)• relaxer!
• Faire signer le formulaire de consentement (informed consent form): • Très important
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
37Unit B-Introduction(c) elsaddik
Étapes de l’évaluation de la bande vidéo
10. l’utilisateur devrait parler à mesure qu’il exécute chaque tâche, comme s’il pensait à voix haute• Pour une évaluation coopérative, l’ingénieur logiciel devrait parler
aussi
• Quelques questions pertinentes que l’ingénieur devrait poser:
Question Défauts de fonctionnement si
Que voulez-vous faire? Ils ne savent pas; le système ne peut pas faire ce qu’ils veulent
Que pensez-vous qu’il arriverait si...?
Ils ne savent pas; ils donnent une mauvaise réponse
Que pensez-vous que le système ait fait?
Ils ne savent pas; ils donnent une mauvaise réponse
Que signifie cette information?
Ils ne savent pas; ils donnent une mauvaise réponse
Pourquoi le système a fait ça?
Ils ne savent pas; ils donnent une mauvaise réponse
À quoi vous attendiez-vous? Ils n’ont aucune prévision; ils s’attendaient à autre chose
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
38Unit B-Introduction(c) elsaddik
Étapes de l’évaluation de la bande vidéo
11. réaliser une entrevue à la fin (compte rendu)1. Quels sont les problèmes les plus significatifs?
2. Qu’est-ce qui est le plus difficile à apprendre?
3. Etc.12. analyser la bande vidéo afin de trouver les défauts de
fonctionnement
Exercice: • Évaluation sur bande vidéo d’un produit logiciel
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
39Unit B-Introduction(c) elsaddik
8. Détails: Expérimentations (Détails de l’expérimentation)
1. Choisir un ensemble de sujets (utilisateurs)1. Varier pour éviter la partialité (biais)
2. En nombre suffisant pour obtenir des statistiques significatives (éviter les effets résultant du hasard)
2. Choisir les variables à tester• Indépendantes: chacune pour produire différentes conditions
• Il ne doit pas avoir trop de variables• Une variable ne devrait pas trop en affecter une autre• Vérifier qu’il n’y ait pas de variables cachées
• Dépendantes: une valeur change lorsque qu’une variable indépendante change
3. Développer des hypothèses• Prédire le résultat
• Le but de l’expérience est de démontrer que l’hypothèse est correct
• E.g. des changements dans une variable indépendante causent des changements dans une variable dépendante
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
40Unit B-Introduction(c) elsaddik
8. Détails: Expérimentations (Détails de l’expérimentation)
4. Concevoir des expériences pour tester les hypothèses• Créer une hypothèse nulle (inverse)
• Ex: un changement dans une variable indépendante ne cause pas des changements dans une variable dépendante
• Réfuter l’hypothèse nulle!
• La conception d’une telle expérience peut être difficile5. Réaliser les expériences6. Analyser statistiquement les résultats pour en tirer des
conclusions• e.g. utiliser les «t-tests»
• Les conclusions seront validées à l’intérieur d’une marge d’erreur de 19 fois sur 20 (95%)
7. Décider des actions à appliquer se basant sur les conclusions
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
41Unit B-Introduction(c) elsaddik
2 types majeurs d’expériences sur les IU
• Traditionnel• Niveau micro
• (e.g. tester quelle est la meilleure couleur pour un icône)• Pour une utilisation très général (usage will be very high?) ou
pour des recherches universitaires!
• Technologie de convivialité (Usability engineering)• Tester des parties significatives du système• Relâcher les contraintes scientifiques (être moins sévère)
• Parce qu’on ne peut pas contrôler toutes les variables• Utiliser pour prouver que les hypothèses concernant certains
éléments de convivialité ont été rencontrés• Plus à venir
Il faut comprendre les expérimentations• Beaucoup de recherches sur les IU sont expérimentales• Vous devez interpréter et appliquer les résultats des autres
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
42Unit B-Introduction(c) elsaddik
Exemple : Schémas pour sélectionner du texte
Les premières recherches sur les GUI ont lieu à Xerox sur la station de travail «Star»
• Expériences traditionnelles• Résultats utilisés pour développer Macintosh
But de l’étude:• Évaluer comment sélectionner un texte en utilisant la souris
Étapes:
1. Sujets• Six groupes de quatre personnes
• Dans chaque groupe, seulement deux personnes sont expérimentés dans l’usage de la souris
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
43Unit B-Introduction(c) elsaddik
Exemple : Schémas pour sélectionner du texte
2. Variables• Indépendante:
• Schémas de sélection:• 6 modèles stratégiquement choisis• --> quel bouton de la souris (s’il y en a ) peut être double/triple/quad
cliqué pour sélectionner un charactère/mot/phrase• --> quel bouton de la souris peut servir à glisser du texte• --> quel bouton de la souris peut ajuster le début/fin d’une sélection
• Dépendante• Temps de sélection
• Erreurs de sélection
3. Hypothèse• Un schéma est meilleur que n’importe quels autres
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
44Unit B-Introduction(c) elsaddik
Exemple : Schémas pour sélectionner du texte
4. Conception détaillée de l’expérience• Hypothèse nulle: tous les schémas sont équivalents• Assigner un schéma de sélection à chaque groupe• Expliquer à chaque groupe comment utiliser leur schéma
respectif• Mesurer le temps nécessaire pour exécuter une tâche et les
erreurs obtenus• Chaque personne repète l’expérience 6 fois• Pour un total de 24 tests pas schéma
5. Réaliser l’expérience
6. Analyse• «F-test» utilisé – le schéma F est significativement meilleur
• Pointer et dessiner avec le bouton de gauche• Ajuster avec le bouton du milieu
7. Action• Essayer une autre combinaison similaire au schéma F• Le bouton de gauche peut être double-cliqué
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
45Unit B-Introduction(c) elsaddik
Questions à poser lors de la revue de l’expérience
Les expériences publiées ne sont pas toutes bien réalisées!• Les usagers sont-ils bien préparés?• Est ce que les tâches sont assez complexes pour permettre
une évaluation adéquate?• À force d’être répété, la tâche devient-elle ennuyante pour les
usagers?• Même si les effets sont statistiquement significatifs, est-ce
important?• Peut être que non si la tâche est rarement réalisée
• Est ce qu’il y a d’autres interprétations possibles?• Peut être que les utilisateurs ont bien appris à faire la tâche B
parce qu’ils ont fait la tâche A avant!• Est ce que les variables dépendantes sont consistantes?
• e.g. Les utilisateurs peuvent préférer des méthodes plus lentes• Est ce que les résultats peuvent être généralisés?
• les résultats peuvent s’appliquer ou non aux graphiques
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
46Unit B-Introduction(c) elsaddik
9. Détails: technologie de convivialité
«Un processus par lequel l’utilité d’un produit peut-être mesuré à l’avance. Ainsi, pendant que le produit est en développement, il est possible de démontrer s’il atteint ou non les niveaux de convivialité désirés (levels of usability)»
Technologie partielle:• concevoir-évaluer-reconcevoir
Science partielle:• Méthodologie d’expérimentation• Pas de contrôle absolu
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
47Unit B-Introduction(c) elsaddik
Étapes de la technologie de convivialité
1. Sélectionner les tâches clés (benchmark tasks)• Tâches simples pouvant être répétées facilement et dont ont peut
mesurer la performance2. Choisir les mesures de convivialité (Pick usability metrics)3. Déterminer les niveaux de convivialité (Set planned levels of
usability)4. Concevoir une interface initiale en utilisant les critères de
convivialité5. Analyser l’impact de la conception en utilisant les expériences
1. i.e. un nouveau groupe d’utilisateurs exécute les tâches clés6. Si les buts sont atteints, arrêter7. Inclure les commentaires des utilisateurs dans la conception8. Retourner à l’étape 5
Problème majeur avec la technologie de convivialité• Les tâches clés sont rarement exécutées dans un
environnement réel
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
48Unit B-Introduction(c) elsaddik
Quelques mesures de convivialité utiles
• Temps nécessaire pour compléter la tâche• Pourcentage de la tâche complétée par unité de temps• Taux de succès par rapport aux échecs• Pourcentage de temps passé à traiter les erreurs• Pourcentage des produits compétitifs ayant de meilleures
performances que notre produit• Nombre de fois que des commandes erronées ont été répétées• Pourcentage des commandes disponibles utilisées• Nombre de fois que l’utilisateur a annulé une action• Nombre d’erreurs non trouvées• Nombre de fois que l’utilisateur n’a pas utilisé la méthode
prévue pour accomplir la tâche• temps de réflexion requis pour effectuer la tâche
• i.e. ignorer le temps de réponse du système
• Une bonne IU guide l’utilisateur à travers le système avec une “charge cognitive” minimale
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
49Unit B-Introduction(c) elsaddik
10. Détails: Détection cognitive
Une forme d’évaluation prédictive
Révision détaillée basée sur la théorie psychologique , focalisant sur:• Buts qu’un nouveau usager doit former pour exécuter une
tâche• Comment le système guide l’utilisateur pour atteindre ses buts
• i.e. comment le système supporte l’utilisateur
• La méthode est fortement structurée• Les formulaires sont fournis pour guider l’évaluateur
• Consomme plus de temps que l’évaluation heuristique ordinaire
• Consomme moins de temps que les expériences
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
50Unit B-Introduction(c) elsaddik
Étapes de la détection cognitive
1. Choisir une tâche à évaluer
2. Décrire précisément la tâchea) Premièrement, décrire la tâche en une seule phrase
• Utiliser un langage simple• Le choix des mots doit être intuitif du point de vue de l’utilisateurEx: Enregistrer un item nouvellement recu dans l’inventaire.
b) Décrire l’état initial du systèmee.g. le menu principal est affiché
c) Lister les action atomiques nécessaires pour exécuter correctement la tâcheEx :1. Cliquez sur «Ajouter à l’inventaire» dans le menu;2. Si vous ne connaissez pas le numéro de la pièce, appuyez sur «Entrer»
pour rechercher le numéro de la pièce puis allez à l’action 4;3. Tapez le numéro de la pièce dans le champ «Numéro de la pièce»;4. Appuyez sur «tab»;5. Tapez le numéro de l’item dans le champ «Numéro»;6. Appuyez sur «Entrer» ou cliquez sur «Ajouter»;7. Si le système imprime une étiquette à code-barre, collez-la sur le nouvel
item.d) Décrire les classes d’utilisateurs qui peuvent exécuter la tâche
e.g. récepteur - a une connaissance de l’inventaire, mais pas encore du système
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
51Unit B-Introduction(c) elsaddik
Étapes de la détection cognitive
e) Décrire le «but de la structure» (ou structure de la tâche) tels que les utilisateurs peuvent se l’imaginer avant de commencer la tâche• Haut-niveau et système indépendant
• Subdiviser par buts / sous-tâches
• Noter que s’il y a des actions auquels l’utilisateur n’associe pas de buts, le système doit stimuler l’usager à penser à ces buts pendant qu’il effectue la tâche
• Si différentes classes d’utilisateurs peuvent avoir des structures de buts différentes, listez-les aussi
Ex:
• Enregistrer un article reçu dans un inventaire
• Démarrer le programme d’inventaire
• Entrer l’article
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
52Unit B-Introduction(c) elsaddik
Étapes de la détection cognitive
3. Pour chaque action spécifiée à l’étape 2c, suivre les étapes suivantes (I à IV):
I. Écrire le but de la structure
... que l’utilisateur pourrait avoir besoin pour pouvoir exécuter la tâche correctement
Ex: Pour l’action 4• Enregistrer un item reçu dans un inventaire
• Enregister le nombre d’items
• Appuyer sur Tab
• Entrer le numéro
• Faire en sorte que le système traite la transaction
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
53Unit B-Introduction(c) elsaddik
Étapes de la détection cognitive
II. Vérifier que l’utilisateur aura le bon but pour cette structure• Étant donné leurs buts initials• Étant donné la réponse du système aux actions précédentes• Estimer le pourcentage d’utilisateurs qui pourraient avoir
chacun des problèmes suivants:• Échec de l’ajout de buts
• Ex: Pour l’action 2le système doit montrer clairement que appuyer sur «Entrer» lorsque le champ est vide lancera une recherche
• Échec de la suppression de buts• Ex: l’utilisateur pourrait vouloir aviser la personne qui a commandé
les pièces alors que ce n’est pas nécessaire si le système effectue automatiquement cette tâche
• Addition de faux buts• Ex: il peut y avoir un champ «Description» qui doit être rempli
seulement si l’item n’est pas déjà dans la base de données
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
54Unit B-Introduction(c) elsaddik
Étapes de la détection cognitive
• Impasse («aucun progrès»)• Ex: après avoir ajouté un item, le système réinitialise l'écran et est prêt
pour une autre entrée • L’usager peut croire que la transaction a échouée et qu’il n’a pas
atteint le but
• Perte prématurée des buts• e.g. l’utilisateur entre un item et appuie sur «Entrer»• Le message «transaction acceptée» est imprimé à l’écran (indiquant
que le système a commencé à traiter la transaction)• L’utilisateur éteint l’ordinateur croyant que le but est atteint• Le système ne s'est jamais rendu jusqu’à la phase d’impression de
l'étiquette
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
55Unit B-Introduction(c) elsaddik
Étapes de la détection cognitive
III. Vérifier que les actions concordent avec les buts.Problèmes possibles:
• Une action correcte ne concorde pas avec le but• Ex: L’utilisateur veut supprimer un article qui a été volé
• Une action correcte serait de sélectionner «Ajouter à l’inventaire» et de spécifier un chiffre négatif
• Donc le système n’aide pas l’usager à faire concorder le but et l’action (comprendre que l’option «Ajouter à l’inventaire» permet aussi de supprimer un item.)
• Actions incorrectes concordent avec le but• Ex: L’utilisateur veut ajouter un nouveau type d’article à l’inventaire (pour
lequel aucun article n’a été encore recu)
• En voyant «Ajouter à l’inventaire», l'utilisateur choisit cette option alors que l’option permet de modifier le nombre d’éléments de chaque type et non pas les éléments eux-même
IV. Vérifier que l’utilisateur peut physiquement effectuer l’action.Problèmes possibles:
• Difficultés physiques• e.g. reconnaître un icône, tenir appuyer shift+ctrl+alt+a pour lancer une
commande
• Délais• i.e. manquer de temps (running out of time) – le système abandonne
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
56Unit B-Introduction(c) elsaddik
11. Points essentiels à revoir
• Objectif de l’évaluation: minimiser les défauts de fonctionnements
• Questions-clés :• Quelle est la tâche réelle? Problèmes? Lequel est mieux?
• Buts atteints? Est-ce standard?• Évaluez tout au long du cycle de vie!• Évaluation formative vs. évaluation sommative• Importance des études préliminaires• Employer toutes les techniques dans une approche équilibrée• Analyser les coûts-avantages pour déterminer si une technique
plus dispendieuse vaut la peine d’être utiliser
• Méthodes passives• Rapporter un problème
• Jounal logiciel (Software logging)
• Questionnaires et sondages
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
57Unit B-Introduction(c) elsaddik
11. Points essentiels à revoir
• Méthodes actives• Expérimentations traditionnelles
• Étudier un élément de l‘IU à la fois• Sélectionner des sujets• Variables dépendantes et indépendantes• Hypothèses• Conceptions expérimentales:
• Sujet indépendant• Sujet concordant (contrôler les différences entre les sujets)• Approches répétées (réutiliser les sujets)
• Technologie de convivialité• Tester des tâches-clé réalistes• Déterminer ce qu’il faut atteindre pour mesurer de convivialité• Évaluer-reconcevoir-évaluer jusqu’a ce que les buts soient atteints• Technologie partielle, science partielle
• Séances d’observation (évaluation d’une bande vidéo)• Étudier l’utilisation active avec des tâches réelles• Protocole «Pensez à voix haute» sur l’enregistrement vidéo• Une évaluation coopérative implique un dialogue
ww
w.s
ite.
uo
ttaw
a.ca
/~el
sad
dik
58Unit B-Introduction(c) elsaddik
11. Points essentiels à revoir
• Évaluation prédictive: implique des experts• Évaluation heuristique: basée sur des instructions• Détection cognitive: buts et actions
• Décrire les tâches, actions, usagers, but de la structure• Pour chaque action, vérifier que l’usager…
• ajoute et supprime des buts selon les besoins• n’ajoute pas de buts inutiles• puisse juger si un but est atteint• ne supprime pas de buts utiles• puisse voir quelle action entreprendre• n’est pas guidé vers une fausse action• n’ont pas de difficultés physiques avec l’action
• Analyse des défauts de fonctionnements• Comment se manifestent-ils?
• Détecter par: système, utilisateur• Non-détectés, inefficacités
• Quelle étape entre dans l’interaction? Lorsque l’utilisateur...• décide ce qu’il veut faire (du but)? spécifie l’action?• exécute l’action? interprète les résultats?
• Niveau? («physique» à «tâche»)• Pourquoi les défauts se produisent-ils?
• Défaillance des usagers: ex: motivation, entrée, mémoire