Date post: | 30-Jan-2016 |
Category: |
Documents |
Upload: | gabriel-de-souza-leitao |
View: | 212 times |
Download: | 0 times |
Análise
Estatística
Universidade Federal do Amazonas – UFAM
Instituto de Computação – Icomp
Programa de Pós-graduação em Informática - PPGI
Gabriel de Souza Leitão
RIVERO, Luis, KALINOWSKI, Marcos, CONTE, Tayana. Practical Findings from Applying Innovative Design Usability Evaluation Technologies for Mockups of Web Applications.
Objetivos
1. Identificar se é necessário treinamento para introduzir
tecnologias DUE na indústria
2. Prever o uso de tecnologias por parte de profissionais
de desenvolvimento de software.
3. Identificar eventuais oportunidades de melhorias e
perspectivas industriais adicionais, a partir do ponto de
vista dos desenvolvedores para melhorar as
tecnologias e seus resultados
Objetivos
1. Foram avaliados os indicadores de eficácia e de eficiência
das tecnologias DUE quando aplicadas com e sem
treinamento.
2. Este indicadores são importantes porque fornecem
informações sobre a capacidade de uma técnica de
inspeção em ajudar os inspetores durante a identificação de
problemas.
3. Para estes indicadores, foram usadas as seguintes
definições:
1. Eficácia: Razão entre o número de defeitos
detectados e o total de defeitos existentes.
2. Eficiência: Razão entre o número de defeitos
detectados e do tempo gasto em encontrá-los.
Hipóteses
H01: Não há nenhuma diferença, em termos de eficácia,
no uso das tecnologias DUE para encontrar problemas de
interação do usuário com ou sem formação.
HA1: As tecnologias DUE Web apresentam uma diferença
no indicador de eficácia, quando aplicadas sem
treinamento.
H02: Não há nenhuma diferença, em termos de eficiência,
no uso das tecnologias DUE para encontrar problemas de
interação com ou sem formação.
HA2: As tecnologias DUE Web apresentam uma diferença
no indicador de eficiência, quando aplicadas sem
treinamento.
Análise Quantitativa
As tabelas a seguir agrupam os resultados por inspetor e
técnica publicados pelo autor do artigo.
Foi encontrado um erro no artigo na Tabela “Sujeitos Sem
Treinamento”. Isso alterou parcialmente alguns dos resultados
obtidos por esta análise em relação ao feito por Rivero et al.
O erro do autor está na coluna do inspetor 03, na linha “Total
Defects”. No original está escrito “09”, enquanto que o valor
correto é “13”. Nesta análise, foi utilizado o valor corrigido.
Essa modificação alterou, principalmente, os valores de eficácia
e eficiência do inspetor e, assim, as respectivas médias gerais.
Análise Quantitativa – dados do autor
Análise Quantitativa – dados desta Análise
Análise Quantitativa
Conforme visto anteriormente nas Tabelas e indicado pelo autor,
para o cálculo do indicador de eficácia foi utilizado o valor de
“189” que é o número total de defeitos.
Nesta Análise, foi utilizado o software “Microsoft Excel” (versão
2010 - Student) com o plugin “SigmaXL” (versão 6.7 - Trial) que
permite cálculos e plotagem de gráficos de Estatística Descritiva
e de Inferência Estatística.
Análise Quantitativa
Assim como o autor:
•Foi utilizado o valor de α = 0.05.
•Para comparar os indicadores de eficácia e de eficiência foram
feitas análises com Mann-Whitney e Boxplot.
Como informações adicionais:
•Foram calculados os valores de Média, Desvio Padrão,
Intervalo, Mínimo, Máximo, Percentis 25, 50 e 75, Média e
Sigma do Coeficiente de Variância, Teste de Normalidade de
Anderson-Darling, entre outros testes.
•Foram plotados os gráficos:
• Histograma (eficácia e eficiência)
• Dispersão (defeitos encontrados por tempo em min)
Mann-Whitney (Eficácia)
Mann-Whitney (Eficiência)
Análise Quantitativa
De acordo com os resultados de Mann-Whitney, não é o
possível rejeitar as Hipóteses Nulas (H01 e H02), pois, não há
uma diferença significante nos indicadores de eficácia e
eficiência com ou sem treinamento.
• Eficácia: p = 0,4699
• Eficiência: p = 0,1358
Apesar disso, podemos observar que tanto no indicador de
eficácia, quanto no de eficiência, o valor da mediana é um
pouco maior para os inspetores “com treinamento”.
Boxplot (Eficácia)
Boxplot (Eficiência)
Análise Quantitativa
Analisando os Boxplot, chegamos às conclusões de que:
• O valor da mediana do grupo “com treinamento” é
ligeiramente maior do que a mediana do grupo “sem
treinamento”.
• Sendo que:
• A mediana da eficácia é muito próxima para os dois
grupos;
• A mediana da eficiência é visivelmente maior para o
grupo com treinamento.
• O gráfico pode sugerir que, na verdade, o treinamento
ajudou, especialmente, nos resultados de eficiência.
Gráfico de Dispersão (Defeitos x Sujeitos)
Gráfico de Dispersão (Defeitos x Sujeitos)
Análise Quantitativa
O gráfico por dispersão indica que:
Para os sujeitos sem treinamento, a maior concentração está entre 40 e 100 min e entre 10 e 30 defeitos encontrados.
Para os sujeitos com treinamento, a concentração fragmentada em relação ao tempo, mas há uma concentração entre 10 e 40 defeitos encontrados. Visualmente, houve uma melhoras, mas, aparentemente não muito significativa. Nos slides a seguir, são apresentados os cálculos adicionais mencionados no início desta apresentação.
Estatística Descritiva (Eficácia)
Histograma (Eficácia)
Estatística Descritiva (Eficiência)
Histograma (Eficiência)
Análise Quantitativa
Para os dois indicadores (Eficiência e Eficácia) foram utilizados
o Teste de Normalidade de Anderson-Darling.
Através dele obteve-se os seguintes dados:
Eficácia com treinamento: 0,5011
Eficácia sem treinamento: 0,6030
Eficiência com treinamento: 0,1749
Eficiência sem treinamento: 0,6222
O Histograma ajuda a visualizar melhor a distribuição.
Telas (Mann-Whitney) – Eficácia
Telas (Mann-Whitney) – Eficácia
Telas (Mann-Whitney) – Eficácia
Telas (Mann-Whitney) – Eficácia
Telas (Mann-Whitney) – Eficácia
Telas (Mann-Whitney) – Eficácia
Telas (Mann-Whitney) – Eficiência
Telas (Mann-Whitney) – Eficiência
Telas (Mann-Whitney) – Eficiência
Telas (Mann-Whitney) – Eficiência
Telas (Mann-Whitney) – Eficiência
Telas (Mann-Whitney) – Eficiência
Boxplot – Eficácia
Boxplot– Eficácia
Boxplot– Eficácia
Boxplot – Eficácia
Boxplot – Eficácia
Boxplot – Eficácia
Boxplot – Eficácia
Boxplot – Eficácia
Boxplot – Eficácia
Boxplot – Eficiência
Boxplot – Eficiência
Boxplot – Eficiência
Boxplot – Eficiência
Boxplot – Eficiência
Boxplot – Eficiência
Boxplot – Eficiência
Boxplot – Eficiência
Gráfico de Dispersão – Com Treinamento
Gráfico de Dispersão – Com Treinamento
Gráfico de Dispersão – Com Treinamento
Gráfico de Dispersão – Com Treinamento
Gráfico de Dispersão – Com Treinamento
Gráfico de Dispersão – Sem Treinamento
Gráfico de Dispersão – Sem Treinamento
Gráfico de Dispersão – Sem Treinamento
Gráfico de Dispersão – Sem Treinamento
Gráfico de Dispersão – Sem Treinamento
Gráfico de Dispersão – Sem Treinamento
Estatística Descritiva - Eficácia
Estatística Descritiva - Eficácia
Estatística Descritiva - Eficácia
Estatística Descritiva - Eficácia
Estatística Descritiva - Eficácia
Histograma - Eficácia
Histograma - Eficácia
Histograma - Eficácia
Histograma - Eficácia
Histograma - Eficácia
Histograma - Eficácia
Estatística Descritiva - Eficiência
Estatística Descritiva - Eficiência
Estatística Descritiva - Eficiência
Estatística Descritiva - Eficiência
Histograma - Eficiência
Histograma - Eficiência
Histograma - Eficiência
Histograma - Eficiência