Usabilidade de Sistemas de Gestão da Aprendizagem: ferramentas de comunicação e colaboração Learning Management Systems Usability: communication and collaboration tools Maria Isabella de Porto Alegre Muniz Laboratório de Ergonomia e Usabilidade de Interfaces em Sistemas Humano-Tecnologia – LEUI, Departamento de Artes de Design, Pontifícia Universidade Católica do Rio de Janeiro – Puc-Rio, Rio de Janeiro, RJ, Brasil [email protected]Resumo Esta pesquisa é sobre o uso por docentes de ferramentas de comunicação e colaboração em Sistemas de Gestão da Aprendizagem (Learning Management Systems), mais especificamente, o sistema de código aberto Moodle, investigando se os docentes encontram problemas de usabilidade quando trabalhando com essas ferramentas. Este artigo apresenta os resultados finais da análise de conteúdo das respostas de entrevistas de foco com profissionais que utilizam o sistema Moodle para educação a distância. Palavras chave: usabilidade; sistemas de gestão de aprendizagem; análise de conteúdo Abstract This research is about the usability of communication and collaboration tools used by teachers in Learning Management Systems, focusing on the specific case of the open source system Moodle. It investigates whether teachers have to deal with usability problems when working with these tools. This paper presents the final results of content analysis of responses from focused interviews with professionals who use the Moodle system for distance education. Keywords: usability; learning management systems; content analysis.
Transcript
Usabilidade de Sistemas de Gestão da Aprendizagem:
ferramentas de comunicação e colaboração Learning Management Systems Usability: communication and collaboration tools Maria Isabella de Porto Alegre Muniz Laboratório de Ergonomia e Usabilidade de Interfaces em Sistemas Humano-Tecnologia – LEUI, Departamento de Artes de Design, Pontifícia Universidade Católica do Rio de Janeiro – Puc-Rio, Rio de Janeiro, RJ, Brasil [email protected] Resumo Esta pesquisa é sobre o uso por docentes de ferramentas de comunicação e colaboração em Sistemas de Gestão da Aprendizagem (Learning Management Systems), mais especificamente, o sistema de código aberto Moodle, investigando se os docentes encontram problemas de usabilidade quando trabalhando com essas ferramentas. Este artigo apresenta os resultados finais da análise de conteúdo das respostas de entrevistas de foco com profissionais que utilizam o sistema Moodle para educação a distância. Palavras chave: usabilidade; sistemas de gestão de aprendizagem; análise de conteúdo Abstract This research is about the usability of communication and collaboration tools used by teachers in Learning Management Systems, focusing on the specific case of the open source system Moodle. It investigates whether teachers have to deal with usability problems when working with these tools. This paper presents the final results of content analysis of responses from focused interviews with professionals who use the Moodle system for distance education. Keywords: usability; learning management systems; content analysis.
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
Tema Os Sistemas de Gestão de Aprendizagem (Learning Management Systems) são
utilizados em Educação a Distância (EAD) para: publicação de conteúdo on-line, organização de atividades para aprendizagem e gerência de cursos a distância. O Moodle é um sistema de gerenciamento de cursos on-line open source utilizado por instituições de ensino, empresas e professores em 215 países, sendo que no Brasil estão registrados 3.359 sites (MOODLE, 2011). A interface do Moodle na sua forma padrão oferece as seguintes funcionalidades: ferramentas de autoria para criação, inclusão e organização de conteúdo; gerenciamento de usuários, papéis e permissões; proposição de tarefas escolares; avaliação de alunos; avaliação de curso; interação, comunicação e colaboração entre alunos e professores. (COLE; FOSTER, 2007).
É comum o embasamento de estratégias para o ensino online em visões construtivistas e colaborativas. O potencial de conectividade das ferramentas online sugere que é possível construir cursos a distância apoiados em comunicação e colaboração. A presença online do professor é associada a maiores níveis de satisfação e percepção de aprendizagem pelo aluno (GARRISON, 2009). Segundo pesquisa da FGV-EAESP - Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas – cursos de Educação a Distância que incentivam algum tipo de interação entre professores e alunos e entre alunos apresentam um nível menor de evasão (E-LEARNING BRASIL, 2011). Os cursos criados dentro de Sistemas de Gestão de Aprendizagem oferecem ferramentas que possibilitam a utilização de estratégias de ensino apoiadas na interação e colaboração entre professores e alunos.
No entanto existem muitos desafios para a implantação de cursos a distância online apoiados em colaboração. Educação a distância tradicionalmente tem como ponto de partida a ideia do aprendizado autônomo realizado no ritmo do aluno, de forma assíncrona. O sucesso da colaboração online depende muito das possibilidades oferecidas pela tecnologia. (POELLHUBER; CHOMIENNE; KARSENTI, 2008). É justo supor que problemas de usabilidade podem limitar as possibilidades de estratégias de ensino apoiadas em colaboração, levando os responsáveis pelo desenvolvimento e implementação dos cursos a preferirem estratégias tradicionais de estudo individual.
Objetivos
Analisar a interação entre Sistemas de Gestão de Aprendizagem e o usuário docente, localizando de que forma problemas de usabilidade poderiam criar dificuldades na implementação de estratégias apoiadas em interação e comunicação on-line.
Contribuir para a melhoria de cursos a distância on-line produzidos por intermédio do Moodle.
Gerar dados que apóiem o desenvolvimento de um instrumento de avaliação do uso de ferramentas de comunicação e colaboração no sistema Moodle.
Justificativa
O uso de Sistemas de Gestão de Aprendizagem para a publicação de material on-line por equipes profissionais de Educação a Distância ou de forma autônoma por professores é muito
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
difundido, indicando a pertinência da investigação da usabilidade desses sistemas. O foco da investigação no usuário docente traz à frente a relação entre usabilidade e estratégias pedagógicas. Além disso este foco está em consonância com a literatura sobre Educação a Distância e ambientes virtuais de aprendizagem que ressalta a importância comunicação e da colaboração nas estratégias pedagógicas próprias para essa modalidade de ensino.
Hipótese
Problemas de usabilidade na interface do Moodle dificultam a utilização das ferramentas de comunicação e colaboração pelos docentes. Método
O procedimento descrito abaixo visa obter dados para o desenvolvimento dos instrumentos necessários para uma avaliação da usabilidade das ferramentas de comunicação e colaboração do Moodle. Foram realizadas entrevistas focalizadas e as respostas foram submetidas ao processo da análise de conteúdo.
Entrevistas focalizadas Entrevistas focalizadas têm objetivo exploratório, sendo portanto não diretivas –
abordam um tema geral proposto, sem estruturação pelo entrevistador, que se limita a mostrar-se atento e estimular o entrevistado sem forçar questionamentos Os entrevistados são indivíduos selecionados conforme critérios da pesquisa, e devem representar diferentes posições relativas ao tema (THIOLLENT, 1980). As entrevistas realizadas buscam referências espontâneas a objetivos de uso e indícios de boa usabilidade ou dificuldades de uso nas ferramentas de colaboração e comunicação do Moodle.
Foram entrevistados 14 profissionais com experiência em diferentes funções na construção e realização de cursos a distância em diferentes instituições que utilizam o Moodle em seus cursos. De um modo geral as instituições oferecem aos profissionais treinamento no uso do sistema. Os entrevistados tinham diferentes níveis de expertise no uso do Moodle, mas todos tinham experiência no seu uso.
Entrevistado 1 – tutor, conteudista e coordenador de curso Entrevistado 2 – designer instrucional e coordenador de curso Entrevistado 3 – web designer Entrevistado 4 – tutor e designer instrucional Entrevistado 5 – designer instrucional e coordenador de curso Entrevistado 6 – tutor Entrevistado 7 – coordenador, conteudista e designer instrucional Entrevistado 8 – web designer Entrevistado 9 – conteudista e tutor especialista Entrevistado 10 – web designer Entrevistado 11 – web designer Entrevistado 12 – designer instrucional Entrevistado 13 – coordenador Entrevistado 14 – analista executivo e tutor
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
As entrevistas foram realizadas ao longo do ano de 2011. Foi pedido aos entrevistados que discorressem livremente sobre o tema “ferramentas de comunicação e colaboração de Sistemas de Gestão de Aprendizagem” sem qualquer estruturação prévia pelo entrevistador.
Análise de conteúdo Segundo Mucchielli (1998) “a análise de conteúdo pretende ser um método capaz de
explorar de forma completa e objetiva os dados informacionais”. Propõe o inventário e categorização das informações contidas em um documento ou comunicação através de análise exaustiva, metódica e quantitativa. O material analisado pode ter existência prévia ou ser criado especialmente para a pesquisa. Eliminam-se do conteúdo repetições e palavras vazias e selecionam-se as afirmativas relevantes para os objetivos da pesquisa. O processo de análise e simplificação cria unidades de conteúdo significativo. A categorização das unidades de conteúdo pode obedecer a um sistema existente ou ser formulada a partir do próprio conteúdo analisado.
O material coletado nas entrevistas foi reduzido a 165 unidades de conteúdo considerado significativo para os objetivos de pesquisa e organizado em 3 categorias principais que emanam dos objetivos da pesquisa: 1. “Objetivos de uso”; 2. “A interface é de boa usabilidade”; 3. “Existem dificuldades no uso da interface”. As unidades de conteúdo foram também categorizadas como referências a ferramentas específicas ou à interface como um todo. As subcategorias emanam do próprio conteúdo das entrevistas:
1. Objetivos de uso: a. Promoção da integração – relatos de utilização da ferramenta para promover
a integração entre os alunos, sem preocupação com apresentação ou discussão de conteúdo de ensino.
b. Solução para dúvidas – relatos de utilização da ferramenta para tirar dúvidas dos alunos, sobre conteúdo de ensino, avaliação, atividades e sistema.
c. Análise de trabalhos de alunos e avaliação de alunos – relatos de utilização da ferramenta pelo professor/tutor para analisar, avaliar, comentar ou justificar avaliação de trabalhos ou do conhecimento dos alunos.
d. Gerência de tarefas – relatos de utilização da ferramenta para interação que permita aos alunos se prepararem para tarefas pedidas pelo professor/tutor.
e. Discussão – relatos de utilização da ferramenta para debate ou estudo de um tema de forma colaborativa entre os alunos.
f. Oferta de informes – relatos de utilização da ferramenta para informar alunos sobre prazos, datas importantes, tarefas, organização do curso ou notícias, sem objetivos de interação.
g. Comentários sobre trabalhos entre alunos – descrição de atividades em que alunos exibem e comentam os trabalhos que produziram no curso.
h. Produção de texto em colaboração – descrição de atividades em que os alunos produzem um texto único em conjunto, sendo que cada aluno colabora editando aquele mesmo texto.
i. Coordenação – relatos de utilização da ferramenta para comunicações relativas a questões de coordenação do curso, sem abordagem de conteúdos de ensino.
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
2. A interface é de boa usabilidade a. Atinge seu objetivo – o entrevistado relata de forma positiva como uma
ferramenta atinge um objetivo pretendido em termos de estratégia pedagógica ou de gerência do curso.
b. É fácil de usar – o entrevistado se refere a sensação de facilidade no uso da ferramenta.
c. As pessoas usam bem – o entrevistado avalia que as pessoas conseguem usar a ferramenta com proficiência.
d. É boa – o entrevistado afirma a sua aprovação quanto à qualidade da ferramenta.
e. É melhor que outra plataforma – o entrevistado compara favoravelmente o Moodle com outra plataforma.
f. Funciona bem – o entrevistado afirma que a ferramenta funciona de forma adequada, isto é, que tem um desempenho correto.
g. Uso intensivo – o entrevistado relata uso intensivo da ferramenta 3. Dificuldades de uso na interface
a. Dificuldades para o usuário iniciante – relatos em nos quais o usuário iniciante não consegue utilizar a interface com facilidade, encontrando dificuldades para aprender.
b. É complicada – o entrevistado define a interface como complexa e de uso difícil.
c. Necessidade de suporte – o entrevistado relata a oferta e o uso de cursos, tutoriais e suporte de um modo geral para aprendizado de como utilizar a interface.
d. Dificuldades de uso para preparar os cursos – relatos de dificuldades de uso encontradas pelos profissionais que preparam cursos para realizar seu trabalho, incluindo professores e web designers.
e. Ferramentas são pouco ou mal utilizadas - relatos de subutilização das ferramentas existentes do Moodle em termos de intensidade ou de aproveitamento dos recursos e possibilidades que oferecem, ou uso de recursos fora da plataforma que também estão disponíveis no Moodle.
f. Organização da informação – o entrevistado faz críticas à forma como a informação é apresentada na interface.
g. Apresenta erros – o entrevistado faz referências a erros de software. h. A forma de uso não é evidente – relatos e afirmativas de dificuldades de
compreensão da forma de uso da interface, de que a interface não é amigável. i. Limitação do usuário – o entrevistado afirma que as dificuldades de uso são
consequência de limitações do usuário. j. Limitações técnicas de equipamento – referências a problemas de conexão ou
de equipamento disponíveis para o usuário k. Escassez de recursos de comunicação – afirmativas de escassez de recursos de
comunicação e referências a reclamações nesse sentido.
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
l. Ferramenta não atende bem ao seu objetivo – relatos, críticas e afirmativas de que problemas de uso interferem na realização de um objetivo pretendido em termos de estratégia pedagógica ou de gerência do curso
Resultados
Tabela 1 – Resultados da análise de conteúdo – Total de 165 unidades de conteúdo
Interface em geral
Blog Chat Feedback de tarefas
Fórum Mensagens Wiki TOTAIS
Objetivos de uso 0 0 7 4 27 1 5 44 Promoção da
integração 0 0 3 0 2 1 0 6
Solução para dúvidas 0 0 1 0 4 0 0 5 Análise de trabalhos
Escassez de recursos de comunicação 1 0 0 0 1 0 0 2
Ferramenta não atende bem ao seu
objetivo 0 1 10 0 3 2 6 22
Tabela 2 – Unidades de conteúdo organizadas por categorias principais – Universo de 165 unidades de conteúdo
Objetivos de uso 26,67% A interface é de boa usabilidade 21,21%
Existem dificuldades no uso da interface 52,12%
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
Tabela 3 – Unidades de conteúdo organizadas por referências às ferramentas – Universo de 165 unidades de conteúdo
Interface em geral 40,61% Blog 3,03% Chat 12,12%
Feedback de tarefas 3,64% Fórum 28,48%
Mensagens 3,03% Wiki 9,09%
Tabela 4 – Referências a objetivos de uso organizadas por subcategorias – Universo de 165 unidades de conteúdo
Objetivos de uso 26,67% Promoção da integração 3,64%
Solução para dúvidas 3,03% Análise de trabalhos de alunos
e/ou avaliação de alunos 4,85%
Gerência de tarefas 2,42% Discussão 4,24%
Oferta de informes 1,82% Comentários sobre trabalhos entre alunos 3,03%
Produção de texto em colaboração 3,03% Coordenação 0,61%
Tabela 5 – Referências a objetivos de uso organizadas por ferramentas – Universo de 165 unidades de conteúdo
Objetivos de uso 26,67% Interface em geral 0,00%
Blog 0,00% Chat 4,24%
Feedback de tarefas 2,42% Fórum 16,36%
Mensagens 0,61% Wiki 3,03%
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
Tabela 6 – Referências a boa usabilidade organizadas por subcategorias – Universo de 165 unidades de conteúdo
A interface é de boa usabilidade 21,21% Atinge seu objetivo 7,27%
É fácil de usar 3,64% As pessoas usam bem 0,61%
É boa 1,21% É melhor que outra plataforma 3,64%
Funciona bem 1,82% Uso intensivo 3,03%
Tabela 7 – Referências a boa usabilidade organizadas por ferramentas – Universo de 165 unidades de conteúdo
A interface é de boa usabilidade 21,21% Interface em geral 9,70%
Blog 0,61% Chat 0,00%
Feedback de tarefas 1,21% Fórum 7,27%
Mensagens 1,21% Wiki 1,21%
Tabela 8 – Referências a dificuldades no uso organizadas por subcategorias – Universo de 165 unidades de conteúdo
Dificuldades no uso da interface 52,12% Dificuldades para o usuário iniciante 2,42%
É complicada 1,82% Necessidade de suporte 6,67%
Dificuldades de uso para preparar os cursos 1,82% Ferramentas são pouco ou mal utilizadas 11,52%
Organização da informação 3,64% Apresenta erros 1,82%
A forma de uso não é evidente 3,64 Limitação do usuário 1,21
Limitações técnicas de equipamento 3,03 Escassez de recursos de comunicação 1,21
Ferramenta não atende bem ao seu objetivo 13,33
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
Tabela 9 – Referências a dificuldades no uso organizadas por ferramentas – Universo de 165 unidades de conteúdo
Dificuldades no uso da interface 52,12% Interface em geral 30,91%
Blog 2,42% Chat 7,88%
Feedback de tarefas 0,00% Fórum 4,85%
Mensagens 1,21% Wiki 4,85%
Análise de resultados
Mais de 50% das unidades de conteúdo referem-se a dificuldades no uso da interface apontando para a existência de problemas de usabilidade na interface do Moodle.
A ferramenta fórum é a ferramenta mais referida, seguida pela ferramenta chat, perfazendo juntas 40,6% das unidades de conteúdo, apontando para sua importância. Essa tendência é confirmada pelo fato de que ambas as ferramentas são também as mais associadas a objetivos de uso.
Os objetivos mais citados referem-se à análise e avaliação de resultados de trabalhos de alunos e discussão, perfazendo juntas 9,09% das unidades de conteúdo, indicando a importância dessas atividades para os entrevistados.
A ferramenta fórum tem mais referências a boa usabilidade que as outras ferramentas, sendo a ela atribuídas as qualidades de facilidade de uso, bom funcionamento e realização de seus objetivos, sendo também referido o seu uso intensivo. No entanto essas referências não são muitas (12 referências dentro de um universo de 165 unidades de conteúdo) e portanto não caracterizam necessariamente boa usabilidade.
A maior parte das dificuldades relatadas referem-se à interface de um modo geral. As dificuldades atribuídas a uma ferramenta de forma específica referem-se na maior parte das vezes ao chat, ao fórum e à wiki.
A referência ao não atendimento de objetivos das ferramentas é o indicador de dificuldades de uso na interface mais comum, sendo que o chat, seguido pela wiki, apresenta mais queixas nessa categoria. Considerações finais
A discrepância entre o número de referências a boa usabilidade (21,21%) e a problemas de usabilidade (52,12) aponta para a existência de problemas de usabilidade na interface do Moodle.
O fato de que a referência ao não atendimento de objetivos das ferramentas de comunicação e colaboração é o indicador de dificuldades de uso na interface mais frequente aponta para problemas nas atividades de interação entre professores e alunos.
10º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design, São Luís (MA)
As ferramentas fórum e chat são as ferramentas mais citadas de um modo geral e também são as que têm maior número de objetivos de uso a elas associado, o que sugere que são mais utilizadas, indicando que o estudo do seu uso pode ser significativo para a melhoria da interface.
As ferramentas chat e wiki são associadas a dificuldades de uso, especificamente ao não atendimentos de objetivos de uso, sendo por isso recomendada uma avaliação que venha a identificar e esclarecer ocorrências de falhas no seu uso.
Os resultados da análise de conteúdo das entrevistas confirmam a hipótese e oferecem indicações para a condução de uma avaliação de usabilidade dos recursos de comunicação e colaboração da interface do Moodle. Referências COLE, J.; FOSTER, H. Using Moodle: teaching with the popular open source course management system. Sebastopol, CA: O’Reilly, 2007, pp. 01-02. E-LEARNING BRASIL. O estágio do e-Learning nas organizações. Disponível em: <http://www.elearningbrasil.com.br/pesquisa/resultados/pesq_result_70.asp.> Acesso em: 27 de agosto, 2011. GARRISON, R. Implications of online learning for the conceptual development and practice of distance education. Journal Of Distance Education. Revue De L’éducation À Distance. VOL. 23, No. 2, p. 93-104, 2009 MOODLE. Registered moodle sites. Disponível em: <http://moodle.org/sites/index.php?country=BR> Acesso em 27 de agosto, 2011.
MUCCHIELLI, R. L’analyse de contenu. 8ª ed. Paris: ESF, 1998. POELLHUBER, B.; CHOMIENNE, M.; KARSENTI, T. The Effect of Peer Collaboration and Collaborative Learning on Self-Efficacy and Persistence in a Learner-Paced Continuous Intake Model. Journal Of Distance Education. Revue De L’éducation À Distance. VOL. 22, No. 3, p. 41-62, 2008. THIOLLENT, M. Crítica metodológica, investigação social e enquete operária. São Paulo: Polis, 1980, pp. 84-87.
