A Usabilidade como Capacidade Inovativa em Ead: Um Estudo em uma Instituição Particular de Ensino...

transcript

A Usabilidade como Capacidade Inovativa em Ead: Um Estudoem uma Instituição Particular de Ensino Superior

Resumo

O presente artigo aborda a usabilidade na Educação a Distânciano Ensino Superior. O objetivo geral do estudo é analisar aimportância da usabilidade como fator de satisfação em EaD.Utilizou-se o survey mediante a aplicação de questionário comoforma de coleta de dados. A metodologia adota uma abordagemquantitativa, por meio da aplicação de um questionário obtendo116 respondentes, acrescido de 50 respondentes do pré-teste.Conclui-se com o estudo, que a usabilidade em EaD estárelacionada com a satisfação, com significância estatística em69,7% a satisfação dos alunos.

Introdução

A tecnologia faz parte do cotidiano das pessoas,tornando-se inegável a presença da mesma em todos ossegmentos da sociedade. A educação não ficaria de foradesse mundo digital e procurou inovar com a Educação aDistância (EaD), modalidade de ensino que encurta asdistâncias e oportuniza a todos aqueles que tem um mínimode intimidade com a era digital, ingressar nessamodalidade de ensino. Nascimento et al (2013) destacam que,diferentemente de uma década atrás, hoje não é possíveldesconsiderar o impacto causado pela introdução do EaD eas transformações que ainda serão produzidas nastradicionais formas de concepção e prática da educação eda comunicação. Uma evidência do crescimento da EaD é onúmero significativo da oferta de cursos nessamodalidade.

Segundo Gabriel (2013) o modelo educacionaltradicional vigente não é mais adequado para suprir asnecessidades da sociedade moderna. A autora afirma que osistema educacional atual foi idealizado e estruturadopara uma época diferente: a cultura intelectual doiluminismo e circunstâncias econômicas da RevoluçãoIndustrial, onde os discentes são orientados por sinos esinais sonoros para marcar o tempo, instalaçõesseparadas, disciplinas separadas. No entanto, a sociedadeestá numa era mais excitante e os jovens estão expostos atodo tipo de estímulo ficando, portanto, entediados comas aulas tradicionais.

Mudar os paradigmas da educação tradicional e caminharna direção oposta é um desafio que as Instituições deEnsino têm enfrentado e bravamente se lançado no universovirtual da Educação a Distância.

O Ambiente de Educação a Distância com suportede Tecnologia de Informação Computacional (TIC´s)promete soluções para três desafios atualmenteenfrentados pela educação superior: i)flexibilidade; ii)acesso; e, iii) custo. Pouca atenção tem sido dirigida aquestões como satisfação, desenvolvimento, efetividade,interatividade individual e social, usabilidade e aimportância dessas para o aprendizado e influência aosdesafios supracitados (KIRKPATRICK & MCLAUGHLAN, 2001;

SHARMA, 2011; WONG, 2012). Instigados por esse novo olharsobre a educação, é que os autores desse artigo buscamrespostas para a pergunta: Qual o nível de satisfação dosdiscentes em relação ao acesso as ferramentas da Educaçãoa Distância? O objetivo geral do estudo é analisar aimportância da usabilidade como fator de satisfação emEaD , tendo como objetivos específicos: i) identificar operfil do estudante em EaD; ii)verificar a usabilidade emuma instituição particular de ensino superior do Ceará;e, iii) propor um indicador de satisfação e usabilidadeem EaD.

O artigo está organizado da seguinte forma: A seção 1apresenta uma breve introdução do estudo, problemática,objetivos, dentre outros; a seção 2 apresenta osconceitos, cenários e avanços da Educação a Distância naEducação Superior, passando por uma revisão da literaturasobre o tema. Na seção 3, faz-se uma reflexão sobre ausabilidade na EaD, a seção 4 aborda o processo deaprendizagem do aluno na EaD fundamentado no frameworkproposto por Kirkpatrick. Em seguida, na seção 5, explica-sea Metodologia da Pesquisa utilizada no artigo. O estudoapresenta a análise dos resultados e propostas decontinuidade para a pesquisa em tela na seção Conclusão efinalmente expõem-se as Referências contendo a literaturausada e algumas das pesquisas mais recentes relacionadasà temática.

A contribuição que se pretende com o resultado desta pesquisae o produto final do artigo traduzem-se na identificação donível de satisfação por parte dos discentes quanto ao aspectode usabilidade na modalidade de EaD, como proposta paraaprimoramento da ferramenta adota pela instituição de ensinosuperior (IES) que compôs o estudo de caso.

2. Evolução Histórica da Educação à Distância (EaD) e seu usopara o Ensino Superior no Brasil

A EaD foi reconhecida legalmente no Brasil na década de1990, com a Lei de Diretrizes e Bases da Educação (LDB) – Leinº 9.394/96 do Ministério da Educação (MEC). Nascimento et al(2013) afirmam que a partir deste período, a EaD passou a serdesenvolvida principalmente pela iniciativa privada se tornoua modalidade de ensino de maior crescimento no país.

Mugnol (2009) ressalta que somente em 2005, por meio doDecreto nº 5.622, de 19 de dezembro de 2005, complementadoposteriormente, pelo Decreto nº 6.303 de 12 de dezembro de2007, foi que ocorreu o reconhecimento no sistema oficial deensino dos cursos ofertados na modalidade por instituiçõescredenciadas pelo MEC. O Decreto nº 5.622 caracteriza a EaDcomo a modalidade educacional na qual a mediação didático-pedagógica nos processos de ensino e aprendizagem ocorre com autilização de meios e tecnologias de informação e comunicação,com estudantes e professores desenvolvendo atividadeseducativas em lugares ou tempos diversos.

O autor destaca ainda que no início do século XXIaumentaram os debates a respeito desta modalidade de ensino,mesmo que uma parte significativa da comunidade educacionalcontinue considerando-a como uma modalidade diminuída deensino e sem qualidade suficiente para ser equiparada àeducação presencial. No entanto, a EaD está mostrando-se cadavez mais eficiente, não apresentando nenhuma diferençasignificativa entre a formação de alunos da educação adistância para os presenciais. A Educação a Distância é hojeuma realidade na educação no Brasil. Diferentemente de umadécada atrás, Bohadana e Valle (2009) afirmam que hoje não épossível desconsiderar o impacto causado pela introdução daEaD e as transformações que ainda serão produzidas nastradicionais formas de concepção e prática da educação e dacomunicação. Um evidência do crescimento da EaD é o aumentosignificativo da oferta de cursos nesta modalidade.

As novas tecnologias a exemplo da Web 2.0 com blogs, wikis,redes sociais; hardwares Touch Screen; Tablet PC; dentre outros,alinhado a ferramentas e Ambientes Virtuais de Aprendizagem(AVAs) proprietárias ou de marcas registradas comoBlackboardTM, MoodleTM, ElluminateTM , dentre outras, possibilitamuma maior interação no que tange ao uso da Educação a

Distância em instituições de ensino superior, mas ainda deixammuito a desejar em quesitos relacionados com satisfação,desenvolvimento, efetividade, interatividade individual esocial e usabilidade (ENGLISH & DUNCAN-HOWELL, 2008;MCLOUGHLIN & LEE, 2008; KIRKPATRICK & MCLAUGHLAN, 2001;SHARMA, 2011; WONG, 2012).

Segundo Nascimento et al (2013), a busca por padrõeseducacionais mais elevados e a crescente demanda pela formaçãoe qualificação de jovens e adultos têm construído um novocenário para o ensino, sendo que, o maior acesso a recursostecnológicos e a disseminação da internet têm representado osprincipais agentes neste processo de transformação.

Romero (2010) corrobora com esse pensamento quando afirmaque na educação apoiada por tecnologias interativas, osconteúdos e ferramentas digitais e virtuais assumem papel dedestaque e oferecem novas formas de trabalho e deaprendizagem.

Por uma questão de ordem, é necessário esclarecer o quesignifica a expressão Ambiente Virtual de Aprendizagem – AVA eUsabilidade.

De acordo com Almeida (2004), Ambiente Virtual deAprendizagem – AVA refere-se a sistemas computacionais,destinados ao suporte de atividades mediadas pelas tecnologiasde informação e comunicação. Permitem integrar múltiplasmídias e recursos, apresentam informações de maneiraorganizada, proporcionam interações entre pessoas e objetos deconhecimento, visando atingir determinados objetivos.

Quanto a Usabilidade, Dias (2007) afirma que apesar de terraízes na Ciência Cognitiva, o termo usabilidade começou a serusado no início da década de 1980, principalmente nas áreas dePsicologia e Ergonomia, como um substituto da expressão “user-friendly”(amigável). Segundo a ISO 9241-11 (1998), usabilidadeé a capacidade que um produto tem de ser usado por usuáriosespecíficos para atingir objetivos específicos com eficácia,eficiência e satisfação em um contexto específico de uso.

A usabilidade da ferramenta é o que viabiliza o processo deaprendizagem do aluno do outro lado do computador. Seu empenhoe interesse em estudar, compromisso em participar dasatividades e dos fóruns definidos pelo professor tutor sãofundamentais, mas se toda essa postura for associada a umambiente virtual de aprendizagem atrativo e interativo,

certamente o professor tutor encontrará do outro lado um alunoparticipativo e interessado.

Pesquisas recentes evidenciam haver uma forte correlaçãoentre a usabilidade e satisfação do usuário com a ferramentatecnológica usada na educação superior. O uso da ferramenta éo que viabiliza o processo de aprendizagem do aluno do outrolado do computador. Seu empenho e interesse em estudar,compromisso em participar das atividades e dos fórunsdefinidos pelo professor tutor são fundamentais, mas se todaessa postura for associada a um ambiente virtual deaprendizagem atrativo e interativo, certamente o professortutor encontrará do outro lado um aluno participativo einteressado (CUKUSIC; GRANIC, 2011).

3. Usabilidade na EaD

Há discussões frequentes sobre a influência da Educação aDistância no processo de aprendizagem do aluno. Será que oaluno aprende mais quando opta por uma disciplina e/ou umcurso EaD tanto quanto ele aprenderia presencialmente? Esse éum questionamento que remete a refletir se o desempenho doaluno tem relação direta com a escolha dele em relação àmodalidade de disciplina e/ou do curso.

Segundo Sanchez (2009), os levantamentos oficiais sobre aEaD fazem recortes que permitem avaliações limitadas dequestões como aproveitamento, evasão escolar, metodologiasetc. No quesito graduação a distância, por exemplo, estãodisponíveis dados apenas a partir do ano 2000.

Gabriel (2013) afirma que um dos desafios da educação naera digital é conseguir que, em meio a tantos estímulos emídias digitais, os estudantes se interessem por tópicoseducacionais essenciais à sua formação, não dispersem,aprofundem suas reflexões e adquiram pensamento crítico parasolução de problemas. Para isso é necessário conseguir engajaros jovens nesses tópicos. A autora ressalta ainda que engajaré ainda mais complicado do conseguir atenção, uma vez queenvolve algum tipo de ação por parte das pessoas depois queforam impactadas pela sua mensagem. Assim, enquanto atenção serefere a perceber, engajamento se refere a agir. A atenção e oengajamento das pessoas com relação a algo estão diretamenteassociados à relevância que esse algo tem para elas.

Para Preece et al (2005),a usabilidade é considerada como ofator que assegura que os produtos sejam fáceis de usar,eficientes e agradáveis, da perspectiva do usuário. Assimsendo, Usabilidade implica em otimizar as interaçõesestabelecidas pelas pessoas com produtos interativos,possibilitando a realização das suas atividades no trabalho,na escola ou em atividades de lazer, sendo dividida nasseguintes metas: a) eficiência: cumprir os objetivos para oqual foi criada; b) segurança: permitir o manuseio de formasegura para o usuário e para o próprio sistema; c) utilidade:ser útil para o usuário e as atividades que ele pretendedesempenhar; d) capacidade de aprendizagem: ser uma interfacede fácil aprendizado para o usuário; e) capacidade dememorização: ser fácil de lembrar como se usa.

De acordo com Preece et al. (2005), é importante que existaum equilíbrio entre as metas de usabilidade e as decorrentesda experiência do usuário. Tullis et al. (2008) afirmam quea experiência do usuário faz referência a todos aspectos dainteração entre um determinado sujeito e um produto, umaaplicação ou sistema. Desse modo as métricas de usabilidadepodem revelar algo sobre a experiência do usuário: aspectosrelacionados à eficácia (ser capaz de completar uma tarefa), aeficiência (a quantidade de esforço necessário para concluir atarefa), ou satisfação (o grau em que o usuário estava felizcom a sua experiência ao executar a tarefa). Conforme Tulliset al. (2008) é possível medir a experiência do usuário pormeio de métricas de usabilidade, por exemplo, número decliques, tempo de resposta, tempo de realização de tarefas,quantidade de erros dos usuários ao tentar fazer login nosistema. No entanto, existe diferença entre os termosusabilidade e a experiência do usuário ou user experience(UX).

Usabilidade, conforme a ISO 9241-11, é a extensão na qualum produto pode ser utilizado, por usuários específicos, paraalcançar finalidades específicas com eficácia, eficiência esatisfação, em uma situação de uso específico. Em contrapartida, a UX é a habilidade do usuário em usar o produto ousistema para realizar a tarefa com sucesso; envolve ainteração entre o sujeito e o objeto (produto ou sistema), opensamento, os sentimentos e as percepções que resultam dasinterações.

A questão da acessibilidade, como um critério de avaliaçãoda usabilidade, implica em possibilitar o acesso às pessoascom deficiência. Portanto, fazer um produto usável parapessoas com deficiência quase sempre beneficia também aspessoas sem deficiência (RUBIN; CHISNELL, 2008).

A usabilidade, afirma Gonçalves (2008), pode serconsiderada e trabalhada tanto nos produtos tridimensionais,tais como embalagens, roupas, móveis, meios de transporte,como nos produtos bidimensionais como manuais e guias, bulasde remédios e sistemas computacionais, ou seja, a usabilidadepode ser trabalhada onde houver interface com o homem.

A Figura 1 demonstra a abrangência da usabilidade e aintersecção existente entre as áreas de usabilidade de produtoe Interação Humano-Computador que, por sua vez, abrange oprojeto de Interfaces.

FIGURA 1 – Abrangência da Usabilidade em EaD.

FONTE: Santos (2000).

A usabilidade de Software pela ISO/IEC FCD 9126-1 pode serdefinida como a capacidade do software ser compreendido,aprendido, usado e apreciado pelo usuário, quando usado nascondições especificadas. Assim, percebe-se que a usabilidadede software deve ser desenvolvida como uma estratégia aplicadaà EaD, com o objetivo de envolver cada vez mais o aluno naeducação virtual, futuro tão presente nos dias atuais.

Roger (2003) destaca que a maioria das novas ideiasdifundida tem sido analisada é baseada em inovações de TICs. A

inovação possui uma significativa contribuição para ocrescimento organizacional (BARTEL; GARUD, 2009). Sendopercebida como parte de um processo inovador, pois oportunizaa transformação de uma ideia em prática ou que um objetopercebido como algo novo (ROGERS, 2003).

4. O Processo de Aprendizagem do Aluno de IES através do usoda Ead e pela análise do framework Kirkpatrick´s

Alves (2000, p. 65) afirma o “que temos são modelos e ainteligência é ligada diretamente à capacidade de criar eoperar modelos”. “Podemos simular e corrigir situações, semque as mesmas aconteçam, com o uso de modelos” (ALVES 2000,p.174). Em estudos recentes, percebe-se uma tendência dodesenvolvimento de framework que possua abrangencia conceitualpara resolver um determinado problema que contribua, porexemplo, com a qualidade da aprendizagem no ambienteorganizacional.

O framework desenvolvido por Kirkpatrick (1998) foi um dospioneiros na elaboração da avaliação de treinamento sendoamplamente utilizado em ambientes organizacionais. A versãoinicial do framework Kirkpatrick foi lançada em 1959 com quatroníveis de avaliação. Posteriormente um quinto nível propostopor Hamblin (1978) formou o conjunto para análise: de reações,de aprendizado, de comportamento, de instituição/organização ede valor.

Em síntese, o framework inclúi: O ‘nível 1’, relativo aonível de satisfação dos envolvidos; o ‘nível 2’, buscandosaber se houve aprendizado – melhoria de comportamento,habilidade, significância; o ‘nível 3’, com o objetivo deconhecer o comportamento do formando em sua prática; o ‘nível4’, está relacionado aos ganhos no trabalho; e ‘nível 5’,relativo aos retornos dos investimentos na adoção da prática(KIRKPATRICK,1998).

Os níveis destacados no framework Kirkpatrick para avaliar aefetividade dos programas de EaD não necessariamente seencadeiam no quesito sucesso, ou seja, o sucesso de uma etapado framework não aponta para o sucesso da etapa subsequente(KIRKPATRICK,1998). Vinculada a essa observação à argumentaçãode que “o todo é efetivamente uma macrounidade, mas as partesnão estão fundidas ou confundidas nele” (MORIN, 1990. p.215).

O framework Kirkpatrick foi adequado para a EaD, conforme relataKirkpatrick (1998) no International Conference & Exposition of AmericanSociety for Training and Development 2005. (Conferência e ExposiçãoInternacional da Sociedade Americana para Treinamento eDesenvolvimento - ASTD 2005).

Organizações internacionais e nacionais como McDonalds,Disney e Petrobras usam o framework Kirkpatrick para avaliar aefetividade de suas ações de Educação Corporativa através douso do EaD (KIRKPATRICK, 1998). Observa-se que ao incentivar oaperfeiçoamento e promover as competências, as organizaçõesinduzem seus colaboradores a desempenhar suas ações de formasuperior (KROGH et. al 2000; EBOLI, 2004; FLEURY,FLEURY, 1995,2003, 2004), ou seja, há uma promoção da “capacidade deaprender soluções novas para problemas novos” (ALVES, 2000, p.21).

Importante se faz o entendimento de que a competência nãose reduz ao saber, nem tampouco ao saber-fazer, mas sim à suacapacidade de mobilizar e aplicar esses conhecimentos ecapacidades numa condição particular, onde se colocam recursose restrições próprias à situação específica (RUAS et. al.,2005).

Assim, “de qualquer forma, a complexidade surge comodificuldade, como incerteza e não como clareza e comoresposta” (MORIN, 1990, p.138). Mesmo um sistema novo deconhecimento e aprendizagem, carece de ser entendido em nívelparadigmático com suas causalidades e recíprocas. O todoresultante da formação através da EaD possue partes que nãosão fundidas nele mas, o complementa em essência (MORIN, 1990)

5. Metodologia

A pesquisa empregou o método quantitativo quefrequentemente é aplicado a estudos descritivos com afinalidade de descobrir e classificar as relações entre asvariáveis ou averiguar a relação de casualidade entre osfenômenos. Sendo assim, este método se caracteriza pelautilização de técnicas estatísticas com a finalidade de tambémprover um tratamento empírico, procurando garantir a exatidãodos resultados, evitar distorções de análise e interpretação eutilizando uma margem de segurança para as inferências(RICHARDSON, 1999). Assim, buscou-se para esse estudo umaperspectiva descritiva do tipo levantamento ou survey, por meio

de dados coletados de parte da população da IES, objetivandouma avaliação da distribuição e inter-relações dos fenômenosque ocorrem naturalmente no ambiente pesquisado.

As variáveis da pesquisa, identificadas por meio daliteratura sobre satisfação mediante a usabilidade dasferramentas de EaD dos discentes pesquisados foram: Usabilidade,Satisfação dos Discentes, Ferramentas de Aprendizagem, Quantidade de DisciplinasCursadas, Dispositivos Utilizados, Local de Acesso, Média de Horas Utilizadas e,Melhoramento do AVA.

A amostra foi não probabilística, em que os entrevistadosforam escolhidos por estarem no lugar certo, no momento certo(MALHOTRA, 2012), considerando o número de variáveis dapesquisa e os critérios para a utilização das técnicasmultivariadas de análise de dados. Nesse contexto, otratamento de dados com base na técnica da análise fatorial,observou o parâmetro de no mínimo 10 observações para cadavariável (HAIR, et al., 2009).

Os dados primários foram gerados a partir da aplicação deum questionário estruturado, com perguntas fechadas para todosos respondentes, notadamente confeccionados para esse estudo.Os questionários foram preenchidos por meio de ambientevirtual (internet). Assim, a tarefa do pesquisador foi a decontatar os entrevistados, postar o questionário no site dauniversidade pesquisada e solucionar possíveis dúvidas sobreas respostas (AAKER et al., 2001).

A confiabilidade das escalas de medidas se deu a partir docálculo do Alpha de Cronbach, por meio de testes de consistênciainterna que representam uma medida de intercorrelaçãoexistente em um conjunto de itens (HAIR et al., 2009).

O pré-teste foi realizado na cidade de Fortaleza, numaamostra de 50 respondentes usuários de EaD, com o objetivo deverificar a clareza textual do questionário e o tempo médio deresposta, obtendo-se um tempo médio de 10 minutos. Em outraetapa, realizou-se um pré-teste em que foram preenchidos 30questionários com a finalidade de confirmar a eficácia doinstrumento de coleta de dados em situações reais de coleta,conforme recomenda Hair et al ( 2009).

A pesquisa de campo teve inicio dia 08.11.2013 e finalizouem 20.11.2013, por meio de questionários postados no site dainstituição pesquisada. Foram entrevistadas 116 pessoas nasidades entre 18 e 45 anos, que efetivamente utilizaram osistema de EaD da instituição. Nesse sentido, procurou-se

conhecer as variáveis: sexo, idade, renda, escolaridade e diferentesprofissões. A estrutura do instrumento de coleta de dados seguiua estrutura do modelo teórico a ser testado pelo estudo, noque se refere à relação entre usabilidade em EaD e satisfaçãodo discente.

O tratamento dos dados, inicialmente, se deu no sentido deidentificar e analisar missing values (valores perdidos), com afinalidade de identificar algum padrão existente nos dadosperdidos que caracterize esse processo. Nessa etapa opesquisador deve tomar a decisão de ignorar ou não os dadosque acontecem aleatoriamente nas variáveis (HAIR, et al.,2009). Nesse sentido, optou-se por desconsiderar os missing valuespor serem de natureza completamente aleatória. No que serefere aos outliers, não houve necessidade de tratamento ecorreção, visto que os mesmos não interferiram no padrão dosdados a serem analisados (CORRAR, et al., 2009). Foramcoletados 116 questionários com respostas válidas. Osrespondentes tiveram acesso ao instrumento de coleta de dadosvia internet. Na análise de outliers, utilizou-se o boxplot paraidentificar possíveis erros de digitação dos dados.

Outro procedimento de pré-tratamento utilizado nesse estudofoi a verificação da normalidade das variáveis como requisitopara os testes estatísticos univariados e multivariados doestudo (HAIR, et al., 2009). Inicialmente, verificou-se anormalidade de cada variável isoladamente e depois anormalidade multivariada demonstrando que as combinações dasvariáveis univariadas também são normais. Foram utilizados ostestes Shapiro-Wilks e Kolmogorov-Smirnov para a determinação donível de significância para as diferenças em relação àdistribuição normal.

Para identificar o formato das distribuições e os padrõesde respostas, realizaram-se análises descritivas de média,desvio-padrão, coeficiente de variação, índices de assimetriae curtose dos indicadores propostos para os construtos doestudo. Buscou-se, por meio da análise da matriz de correlaçãodos indicadores de cada construto, conhecer a colinearidade entreos indicadores. Primeiramente, foi utilizada a AnáliseFatorial Exploratória (AFE), como forma de avaliação inicialde medida dos construtos e como forma de explicar as variáveispelas cargas fatoriais para cada fator, já que o pesquisadornão conhecia relações de dependência entre as variáveis doestudo. A análise foi feita com o auxílio do Software SPSS 19.0

(Statistical Package for Social Sciences) para análises das técnicasmultivariadas. O método utilizado foi o dos ComponentesPrincipais (CP), objetivando a identificação de uma combinaçãolinear entre as variáveis, de forma que o máximo da variânciafosse explicado por essa combinação.

Com o objetivo de identificar as relações entre os construtose a satisfação de uso de EaD pelos discentes pesquisados,utilizou-se análise de regressão. Essa técnica possibilitaprever o poder de variáveis dependentes (variável prevista ouexplicada), em função das variáveis independentes (variáveisexplanatórias ou preditoras) possibilitando, também, um poderanalítico nas relações entre as variáveis (HAIR et al., 2009).Buscou-se por meio da análise de regressão o estabelecimentode uma relação funcional entre as variáveis do estudo para adescrição do fenômeno satisfação dos discentes em relação àEaD.

Com a finalidade de avaliar o modelo teórico, foi utilizadaa modelagem de equações estruturais com o uso da técnica PLS –Partial Least Square por meio do software Smartpls – 2.0. Os critérios daanálise foram: os coeficientes de cada path, o Alpha de Cronbach,validade convergente e Variância Extraída (AVE). Alguns dosparâmetros aceitos na literatura são que as cargas fatoriais ea confiabilidade devem apresentar níveis acima de 0,7 e avariância explicada deve apresentar níveis acima de 0,5 (CHIN,2000).

6. Análise dos Resultados

Inicia-se esse tópico com a apresentação dascaracterísticas sóciodemográficas dos entrevistados quecompuseram a amostra , com 116 casos válidos. O perfil dosrespondentes do estudo foi traçado a partir das respostas àsquestões 1,2,3,4, e, pela definição do gênero dosentrevistados (masculino ou feminino). A tabela 1 demonstra ogênero dos respondentes do estudo.

Tabela 1 – Gênero dos respondentesGênero Frequência %

Masculino 67 57,8Feminino 49 42,2Total 116 100

Fonte: Elaborada pelos autores (2013).

Observou-se uma maior predominância dos entrevistados dogênero masculino, representando 57,8% da amostra. No que dizrespeito à faixa etária dos respondentes, houve uma maiorpredominância de indivíduos com idade entre os 20 a 25 anos,representando 56% dos pesquisados, conforme a tabela 2.

Tabela 2 – Idade dos respondentesIdade fi fr%Menos de 20 22 19,020 - 25 65 56,026 - 30 14 12,131 - 35 8 6,9Acima de 35 7 6,0Total 116 100Fonte: Elaborada pelos autores (2013).

6.1 Análise dos construtos

Apresentam-se nessa etapa do estudo os resultados dosindicadores obtidos na análise dos construtos integrantes domodelo a ser testado na pesquisa, da seguinte forma:apresentar-se-á cada indicador medido no construto, seguidopelo número de respostas para cada item. Além disso,apresenta-se o resultado das estatísticas descritivas, em quesão demonstrados: média, desvio-padrão, coeficiente devariação, índices de assimetria e de curtose. Tem-se que osíndices de assimetria e de curtose buscaram conhecer “apriori” as indicações de normalidade das distribuições.

A avaliação dos indicadores dos construtos iniciou-se pormeio de uma AFE, utilizando o método de análise de componentesprincipais, com o objetivo de obter fatores que contivessem omaior grau de explicação da variância possível. Nesse sentido,utilizou-se o critério de autovalores (Eingenvalues). Os fatoresidentificados obtiveram autovalores superiores a 1,000, com aproposição de dois fatores que apresentam juntos uma variânciaexplicada de 64,06 %.

Tabela 3 – Variância total explicada do constructos do estudoComponen

tInitial Eigenvalues Extraction Sums of

Squared LoadingsRotation Sums of

SquaredLoadings

Total % ofVarianc

Cumula-tive %

Total % ofVarianc

Cumula-tive %

Total % ofVarianc

Cumula-tive %

e e e1 7,

22655,585

55,585

55,560

2 1,102

64,062

3 ,975 7,497

71,559

4 ,871 6,703

78,262

5 ,734 5,646

83,908

6 ,521 4,010

87,917

7 ,470 3,613

91,530

8 ,365 2,808

94,338

9 ,265 2,042

96,379

10 ,229 1,759

98,138

11 ,115 ,883 99,022

12 ,077 ,589

99,611

13 0,51 ,389

100,00

Extraction Method: Principal Component Analysis. Fonte: Elaborada pelos autores (2011).

O primeiro fator identificado foi responsável pelaexplicação de 55,585% da variância, o segundo foi responsávelpor 8,476%. Outro teste realizado foi o cálculo do Alpha deCronbach, com a finalidade de verificar a consistência dasescalas. Os construtos obtiveram 0,877 para os treze itens daescala. Tomando-se por base que uma boa consistência se dá apartir de 0,70, conforme Hair et al. (2009), considera-se queos itens da escala do construto Usabilidade, para esse estudo,apresentaram uma consistência satisfatória. Diante disso, apartir das cargas fatoriais, tem-se que o fator 1 agrega osaspectos voltados para a utilização do ensino à distância(Satisfação Ava, Acesso, Horas de Utilização, Usabilidade, Dispositivos,Melhoramento do AVA, Curso, Disciplinas) e o fator 2 está voltado para

características pessoais do usuário de EaD (Idade) conforme amatriz de cargas fatoriais apresentada na tabela 4.

Tabela 4 – Análise fatorial exploratória dos construtos da pesquisaComponentes

Comunalidades

Méd. d.p C.V Assim Curt.

1 2V1 Satisfação

Ava ,949

,901 2,15 1,918

V2 Acesso ,944

,892 2,18 1,909

V3 Horas/Utilização

,875 1,82 1,858

V4 Usabilidade ,932

,869 2,24 1,921

V5 Dispositivo ,861

,742 2,29 1,439

V6 Melhoramento Ava

,607 2,76 1,981

,622 -1,295

V7 Curso ,775

,615 3,92 4,378

19,168

V8 Disciplinas ,724

,556 2,50 1,524

,593 -1,200

V9 Ead -,694

,504 1,78 ,419 ,175 -1,340

Profissão ,602

,440 2,47 1,168

-1,473

Ferramentasde Aprendizagem

- ,337 3,85 2,555

-1,855

Idade -,156

,655 2,25 1,037

Sexo -,115

,335 1,42 ,496 ,246 ,318 -1,932

Fonte: Elaborada pelos autores (2013).

6.2 Análise da satisfação do usuário de EaD

Nessa etapa do estudo, serão apresentadas as análisesrealizadas, com o objetivo de demonstrar a relação dasvariáveis coma satisfação dos discentes pesquisados em relação

à usabilidade em EaD. Realizaram-se análises de correlaçãobivariada para identificar a existência de relações entre osantecedentes e satisfação dos discentes pesquisados em relaçãoà usabilidade em EaD. A direção da relação (positiva ounegativa) e a força da relação entre as variáveis foramconsideradas, por meio do coeficiente de correlação dePearson, com o respectivo teste de significância.

Assim, buscou-se determinar a função matemática que estimao comportamento de determinada variável, tendo por base osvalores de outras variáveis (HAIR et al., 2009). Utilizou-se ométodo Stepwise para analisar a contribuição de cada variável aomodelo, iniciando pela variável independente com o maiorcoeficiente de correlação com a variável dependente. O métodoutiliza o teste F, para determinar se a variável será mantidaou retirada do modelo (HAIR et al., 2009).

O objetivo da análise de regressão múltipla, para esseestudo, se faz necessário a partir do momento em que se buscouo entendimento sobre as relações da variável dependente(satisfação AVA) com as demais variáveis da pesquisa.

O método Stepwise selecionou como estatisticamentesignificativas as variáveis: Usabilidade, Horas de utilização, Acesso eFerramentas de aprendizagem. O modelo que melhor explica asatisfação dos discentes em relação à utilização do EaDapresentou um R2 de 0,921, demonstrando uma explicação de92,1 %, conforme a conforme a tabela 5.

Tabela 5 – Coeficientes do modelo Satisfação em EaDModelo Coeficientes padronizados

Beta t Sig. R2

Zscore: Usabilidade ,573 8,887

Zscore: Horas de Utilização

,219 3,464

Zscore: Acesso ,162 2,346

Zscore: Ferramenta de Aprendizagem

,070 2,236

,027 0,921

Fonte: Elaborada pelos autores (2013). Nota: a. Dependent variable (Satisfação AVA).

6.3 Avaliação do Modelo Estrutural

Com a finalidade de avaliar o modelo teórico a ser testado,foi utilizada a modelagem de equações estruturais com o uso datécnica PLS – Partial Least Square por meio do software Smartpls – 2.0. Paracada construto, considerou-se a análise fatorial exploratóriarealizada, mediante o agrupamento dos indicadores em cadafator, em função das significâncias das cargas fatoriais, dacomunalidade explicada e dos procedimentos relativos ao usoestatístico do Alpha de Cronbach.

Uma análise fatorial confirmatória foi realizada com afinalidade de analisar cada constructo separadamente. Oscritérios da análise foram baseados em: coeficientes de cadapath, Alpha de Cronbach, validade convergente e Variância Extraída(AVE). Os parâmetros aceitos na literatura são que as cargasfatoriais e a confiabilidade devem apresentar níveis acima de0,7 e a variância explicada deve apresentar níveis acima de0,5 (CHIN, 2000), conforme a tabela 6.

Tabela 6 – Índices de desempenho dos constructos analisadosAVE Composit

eReliabil

RSquare

Cronbachs

Communality Redundancy

SatisfaçãoAVA

0,6297

0,7728 0,4855 0,4121 0,6297 0,3057

Usabilidade

0,7590

0,9615 0,0000 0,9529 0,7590 0,0000

Fonte: Elaborada pelos autores (2013). A análise do modelo definitivo da pesquisa demonstrou que a

usabilidade em EaD está diretamente relacionada à satisfaçãodo discente em relação á utilização das ferramentas de ensinoà distância. Notou-se, então, que a usabilidade influencia asatisfação do discente em 69,7%, conforme o resultadoapresentado de 0,697. Na figura 1, apresenta-se o modeloconfirmatório definitivo do estudo.

Figura1: Modelo confirmatório da pesquisa

Fonte: Dados da pesquisa (2013)

7. Considerações Finais

No momento atual, é crescente o investimento por parte demuitas Instituição Particular de Ensino Superior com relação aimplantação de programas de EaD, com objetivo de promover oensino na esfera de atuação mas através da modalidade nãopresencial e assim reduzindo custos, propondo uma melhordinamização e buscando se alinhar com o mercado e aspossibilidade oferecidas pelo MEC.

Ao analisar os resultados obtidos com o modelo estatísticosob o framework desenvolvido por Kirkpatrick (1998) considerandonesse conjunto aspectos como: reações, de aprendizado, decomportamento, de instituição/organização e de valor;evidencia-se e confirma-se que a usabilidade em EaDrelacionado à satisfação do discente em relação á utilizaçãodas ferramentas de ensino à distância merece uma atençãoredobra por parte da instituição de ensino estudada.

Recomenda-se que a instituição aperfeiçoe seu sistema deavaliação com objetivo de estabelecer medidas fidedignas esistematizadas dos projetos de EaD em uso, utilizando-se deindicadores que traduzam os rumos dos programas deaprendizagem contínua. Tomando como direcionador o frameworkdesenvolvido por Kirkpatrick (1998) critérios como: avaliação da

reação dos participantes ao sistema (questionários online,fóruns etc) e avaliação dos conhecimentos dos participantes(testes, ensaios individuais, pós-testes etc, considerando ofator usabilidade como determinante e alinhados ao ‘nível 1’do framework devem ser melhor trabalhado; pelo ‘nível 3 e4’resta destacar que a instituição desenvolva melhor osinstrumentos atuais de avaliação do comportamento dosparticipantes (observações , possibilidades de transferência,registros de desempenho etc.), e avaliação dos resultados daformação e respectivo impacto antes e depois dos ajustes deusabilidade que venha a implementar no ‘nível 5’ relacionadoao retorno dos investimentos na adoção da prática.

Conclui-se propondo uma ampliação e comparação do estudopara e entre outras instituições de ensino do estado, região edemais regiões aprofundando a temática proposta a ponto de umajuste no framework desenvolvido por Kirkpatrick (1998) para omesmo tratar a questão da usabilidade de ferramentas emetodologias como mais um nível ou diluí-lo entre os jáexistentes.

Referências

AAKER, D. ; JOACHIMSTHALER, E. Como construir marcas líderes.São Paulo: Futura, 2001.ALVES, Rubens. Filosofia da Ciência - Introdução ao jogo e suaregras. Ed. Loyola, 2000.ALMEIDA, M.E.B. O educador no ambiente virtual: concepções,práticas e desafios. Fórum de Educadores. São Paulo: SENAC,2004.

ASTD. (2009). The value of evaluation: Making trainingevaluations more effective, American Society of Training andDevelopment Report Executive Summary. Disponível em <http://www.astd.org/NR/rdonlyres/C42C06B4-089C-42E3-88CB-941399FD887B/0/ValueofEvaluationExecutiveSummary.pdf><Acesso: 15 jun. 2013>.ABNT - Associação Brasileira de Normas Técnicas. NBR 10719 -Apresentação de Relatórios Técnico-Científicos: procedimento.ISO 14002, Agosto, 1989.ABNT - Associação Brasileira de Normas Técnicas. NBR 6023 –Referências Bibliográficas: procedimento. Agosto, 2000.ABNT - Associação Brasileira de Normas Técnicas. NBR 6034 -

Preparação de Índice de Publicações: procedimento. ISO 14001,Agosto, 1989.ALMEIDA, M. (2004). Tecnologia e educação à distância:abordagens e contribuições dos ambientes digitais einterativos de aprendizagem. Disponível em:<http://www.anped.org.br/reunioes/26/trabalhos/mariaelizabethalmeida.rtf>. Acesso em: 03.nov.2013.BARTEL, C.; GARUD, R. The role of narratives in sustainingorganizational innovation. Organization Science, v. 20, n. 1,p. 107-117, 2009.BASTOS, N. M. Introdução à metodologia do trabalho acadêmico.Fortaleza, Nacional, 2008.BOHADANA, E.; VALLE, L. O quem da educação a distância.Revista Brasileira de Educação, v.14, n. 42, p. 551-564, 2009.CHIN, Wynne. Partial Least Squares for IS Researchers: AnOverview and Presentation of Recent Advances Using the PLSApproach. ICIS 2000 Proceedings, 2000.CORRAR, J.; PAULO, E.; DIAS FILHO, J. (Coords.). Análisemultivariada: para os cursos de administração, ciênciascontábeis e economia/ FIPECAPI – Fundação Instituto dePesquisas Contábeis, Atuarias e Financeiras. 1. ed. São Paulo:Atlas, 2009.CUKUSIC, M.; ALFIREVIC, N.; GRANIC, A.; GA-RACA, Z. e-Learningprocess management and the e-learning performance: Results ofa European empirical study. Computers & Education, v.55, n.2,p. 554-565, 2011.DIAS, C. Usabilidade na Web: criando portais mais acessíveis.2ª Ed. Rio de Janeiro: Altabooks. , 2007. 296 p, .2007.EBOLI, Marisa, Educação Corporativa no Brasil – Mitos eVerdades. Editora Gente, 3ª ed., 2004.ENGLISH, R; DUNCAN-HOWELL, J. (2008). Facebook goes tocollege: Using social networking tools to support studentsundertaking teaching practicum. Journal of Online Learning andTeaching, 4(4), 596-601. Disponível em:<http://jolt.merlot.org/vol4no4/english_1208.htm>. Acesso em:17 de março de 2014.Educação a Distância: o estado da arte. São Paulo: PearsonEducation do Brasil, 2009.FLEURY, M.T.L. & FLEURY, Afonso C. C. Formação decompetências em redes internacionais: o caso da indústria detelecomunicações. Administração em Diálogo, São Paulo, n° 5,pp. 33-41, 2003.

__________. Aprendizagem e inovação organizacional. São Paulo:Atlas, 1995.__________.. Estratégias Empresariais e Formação deCompetências. 3ª ed. Editora Atlas, 2004.GABRIEL, M. Educ@ar: a (r)evolução digital na educação. 1ª Ed.São Paulo: Saraiva, 2013.GONÇALVES, M. Usabilidade de Software: recomendações básicaspara verificação do nível de conhecimento dos alunos doscursos de Design Gráfico e Sistemas de Informação daUNESP/BAURU. 2008. 238f. Dissertação (Mestrado) – UniversidadeEstadual Paulista. Faculdade de Arquitetura, Artes eComunicação, Bauru, 2008.GRANIC, Andrina; CUKUSIC, Maja. Usability Testing and ExpertInspections Complemented by Educational Evaluation: A CaseStudy of an e-Learning Platform. Educational Technology &Society, 14 (2), p. 107-123, 2011.HAIR, J. et al. Análise Multivariada de Dados. Tradução AdonaiSchlup Sant Ánna e Alselmo Chaves Neto. 6. ed. Porto Alegre:Bookman, 2009.ISO 9241 Parte 11. Requisitos Ergonômicos para Trabalhos deEscritórioscom Computador. Parte 11: Orientações sobreUsabilidade, 1998.ISO/IEC 9126. Software product evaluation: Qualitycharacteristics and guidelines for their use. 1991.KIRKPATRICK, Denise; MCLAUGHLAN, Robert G. EvaluatingPollutsim: Computer Supported Roleplay-Simulation. AcademicExchange – Winter, 2001.KIRKPATRICK, D. L. Evaluating training programs. 2. ed. SãoFrancisco: Berrett-Koehler Publishers, Inc., 1998._________. Transformando Conhecimento em Comportamento inAmerican Society for Training and Development – ASTD 2005.Disponível em <www.astdportugal.com>. Acesso < 15 de junho de2013>.KROGH, Von, G.; ICHIJO, K.; NONAKA, I. Enabling KnowledgeCreation: How to unlock the mystery of tacit knowledge andrelease the power of innovation. New York: Oxford UniverstityPress, 2000.MALHOTRA, N. Pesquisa de Marketing. 3. ed. Porto Alegre:Bookman, 2012.MARCONI, M.; LAKATOS, E. Metodologia do Trabalho Científico:procedimentos básicos, pesquisa bibliográfica, projeto erelatório, publicações e trabalhos científicos. 6ª Ed. São

Paulo, Atlas, 2006.MCLOUGHLIN, Catherine; LEE, Mark J. W.The Three P’s of Pedagogy for the Networked Society: Personalization, Participation, and Productivity. International Journal ofTeaching and Learning in Higher Education. vol 20, n 1, 2008, 10-27.MORIN, Edgard. Ciência com consciência. Lisboa:Europa/América, 1990.MUGNOL, M. A Educação a Distância no Brasil: conceitos efundamentos. Revista Diálogo Educacional, v.9, n. 27, p. 335-349, 2009.NASCIMENTO. L.F. et al. Presencial ou a Distância: a modalidadede ensino influencia na aprendizagem? Revista Administração:Ensino e Pesquisa - RAEP. Rio de Janeiro, v.14, n. 2, p. 311-341, Abr.Mai.Jun., 2013.PREECE, Jennifer; ROGERS, Yvonne; SHARP, Helen. Design deinteração: além da interação homem-computador. Porto Alegre:Bookman, 2005.RICHARDSON, R. Pesquisa social: métodos e técnicas. 3. ed. SãoPaulo, Atlas, 1999.ROGERS, E. Diffusion of innovations. New York: Free Press,2003.ROMERO, T. Educação sem distância: as tecnologias interativasna redução de distâncias em ensino e aprendizagem. São Paulo:Senac, 2010.RUAS, ROBERTO, ANTONELLO, Claudia S.,BOFF, Luiz Henrique. Osnovos horizontes da gestão: aprendizagem organizacional ecompetências. Porto Alegre: Bookman, 2005.RUBIN, Jeffrey; CHISNELL, Dana. Handbook of usability: how toplan, design, and conduct effective tests. 2ed. Indianapolis:Wiley Publishing, 2008.SANCHEZ, F. (Coord.). Anuário Brasileiro Estatístico deEducação Aberta e a Distância (AbraEAD). 4. ed. São Paulo:Instituto Monitor, 2008.SANCHEZ, F. As estatísticas da EAD no Brasil. In: LITTO, F. M.& FORMIGA, M. (org.) Educação à distância: o estado da arte.São Paulo: Pearson Education do Brasil, 2009.SANTOS, R. L. G. dos. Ergonomização da interação homem-computador abordagem heurística para avaliação da usabilidadede interfaces. Rio de Janeiro, RJ. Originalmente apresentadacomo dissertação de mestrado, Pontifícia Universidade Católicado Rio de Janeiro, 2000. 347p.SHARMA, Kunal. Financial implications of implementing an e-

learning project. Journal of European Industrial Training.Vol. 35 No. 7, pp. 658-686, 2011.TULLIS, Thomas, ALBERT, William. Measuring the userexperience: collecting, analyzing and presenting usability.USA: Morgan Kaufmann, 2008.WONG, David H. Reflections on student-university interactionsfor next generation learning. Asia Pacific Journal ofMarketing and Logistics. Vol. 24 No. 2, pp. 328-342, 2012.YANG, J. Knowledge integration and innovation: securing newproduct advantage in high technology industry. Journal of HighTechnology Management. Vol 16, p.121–135, 2005.

A Usabilidade como Capacidade Inovativa em Ead: Um Estudo em uma Instituição Particular de Ensino...

Documents