E-Learning Scorecard
Transferir como PPT, PDF0 gostou1,276 visualizações
O documento apresenta uma proposta de avaliação de cursos on-line utilizando o modelo Balanced Scorecard (BSC) para medir o desempenho organizacional. Aborda a importância da medição de performance e descreve objetivos e indicadores estratégicos em diferentes dimensões, como financeira, processos internos, aprendizado e inovação. Além disso, o texto discute as dificuldades e recomendações relacionadas à implementação do BSC em instituições de ensino a distância.
E-Learning Scorecard
- 1. e-Learning Scorecard: Proposta para Avaliação de Cursos On-line Liliana Vasconcellos Luís Fernando Ascenção Guedes Maria Tereza Leme Fleury 04/09/2007
- 2. Introdução Objetivo do estudo Propor um modelo de avaliação de cursos on-line a partir do Balanced Scorecard, desenvolvido por Kaplan e Norton (1997) BSC Visa medir o desempenho organizacional Adaptado caso a caso para traduzir a estratégia da instituição Potencial para ser usado como sistema de apoio à decisão
- 3. Modelos de Avaliação da Performance Por que medir a performance organizacional? Identificar situação atual e oportunidades de melhoria Filosofia da Qualidade “ Só se pode gerenciar aquilo que se pode medir” Informações para decisão Limitações dos sistemas tradicionais (década 70) Historicamente orientados Uso de medidas estritamente financeiras Complexidade crescente do ambiente exige base de informações mais completa Fonte: ROCHA-FERNANDES (2004)
- 4. Tableau de Bord (Satet e Voraz,1932) Utilizado na França há mais de 50 anos Desenvolvido por engenheiros de produção Visa aperfeiçoar o processo produtivo Instrumento de controle gerencial / decisão Busca entender as relações de causa e efeito Freqüência de elaboração depende do ciclo de decisão Fonte: COSTA (2001) Missão => Objetivos => Fatores de Sucesso (KSF) => Indicadores de Performance (KPI)
- 5. Tableau de Bord Fonte: http://www.tbs-sct.gc.ca/emf-cag/model/ed-td/ed-td_f.asp#Tableau%20de%20bord%20pour%20la%20direction%20Grandes%20lignes
- 6. Balanced Scorecard (BSC) Artigo publicado na Harvard Business Review em 1992 Mix de medidas financeiras e não financeiras Número limitado de medidas (entre 15 e 25) Medidas agrupadas em 4 perspectivas Medidas relacionadas com objetivos estratégicos Medidas escolhidas tem apoio da alta administração Tentativa de representar causalidade / link entre as 4 perspectivas Fonte: KAPLAN e NORTON (1997)
- 7. Balanced Scorecard (BSC) Fonte: KAPLAN e NORTON (1997)
- 8. BSC: Mapa Estratégico Fonte: LAWRIE e COBBOLD (2004, p.615)
- 9. BSC: Dificuldades de Implantação Identificação de indicadores vitais entre muitos indicadores triviais Comunicação falha dos objetivos do BSC Subestimação do tempo gerencial requerido na implementação Custo de aquisição de informações adicionais Objetivos desfocados e, portanto, sem precisão suficiente para serem mensurados Confiança injustificada em sistemas informais de feedback, que prejudica o uso de indicadores realmente importantes Resistência ao novo (em relação aos sistemas de informação pré-existentes) Alinhamento ao sistema de compensação da empresa Captação de dados relativos aos indicadores do BSC Fonte: TEIXEIRA (2003) Pesquisa (1998): 70% das implantações do BSC falharam
- 10. BSC: Recomendações Não existe solução padrão Apoio da alta administração é essencial Ponto de partida do BSC deve ser a estratégia do negócio (definida adequadamente) Objetivos e medidas em número limitado Intervalo de tempo entre análise e implementação (nem longo, nem curto) Forte sinergia entre sistemas de informação e abordagens de medição do desempenho Considerar necessidade de treinamento, comunicação e envolvimento Considerar efeito dos indicadores de desempenho no comportamento Nem todas as medidas podem ser quantificadas (necessidade de precisão pode variar) Fase piloto / introdução gradual Não subestimar os custos associados ao registro, administração e relatórios Fonte: SMITH (2005); ROEST (1997 apud ALTHEMAN, 2004)
- 11. e-Learning Scorecard Dimensão Objetivos estratégicos Indicadores estratégicos Financeira Maximizar retorno financeiro para instituição ROI - Retorno sobre o investimento VPL - Valor presente líquido Clientes Satisfazer plenamente as expectativas dos alunos Avaliação geral do curso Quantidade de alunos que abandonaram o curso Quantidade de ex-alunos atualmente matriculados Aumentar a percepção de qualidade Avaliação do conteúdo e profundidade do treinamento Quantidade de horas de disponibilidade on-line dos professores durante o curso Quantidade recebida de e-mails com dúvidas Quantidade de chamados para o suporte técnico Aprimorar a usabilidade Avaliação da diagramação, navegação e facilidade de uso Avaliação da adequação do site ao porte do equipamento do aluno e conexão à Internet Tempo de indisponibilidade da plataforma durante o período do curso Quantidade de links com erros de encadeamento
- 12. e-Learning Scorecard Dimensão Objetivos estratégicos Indicadores estratégicos Processos internos Excelência no suporte ao aluno Tempo médio para resposta às solicitações dos alunos via e-mail Avaliação geral do suporte técnico on-line Quantidade de certificados de conclusão emitidos com erro Excelência no suporte ao professor Quantidade de reclamações dos professores Quantidade de professores que participaram da elaboração do curso Comunicação efetiva Valor gasto na publicidade do curso Quantidade de interessados no curso Quantidade de linhas de publicidade espontânea (não paga) Aprendizado e inovação Aprimoramento continuo e reputação Posição no ranking das melhores instituições de e-learning Quantidade de inovações incluídas nesse curso com relação à turma anterior
- 13. Referências ALTHEMAN, Edman. Sistemas de Suporte às Decisões Estratégicas em Universidades Particulares da Grande São Paulo: Proposta de Um Modelo com o Uso do Balanced Scorecard. Tese (Doutorado em Administração). Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, 2004. BIROCHI, René. “O Mapa de Valor da Indústria de E-Learning no Brasil, Segundo Critérios de Valor Percebido”. 2003. 159 f. Dissertação (Mestrado em Administração). FEA/USP, 2003. BRASIL. Decreto Nº 5.622, de 19 de dezembro de 2005, p.1. CARVALHO, Renata S.; ABBAD, Gardênia da S. “Avaliação de treinamento a distância: reação, suporte à transferência e impacto do treinamento no trabalho” Encontro da ANPAD, 2003. COMISSÃO ASSESSORA PARA EDUCAÇÃO SUPERIOR A DISTÂNCIA. Relatório, ago. 2002. COSTA, Ana Paula Paulino da. “Contabilidade Gerencial: Um Estudo sobre a Contribuição do Balanced Scorecard”. (Mestrado). FEA/USP, 2003. DRUCKER, Peter. “e-ducação”. Exame. São Paulo: Editora Abril, p. 64-67, 14 jun. 2000. HALLETT, Karen; ESSEX, Christopher. “Evaluating Online Instruction: Adapting a Training Model to E-Learning in Higher Education”. In: ED-MEDIA 2002 World Conference on Educational Multimedia, Hypermedia & Telecommunications. Proceedings, Denver, 2002. KAPLAN, R.S. NORTON, D.P. “A estratégia em Ação”. 8 a ed., Rio de Janeiro: Campus, 1997. KAPLAN, R.S. NORTON, D.P. “The Balanced Scorecard – Measures That Drive Performance” . Harvard Business Review, v. 70, Janeiro/Fevereiro,1992. KIRKPATRICK, D. L. “Evaluating Training Programs: The Four Levels”. Barrett-Koehler Publishers, 1998. LAWRIE, Gavin; COBBOLD, Ian. “Third-generation balanced scorecard: evolution of na effective strategic control tool”. International Journal of Productivity and Performance Management, Vol. 53 No. 7, 2004, pp. 611-623. MEC - Ministério da Educação - Secretaria de Educação a Distância. Indicadores de Qualidade para Cursos de Graduação a Distância. Brasília, 2000, p.3. Disponível em: <http://www.mec.gov.br>. ROCHA-FERNANDES, B. H. “Competências e performance organizacional: um estudo empírico”. Tese (Doutorado em Administração). FEA/USP, 2004. RODRIGUES, Rosângela Schwarz. “Modelo de avaliação para cursos de ensino a distância: estrutura, aplicação e avaliação”. Dissertação (Mestrado em Engenharia de Produção) - UFSC, 1998. ROSENBERG, M. J. “e-Learning: Estratégias para a Transmissão do Conhecimento na Era Digital”. São Paulo: MAKRON Books, 2002, p. 25. SMITH, Malcolm. “The balanced scorecard”. Financial Management. London: Feb 2005. pg. 27, 2pgs. TEIXEIRA, Fabrícia Souza. “Mensuração do Grau de Eficácia do Balanced Scorecard em Instituição Privada de Ensino Superior”. Dissertação (Mestrado em Controladoria e Contabilidade). FEA/USP, 2003. VERDUIN, John R.; CLARK, Thomas A. “Distance Education: The Foundations of Effective Practice”. San Francisco: Jossey-Bass Publishers, 1991, p. 157.
- 14. Avaliação do e-Learning Fonte: Verduin e Clark
- 15. Avaliação do e-Learning Fonte: Hallett e Essex Nível de Avaliação Indicadores Nível 1 Satisfação do Aluno Curso atingiu os objetivos do aluno Nível de instrução foi apropriado para a audiência Ritmo foi apropriado Curso cobriu os conteúdos em amplitude e profundidade adequadas Interações entre aluno e instrutor e entre alunos auxiliaram no processo de aprendizagem Compatibilidade da tecnologia com o equipamento do aluno, sistemas institucionais existentes, confiabilidade, usabilidade e velocidade. Nível 2 Aprendizagem do Aluno Parte da metodologia do curso, os critérios normalmente se relacionam a: Entendimento do conteúdo Domínio do processo Nível 3 Transferência da Aprendizagem Critério definido conforme a área profissional para que seus membros obtenham a certificação. Nível 4 Retorno sobre o Investimento ou Impacto no Negócio Avaliação do retorno sobre o investimento do ponto de vista da instituição: Promoções obtidos por alunos formados, assim como aumentos salariais e contratações
- 16. Avaliação do e-Learning Indicadores de qualidade para cursos a distância (MEC): integração com políticas, diretrizes e padrões de qualidade definidos para o ensino superior como um todo e para o curso específico; desenho do projeto; equipe profissional multidisciplinar; comunicação/interatividade entre professor e aluno; qualidade dos recursos educacionais; infra-estrutura de apoio; avaliação de qualidade contínua e abrangente; convênios e parcerias; edital e informações sobre o curso; custos de implementação e manutenção
- 17. Avaliação do e-Learning Fonte: RODRIGUES (1998)
Notas do Editor
- #5: Figure 1 of part 1 of this article series pictures the framework of the “Tableau de Board” developed by Juergen Daum, which is based on the French concept with the same name. It provides information on the overall performance of the enterprise (through its Balanced Scorecard view) and of the status of the most important value adding processes (through different KPI-based “cockpits”) in an integrated way.
- #7: O Balanced Scorecard “traduz a missão e a estratégia das empresas num conjunto abrangente de medidas de desempenho que serve de base para um sistema de medição e gestão estratégica” [4]. “Os objetivos e medidas focalizam o desempenho organizacional sob quatro perspectivas: financeira, do cliente, dos processos internos e de aprendizado e crescimento” [4].
- #8: O Balanced Scorecard “traduz a missão e a estratégia das empresas num conjunto abrangente de medidas de desempenho que serve de base para um sistema de medição e gestão estratégica” [4]. “Os objetivos e medidas focalizam o desempenho organizacional sob quatro perspectivas: financeira, do cliente, dos processos internos e de aprendizado e crescimento” [4].