Apresentação EAvaliar Workshop25 06 2009
0 gostou354 visualizações
Este documento apresenta um guia para avaliar o impacto do eLearning nas organizações em Portugal. O projeto foi financiado pela União Europeia e pelo governo português e teve como objetivo conceber, testar e disseminar uma metodologia de avaliação do eLearning. A metodologia inclui instrumentos e práticas de avaliação em várias fases, e foi testada em cinco organizações portuguesas. O resultado final foi um guia de avaliação do eLearning para organizações em Portugal.
Apresentação EAvaliar Workshop25 06 2009
- 1. eAvaliar Guia para a avaliação do eLearning nas Organizações em Portugal Ana Henriques 25 de Junho de 2009 Projecto co-financiado pelo: UNIÃO EUROPEIA Governo da Fundo Social Europeu República Portuguesa
- 2. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Coordenação – Mário Figueira Conselho Consultivo – Roberto Carneiro – Marc Rosenberg Equipa Técnica – Ana Henriques – Fernando Baptista – Gabriela Paleta – Ruben Eiras – Teresa Santos Especialistas Nacionais – Etelberto Costa – José Lagarto – Maria do Rosário Cabrita Especialistas Internacionais – George Siemens – Ludo Pyis – Marc Rosenberg – Stephen Downes Ana Henriques 25-06-2009 2
- 3. Estudo “eAvaliar” Projecto co-financiado pelo: Avaliação do eLearning nas organizações em Portugal UNIÃO EUROPEIA Governo da Fundo Social Europeu República Portuguesa Propósito Projecto que pretende apoiar os responsáveis por ofertas formativas de eLearning na implementação de Sistemas de Avaliação do Impacto do eLearning nas suas organizações (empresas, administração pública, universidades), de forma a aumentarem a qualidade dos seus produtos e serviços, como para adquirir maior capacidade competitiva no mercado global. A realização do presente estudo foi co-financiada pelo Estado Português e Fundo Social Europeu, no âmbito do POEFDS – Programa Operacional de Emprego, Formação e Desenvolvimento Social. Ana Henriques 25-06-2009 3
- 4. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Objectivo Geral Conceber, testar e disseminar uma metodologia, instrumentos e práticas de avaliação do impacto organizacional das acções de formação em eLearning, desenvolvidas pelas empresas, administração pública e outras organizações em Portugal. Ana Henriques 25-06-2009 4
- 5. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Público Alvo Gestores e Coordenadores de formação Técnicos de formação Formadores Responsáveis por ofertas formativas de eLearning nas organizações Ana Henriques 25-06-2009 5
- 6. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Fases de realização A avaliação do impacto do eLearning nas organizações a nível Fase 1 internacional. Caracterizar a avaliação do impacto do eLearning nas organizações Fase 2 portuguesas. Conceber uma metodologia para a avaliação do impacto do eLearning Fase 3 nas organizações portuguesas. Testar a metodologia, instrumentos e práticas concebidos em cinco Fase 4 organizações portuguesas. Conceber um Guia de orientação para a implementação da metodologia Fase 5 de avaliação do impacto do eLearning nas organizações em Portugal desenvolvida. Fase 6 Editar um Guia de orientação para a implementação da metodologia de avaliação do impacto do eLearning nas organizações em Portugal desenvolvida. Ana Henriques 25-06-2009 6
- 7. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Resultados esperados Uma Metodologia de Avaliação do impacto organizacional das sessões de formação em eLearning, incluindo instrumentos e práticas inovadoras, testada em 5 organizações portuguesas; Uma Análise das práticas de avaliação do eLearning desenvolvidas pelas organizações portuguesas e identificadas pela pesquisa por comparação com os modelos teóricos existentes; Um Guia de Avaliação do impacto do eLearning nas organizações em Portugal, com base na metodologia concebida e testada. Ana Henriques 25-06-2009 7
- 8. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Principais Fontes - Kirkpatrick - Jack Phillips - Leif Edvinson Ana Henriques 25-06-2009 8
- 9. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Organizações Participantes Nacionais Organizações Participantes Internacionais Ana Henriques 25-06-2009 9
- 10. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Principais conclusões (modelo): Devemos medir: – Satisfação dos formandos – Aprendizagem e desempenho Métricas do bussiness value do eLearning: – Ganhos de negócio – Capacidade de resposta e rapidez de entrega – Optimização de custos – Tempo de desenvolvimento das competências Ana Henriques 25-06-2009 10
- 11. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Principais conclusões – Avaliar é necessário – Avaliar o eLearning exige metodologias específicas e integradas e um conjunto de instrumentos que permitam às organizações avaliar as suas iniciativas de eLearning e blended learning – O eLearning acarreta mais colaboração e valor acrescentado em conhecimento – Avaliar o impacto do eLearning nas organizações portuguesas é prioritário – Novas Oportunidades e Plano Tecnológico necessitam da modernização estrutural das instituições educativas/formativas Ana Henriques 25-06-2009 11
- 12. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Metodologia do Guia eAvaliar Passo 1 – Calculo do ROI da Formação em eLearning 1. Planear a Avaliação 2. Recolher dados 3. Analisar Dados 4. Reporting Identificar os Custos da Solução Nível 1: Reacção, Nível 3: Aplicação/ Satisfação e Acção Implementação Planeadas Recolher Recolher Desenvolver Desenvolver Converter Desenvolver dados dados Isolar os Calcular o /Rever Planos de os dados os Relatórios durante a depois da efeitos da Retorno do Objectivos Avaliação e em Valores e Comunicar implem. da implem. da solução Investimento da Solução Dados Base Monetários Resultados solução solução Nível 5: ROI Nível 2: Nível 4: Impacto Aprendizagem no negócio Identificar os Intangíveis Ana Henriques 25-06-2009 12
- 13. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal 1. Planear a Avaliação a) Propósito da avaliação Desenvolver /Rever b) Extensão da avaliação Objectivos da Solução c) Objectivos do Programa de Formação Ana Henriques 25-06-2009 13
- 14. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal 1. Planear a Avaliação a) Plano de recolha de dados Desenvolver Planos de b) Plano de análise do ROI Avaliação e Dados Base c) Plano de Projecto Ana Henriques 25-06-2009 14
- 15. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal 2. Recolher dados Inquéritos Questionários Nível 1: Reacção, Nível 3: Aplicação/ Testes Satisfação e Acção Implementação Planeadas Recolher Recolher Observação no posto de trabalho dados dados durante a depois da Entrevistas implem. da implem. da solução solução Focus Groups Nível 2: Nível 4: Impacto Aprendizagem no negócio Planos de acção e tarefas do programa Contratos de performance Monitorização da performance do negócio Ana Henriques 25-06-2009 15
- 16. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal • Usar grupo de controlo / Linhas de tendência / Modelo de previsão 3. Analisar Dados 1 • Estimativa de impacto pelos participantes • Utilização de peritos / estudos existentes • Calcular / estimar o impacto de outros factores Identificar os Custos da • Converter os dados de saída Solução • Calcular o custo qualidade • Usar os salários e beneficio dos participantes • Usar custos históricos 2 • Utilizar peritos internos e externos Converter os dados • Bases de dados Isolar os em Calcular o efeitos da Retorno do • Estimativas Valores solução Monetário Investimento • Medidas flexíveis s • Custo do desenho e desenvolvimento do programa / materiais / formadores / logística 3 • Transporte, alojamento e refeição dos formandos Identificar • Salários e benefícios os • Custos administrativos Intangíveis 4 • RBC (Rácio Benefício / custo) • Maior satisfação cliente, confiança, satisfação no 5 trabalho • Menos reclamações, conflitos Ana Henriques 25-06-2009 16
- 17. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal 4. Reporting 1 – Informação geral 2 – Metodologia do estudo Desenvolver os Relatórios e Comunicar Resultados 3 - Resultados 4 - Interpretação 5 - Evidências Ana Henriques 25-06-2009 17
- 18. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Metodologia do Guia eAvaliar Passo 2 – Calculo e medição do Capital Intelectual Foi criado o modelo Scorecard Capital Intelectual cujo objectivo é medir e gerir o Capital Intelectual nas Organizações, independentemente da sua dimensão ou natureza da actividade. Estrutura de indicadores do Scorecard Capital Intelectual dividida em: • Capital Humano – inclui os activos de conhecimento (tácitos ou explicitos) depositados nas pessoas • Capital Estrutural – activos intangíveis dominados e detidos pela organização. Esta estrutura foi redefinida tendo em consideração a organização em causa. Baseada no “Modelo Nova” (Edvinson e Malone) A obtenção dos indicadores contidos no Scorecard Capital Intelectual é concretizada através de um inquérito aplicado à gestão de topo. Ana Henriques 25-06-2009 18
- 19. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Metodologia do Guia eAvaliar Passo 2 – Calculo e medição do Capital Intelectual Metodologia: • Inquérito à gestão • Bateria de Índices • Quadro provisório de indicadores • Realização de uma medição experimental dos intangíveis da organização (2ª etapa) com o quadro provisório • Estabelece-se um sistema de indicadores idóneo para avaliar a qualidade do Capital Intelectual da organização e os critérios de medidas • Aplicação do algoritmo de cálculo do índice do capital intelectual Ana Henriques 25-06-2009 19
- 20. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Metodologia do Guia eAvaliar Passo 2 – Calculo e medição do Capital Intelectual Descrição do Algoritmo de cálculo do Índice de Capital Intelectual Ana Henriques 25-06-2009 20
- 21. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Bateria de Ferramentas do Guia eAvaliar 1. Questionário sobre a qualidade do capital intelectual 2. Balanced Scorecard Capital Intelectual – Painel de Resultados Gerais 3. Balanced Scorecard Capital Intelectual – Monitor de avaliação por indicador 4. Plano de Recolha de dados 5. Diagrama de planeamento de avaliação 6. Questionário de avaliação da satisfação 7. Questionário de avaliação da reacção e transferência de conhecimentos para o posto de trabalho Ana Henriques 25-06-2009 21
- 22. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Testemunhos “(…) Gerir começa e sempre começará por medir. Por isso, é indispensável medir o impacto nas organizações de todas as inovações tecnológicas / metodológicas e, ente elas, o eLearning.” Rogério Carapuça Presidente da Novabase “(…)Por este conjunto alargado de imperativos a adopção de práticas sistemáticas de avaliação do eLearning nas organizações portuguesas surge como indissociável do desafio nacional de edificação de um Portugal competitivo, moderno e actor interveniente na nova ordem internacional determinada pela globalização e pelo valor estratégico do conhecimento”. Roberto Carneiro “(…) No final, os esforços de eLearning bem sucedidos e sustentáveis não são caracterizados pela qualidade técnica do programa ou do design pedagógico, mas pela capacidade da organização em demonstrar valor. Esperamos que estas opções de avaliação lhe dêem ideias sobre como construir um sistema de medição directamente sobre as práticas de eLearning. Quando demonstrar que o eLearning não só contribuiu para uma melhor aprendizagem, mas também para o valor do Capital Humano da sua organização, vai verificar que o seu negócio não pode viver sem si.” Marc Rosenberg Ana Henriques 25-06-2009 22
- 23. Estudo “eAvaliar” Avaliação do eLearning nas organizações em Portugal Obrigada! Novabase Consulting Av. D. João II, Lote 1.03.2.3 Parque da Nações 1998-031 Lisboa - Portugal Telefone: (351) 213836300 ana.henriques@novabase.pt aprendernanet@novabase.pt http://www.novabase.pt Ana Henriques 25-06-2009 23