КОНСТРУИРОВАНИЕ ТЕСТОВ И
    АНАЛИЗ РЕЗУЛЬТАТОВ
ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ
     Ершиков Сергей Михайлович
  доцент, специалист по мониторинговым
   исследованиям отдела менеджмента
              качества ЯГМА
Многим кажется, что задание в тестовой форме придумать
легко, а потому этому не надо учиться. На самом же деле
создание настоящего задания всегда является результатом
творческой композиции, умелым соединением формы и
содержания. Можно сказать, что для создания хороших
заданий необходимо научиться соединять педагогику с
творчеством и искусством.
             Аванесов В.С. Форма тестовых заданий. М., 2005




                                                          2
История возникновения и развития
       тестового контроля
                                     • Вклад Ф. Гальтона в
                                       развитие теории тестов –
                                       определение трех
                                       основных принципов:
                                         1. Применение серии
                                            одинаковых испытаний к
                                            большому количеству
                                            испытуемых.
                                         2. Статистическая
                                            обработка результатов.
                                         3. Выделение эталонов
Френсис Гальтон (F. Galton; 1822–1911)      оценки.

                                                                 3
История возникновения и развития
       тестового контроля




   Джеймс Кеттелл (J.      Эдуард Ли Торндайк (E.
   Cattell, 1860 - 1944)   Thorndike, 1874 – 1949)



                                                     4
История возникновения и развития
   тестового контроля – Россия
• До 1917 года вопросам тестирования уделялось недостаточное
  внимание.
• 1925 год - создание Тестовой комиссии при педагогическом
  отделе Института методов школьной работы. В ее задачи
  входила разработка стандартизированных тестов для советской
  школы.
• Начиная с 1926 года – разработка тестов по
  природоведению, обществоведению, счету, решению
  задач, знанию географической карты, на понимание чтения и
  правописание. К этим тестам прилагались инструкции и личная
  карточка для учета прогресса учащегося.
• 1936 год – постановление ЦК ВКП(б) «О педологических
  извращениях и системе Наркомпросов». Метод тестов был
  признан буржуазным орудием для дискриминации учащихся и
  «изгнан» из советской школы.

                                                                5
История возникновения и развития
   тестового контроля – Россия
                           • В.С.Аванесов – доктор
                             педагогических
                             наук, профессор
                           • Автор ряда учебных пособий
                             по основам научной
                             организации педагогического
                             контроля в высшей школе
                           • Главный редактор журнала
                             «Педагогические измерения»
                           • Его сайт в Интернете –
Аванесов Вадим Сергеевич
       (род. 1937)           www.testolog.narod.ru

                                                      6
Основные определения
• ИЗМЕРЕНИЕ — операция для определения
  отношения одной (измеряемой) величины к другой
  однородной величине, которая берется за единицу.
  Получившееся значение будет численным
  значением измеряемой величины.
  Наука, предметом изучения которой являются все
  аспекты измерений, называется МЕТРОЛОГИЕЙ.
• ПЕДАГОГИЧЕСКОЕ ИЗМЕРЕНИЕ - это процесс
  установления соответствия между оцениваемыми
  характеристиками обучаемых и точками
  эмпирической шкалы, в которой отношения между
  различными оценками характеристик выражены
  свойствами числового ряда.
                                                     7
Основные определения
• ТЕСТИРОВАНИЕ - это метод педагогической
  диагностики, с помощью которого выборка
  поведения, репрезентирующая предпосылки или
  результаты учебного процесса, должна
  максимально отвечать принципам
  сопоставимости, объективности, надежности и
  валидности измерений, должна пройти обработку и
  интерпретацию и быть готовой к использованию в
  педагогической практике (К.Ингенкамп).
• ПЕДАГОГИЧЕСКИЙ ТЕСТ – система тестовых заданий
  возрастающей трудности, специфической
  формы, которая позволяет качественно и
  эффективно измерить уровень и структуру
  подготовленности испытуемых (В.С.Аванесов, 2005).
                                                  8
Классификация тестов
• С точки зрения подхода к анализу
  результатов тестирования различают:
   НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ ТЕСТ. Цель
    – упорядочение испытуемых по уровню их
    подготовленности.
   КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ ТЕСТ.
    Цель – выяснение, знает ли испытуемый
    стандартный учебный материал
    (предмет, раздел, тему).

                                         9
Классификация тестов
• По процедуре создания различают:
   стандартизированные тесты - по процедуре и
    условиям проведения тестирования, способам
    обработки и интерпретации результатов; цель -
    создание равных условий для испытуемых и
    минимизация случайных ошибок и погрешности
    как на этапе проведения, так и на этапе обработки
    результатов и интерпретации данных.
   нестандартизированные тесты.
• Для целей итоговой аттестации учащихся
  можно использовать только
  стандартизированный тестовый инструмент.

                                                        10
Классификация тестов
• По средствам предъявления:
   «бумага и карандаш»
      • с использованием тестовых тетрадей,
      • с использованием бланков,
     предметные
     аппаратурные
     практические
     компьютерные
      • адаптивные

                                              11
Классификация тестов
• По степени однородности задач:
   – гомогенные - имеют одну шкалу, позволяют оценить одно
     свойство и включают задачи, сходные по характеру, но
     различающиеся конкретным содержанием; создаются для
     контроля знаний по одной учебной дисциплине или по
     одному её разделу.
   – гетерогенные (многоразмерные) – имеют несколько
     шкал, позволяют оценить разнообразные характеристики
     личности и включают задания, отличающиеся и по
     характеру, и по содержанию; создаются с целью
     объективного, качественного, и эффективного метода
     оценки структуры и измерения уровня подготовленности
     учащихся по нескольким учебным дисциплинам.
   – интегративные тесты - разновидность гетерогенных
     тестов, содержат задания, ответы на которые требуют от
     учащихся знаний различных дисциплин и умений применять
     такие знания.
                                                          12
Классификация тестов
• По целям использования (согласно Гронлунду):
   определяющий тест – для оценки знаний или
    поведения студента в начале обучения;
   формирующий тест – для оценки
    прогресса, достигнутого в процессе обучения;
   диагностический тест – для оценки трудности
    обучения и их источников во процессе обучения;
   суммирующий тест – для оценки основных
    достижений в конце обучения.


                                                     13
Показатели качества тестов
• Надежность измерения - степень точности, с
  какой может быть измерен тот или иной
  конкретный признак.
• Надёжность теста характеризует
  воспроизводимость его результатов.
• Характеризуется коэффициентом надежности:
  это корреляционный
  коэффициент, показывающий степень
  совпадения результатов тестирования
  осуществленного в одинаковых условиях
  одним и тем же тестом.
                                           14
Показатели качества тестов
• Валидность теста – комплексная характеристика
  теста, отражающая его способность измерять именно
  то, для чего он предназначен.
• Характеризует возможности генеральной совокупности
  заданий в тестируемой области знаний оценить объект
  измерений теста.
• Различают валидность:
   – содержательную (насколько адекватно задания теста
     отражают смысл измеряемого явления?),
   – конструктную (насколько хорошо тестирование может быть
     объяснено в терминах психологических характеристик?)
   – критериальную (насколько точно результаты тестирования
     согласуются с известными объективными критериями?).


                                                              15
Задание в тестовой форме
• Педагогическое средство, отвечающее следующим
  требованиям:
  1.   цель;
  2.   краткость;
  3.   технологичность;
  4.   логическая форма высказывания;
  5.   определенность места для ответов;
  6.   одинаковость правил оценки ответов;
  7.   правильность расположения элементов задания;
  8.   одинаковость инструкции для всех испытуемых;
  9.   адекватность инструкции форме и содержанию
       задания

                                                      16
Задание в тестовой форме и
          тестовое задание
• Отличие задания в тестовой форме от
  тестового задания в том, что первое
  становится вторым только после
  статистической проверки.
• Согласно В.С.Аванесову, тест состоит не из
  заданий в тестовой форме, не из вопросов и
  задач, а только из тестовых заданий.
• Таким образом, называть тестом набор
  заданий в тестовой форме, не прошедших
  статистическую проверку, является
  неправильным.

                                               17
Тестовое задание
• составная единица теста, отвечающая
  требованиям к заданиям в тестовой форме
  и, кроме того, статистическим требованиям:
   известной трудности;
   дифференцирующей способности (достаточной
    вариации тестовых баллов);
   положительной корреляции баллов задания с
    баллами по всему тесту, а также другим
    математико-статистическим требованиям.

                                            18
Трудность заданий
• Вначале определяется умозрительно, на
  основе предполагаемого числа и характера
  умственных операций, необходимых для
  успешного выполнения заданий.
• Затем следует эмпирическая апробация, с
  подсчетом доли неправильных ответов qj в
  каждом задании j.


                                         19
Дифференцирующая способность
• Способность различать сильных и слабых
  студентов
  – Если на какое-то задание правильно отвечают все
    тестируемые, то такое задание является настолько
    легким, что оно теряет из-за этого существенное
    свойство быть тестовым заданием.
  – Нет дифференцирующей способности и у очень
    трудного задания, где нет ни одного правильного
    ответа; такое задание подлежит удалению из
    проектируемого теста.

                                                       20
Локальная независимость тестовых
            заданий
• ответ испытуемого на каждое тестовое
  задание не подвергается влиянию и
  статистически независим от ответа на любое
  другое тестовое задание.
• испытуемый, отвечая на задание, не может
  использовать добавленное
  знание, полученное из ответа на любое другое
  тестовое задание
• компьютерные тестирующие программы не
  должны информировать испытуемого об
  успешности выполнения очередного задания

                                             21
Время тестирования
• время тестирования определяется по
  расположению максимума дисперсии тестовых
  результатов и не должно превышать 60 минут;
• длина теста не должна превышать 60-70 заданий, в
  предположении, что на выполнение одного задания
  требуется не более одной минуты;
• тестирование необходимо проводить в первой
  половине дня;
• тестирование желательно проводить в середине
  недели


                                                 22
Основные этапы конструирования
                тестов
•   целеполагание;
•   создание спецификации;
•   составление плана теста;
•   разработка тестовых заданий;
•   проведение пилотного тестирования;
•   анализ полученных результатов



                                         23
Классификация целей обучения
           (таксономия Блума)
    Обобщенные учебные цели
                                    Конкретизируемые учебные цели (достигаются студентом)
    (планирует преподаватель)

Знания на уровне запоминания и Знает смысл употребляемых терминов,
воспроизведения                Знает основные понятия и определения,
                               Знает формулы, законы, принципы
Знания на уровне понимания      Понимает и интерпретирует термины,
                                Интерпретирует понятия и определения,
                                Преобразует словесный материал в математические
                                выражения,
                                Интерпретирует словесный материал на схемах и графиках
Умения по применению знаний в Умеет применять термины, понятия и определения в
известной и незнакомой        знакомой ситуации по образцу,
ситуации                      Умеет применять формулы, законы и принципы,
                              Использует законы и принципы в новых ситуациях,
                              Осуществляет перенос известных принципов на незнакомые
                              ситуации
                                                                                        24
Классификация целей обучения
          (таксономия Блума)
   Обобщенные учебные цели        Конкретизируемые учебные цели (достигаются
   (планирует преподаватель)                     студентом)
Анализ                         Видит ошибки и упущения в логике рассуждений,
                               корректирует неполные или избыточные постановки
                               задач,
                               Выделяет скрытые предположения,
                               Проводит различия между фактами и следствиями
Синтез                         Пишет рефераты, проекты и т.п.
                               Предлагает план проведения эксперимента,
                               Решает проблемы на междисциплинарном уровне
                               путем переноса знаний из одной дисциплины в другую
                               Сопоставляет факты,
Оценка                         Приводит оценочные суждения,
                               Выбирает оптимальный вариант из предложенных к
                               рассмотрению

                                                                                 25
Спецификация теста
• Правила, по которым должны разрабатываться
  задания. Включает:
  1. Цель создания теста.
  2. Ссылки на исходные документы
     (стандарты, учебные программы, учебники)
  3. Число заданий в каждом варианте теста.
  4. Число вариантов теста.
  5. Тип заданий с указанием количества и процентного
     содержания заданий каждой формы.
  6. Число ответов к заданиям закрытой формы (с
     выбором одного правильного ответа либо
     нескольких правильных ответов).

                                                    26
Спецификация теста (продолжение)
7.    Рекомендуемый автором вес заданий каждой формы при подсчете баллов
      тестирования, рекомендации по засчитыванию вариативных заданий.
8.    Рекомендуемое время выполнения теста и среднее время выполнения
      заданий разных форм.
9.    Структура теста по разделам (содержательным линиям) и видам
      деятельности испытуемых (знаниям, умениям и навыкам) с подробной
      расшифровкой. Анализ значимости тем (большим количеством заданий
      должны быть представлены темы, изучение которых завершено или
      наиболее важно для дальнейшего обучения).
10.   Методика формирования параллельных вариантов тестов.
11.   Рекомендации автора по срокам апробации.
12.   Общая характеристика охвата тестом требований программы и
      рекомендации по дополнительным формам проверки в случае
      необходимости.
13.   Степень стандартизации теста и возможность его компьютерной
      обработки, требования к программным продуктам, используемым для
      обработки результатов тестирования, выведения тестового балла
      участникам тестирования, составления статистического отчета и
      визуализации его содержания.

                                                                           27
План теста (пример раскладки
           заданий)
  Разделы
                   Количество    % к общему
  учебной
                    заданий     числу заданий
дисциплины
     I                12             20
    II                18             30
    III               24             40
    IV                 6             10
          Итого:      60            100
                                            28
План теста (пример общей
            раскладки числа заданий
Умения и %     Номера разделов, процент и число заданий      Всего для
заданий по                                                   проверки
    их        I - 20%    II - 30%    III - 40%    IV - 10%   каждого
 проверке                                                     умения
 А - 10%        1           2           2            1          6
  Б - 30%       4           5           7            1          17
  В - 30%       4           5           7            2          18
  Г - 20%       2           4           5            1          12
 Д - 10%        1           2           3            1          7
  Итого         12         18           24           6          60
 заданий




                                                                     29
Разработка тестовых заданий
• По форме предъявления ответа тестовые
  задания классифицируют на задания в
  открытой форме и задания в закрытой форме.
   Задания в открытой форме – тип тестовых
    заданий, предусматривающих свободные ответы
    обучающихся, по сути это задания без
    предлагаемых вариантов ответов.
   Задания в закрытой форме – тип тестовых
    заданий, предусматривающий различные
    варианты ответа на поставленную проблему.

                                                  30
Задания в открытой форме
• Пример:
      Инструкция: Дополните.
      1. Система внутренних побуждений человека,
      определяющая его избирательную активность
      называется ________________.
      Правильный ответ: направленность.
• Тестовые задания данного типа позволяют получать
  разностороннюю, развернутую информацию о знаниях
  обучающегося. Они применяются в случае, когда
  необходимо проверить знание фактического
  материала, способность обучающегося
  интерпретировать данные и применять правила, когда
  исключается фактор догадки.

                                                       31
Задания в открытой форме
• Основные правила составления:
   в каждом задании должно быть только одно
    дополнение (ответ);
   дополнение (ответ) должно быть наиболее
    важным («ключевым») термином, знание которого
    является обязательным;
   дополнение (ответ) лучше всего располагать в
    конце предложения;
   задание должно формулироваться
    четко, требовать однозначного ответа и не
    допускать двоякого толкования.

                                                32
Задания в открытой форме
• Последовательность составления заданий
  открытого типа:
   написать определение (принцип, закон);
   выделить в нем ключевое слово;
   перестроить фразу так, чтобы это слово
    оказалось последним.




                                             33
Задания в закрытой форме
• Из ряда предлагаемых ответов, тестируемый
  выбирает один или несколько, по его мнению,
  правильных. Неправильные ответы в заданиях
  закрытой формы называются дистракторами.
• Основные виды:
   задания с альтернативными ответами;
   задания с множественным выбором (одного или
    нескольких правильных ответов);
   задания на установление соответствия;
   задания на установление правильной
    последовательности.

                                                  34
Задания в закрытой форме
                       Основные требования:
1) в тексте задания должна быть устранена всякая
двусмысленность или неясность формулировок;
2) основная часть задания формулируется предельно кратко, как
правило, не более одного предложения из семи-восьми слов;
3) задание имеет предельно простую синтаксическую
конструкцию, в основной текст задания вводится не более одного
придаточного предложения;
4) в основную часть задания следует включать как можно больше
слов, оставляя для ответа не более двух-трех наиболее
важных, ключевых слов для данной проблемы;
5) все ответы к одному заданию должны быть приблизительно
одной длины либо правильный ответ может быть короче
других, но не во всех заданиях теста;
6) из текста задания необходимо исключить все вербальные
ассоциации, способствующие выбору правильного ответа с
помощью догадки;
                                                                 35
Задания в закрытой форме
7) частота выбора одного и того же номера места для правильного ответа в
различных заданиях теста должна быть примерно одинакова либо номер места
для правильного ответа выбирается в случайном порядке;
8) основная часть задания освобождается от всякого иррелевантного для данной
проблемы материала;
9) из ответов обязательно исключаются все повторяющиеся слова путем ввода их
в основной текст заданий;
10) в ответах не рекомендуется использовать слова «все», «ни одного»,
«никогда», «всегда» и т. п., так как в отдельных случаях они способствуют
угадыванию правильного ответа;
11) из числа неправильных исключаются ответы, вытекающие один из другого;
12) при формулировке дистракторов не рекомендуется использовать выражения
«ни один из перечисленных», «все перечисленные» и т.п., так как они
способствуют угадыванию правильного ответа;
13) из числа тестовых исключаются задания, содержащие оценочные суждения и
мнения учащегося по какому-либо вопросу;
                                                                           36
Задания в закрытой форме
14) все дистракторы к каждому заданию должны быть равновероятно
привлекательными для испытуемых, не знающих правильного ответа;
15) ни один из дистракторов не должен являться частично правильным
ответом, превращающимся при определенных дополнительных условиях
в правильный ответ;
16) основная часть задания формулируется в форме
утверждения, которое обращается в истинное или ложное высказывание
после подстановки одного из ответов;
17) ответ на одно задание не должен служить ключом к правильным
ответам на другие задания теста, т.е. не следует использовать
дистракторы из одного задания в качестве ответов к другим заданиям
теста;
18) если задание имеет среди прочих альтернативные ответы, не следует
сразу после правильного приводить альтернативный ответ, так как
внимание отвечающего обычно сосредоточивается только на этих двух
ответах;
19) все ответы должны быть параллельными по конструкции и
грамматически согласованными с основной частью задания теста.
                                                                   37
Задания с двумя ответами
      (альтернативные задания)
• Альтернативные задания предусматривают
  наличие двух вариантов ответов (типа "да" –
  "нет", "верно" – "неверно" и т.д.).
     Пример: Выберите правильный ответ:
     В крови здорового человека присутствует
     билирубин.
     А. да
     Б. нет
     Правильный ответ: А

                                                38
Задания с двумя ответами
        (альтернативные задания)
• Преимущества альтернативных заданий:
    благодаря краткости позволяют охватить большой объем
     материала,
    легко разрабатываются (только один дистрактор),
    быстро с высокой объективностью обрабатываются результаты
     выполнения.
• Недостатки альтернативных заданий:
    стимулируют механическое запоминание,
    поощряют угадывание,
    требуют увеличения количества заданий
     и, соответственно, времени тестирования для компенсации
     эффекта угадывания.
• Оценивание серии альтернативных заданий: по принципу
  «зачёт – незачёт».
• Задания с двумя ответами обычно используют для экспресс-
  диагностики
                                                                 39
Задания с тремя ответами
• появляются вследствие удаления неработающих
  дистракторов
• высока вероятность угадывания правильного ответа
• Пример:
        Выберите ОДИН правильный ответ:
Импульс, поступающий по блуждающему нерву
     А. учащает работу сердца
     Б. замедляет работу сердца
     В. не влияет на деятельность сердца


                                                 40
Задания с четырьмя и пятью
               ответами
• Примеры:
               Выберите ОДИН правильный ответ:
Кожное дыхание преобладает у
       А. человека разумного
       Б. ящерицы прыткой
       В. воробья ломового
       Г. озерной лягушки
К средствам обучения относятся
       А. содержание, формы, методы
       Б. цель, содержание, результат
       В. формы, методы, результат
       Г. цель, содержание, формы
• Особенностью последнего задания является сочетание в
   дистракторах правильных и неправильных элементов.
                                                         41
Задания с четырьмя и пятью
              ответами
• Другой прием повышения правдоподобности
    дистракторов: сочетание двух альтернативных
    оснований выбора ответов. В приводимом далее
    примере задания используется сочетание двух
    противопоставлений: «зависимо – независимо» и
    «смешиваются – не смешиваются».
           Выберите ОДИН правильный ответ:
Гены наследуются
А. независимо друг от друга и не смешиваются у потомков
Б. зависимо друг от друга и не смешиваются у потомков
В. независимо друг от друга, но смешиваются у потомков
Г. зависимо друг от друга и смешиваются у потомков

                                                      42
Фасетные задания в тесте
• Фасет – форма, обеспечивающая
  представление нескольких вариантов одного и
  того же элемента содержания теста.
• Пример:




                                            43
Задания с выбором нескольких
        правильных ответов
• Используются в текущем тестовом контроле для
  проверки классификационных и фактуальных знаний
• Пример:
        Выберите ВСЕ правильные ответы:
Облигатные предраковые процессы красной
каймы губ:
     А. Бородавчатый предрак
     Б. Лейкоплакия
     В. Кератоакантома
     Г. Ограниченный предраковый гиперкератоз
     Д. Хейлит Манганотти

                                                    44
Задания на установление
      правильного соответствия
• Позволяют проверить ассоциативные знания
  элементов двух множеств.
• Пример:
             Установите соответствие:




                                             45
Задания на установление
  правильной последовательности
• Позволяют проверить процедурные, процессуальные и
  алгоритмические знания.
• Пример:
         Установите правильную последовательность:
Основные этапы подготовки и пломбирования полости зуба
1. Изоляция полости от слюны
2. Выбор и подготовка пломбировочного инструмента, матрицы
3. Наложение прокладки
4. Высушивание полости
5. Замешивание пломбировочного материала
6. Повторное высушивание полости
7. Моделирование пломбы
8. Внесение пломбировочной массы в полость
9. Изоляция пломбы от ротовой жидкости
                                                             46
Некоторые типичные ошибки при
 разработке заданий в тестовой форме
1. Вопросительная формулировка.
В чем ошибка: задание имеет вопросительную форму. Это неизбежно
влечет за собой повторяющиеся слова в вариантах ответов.
Что следует сделать: сменить формулировку на утвердительную.
Повторяющееся слово вынести из вариантов ответов в условие задания.
2. Несогласованная формулировка.
В чем ошибка: условие и варианты ответа не согласуются по падежам.
Что следует сделать: либо поставить варианты в нужный падеж, либо
скорректировать условие задания под варианты.
3. Избыточная формулировка.
В чем ошибки: Слишком много текста; повторяющиеся слова в каждом
варианте.
Что следует сделать: 1. Вынести повторяющиеся слова в текст задания. 2.
Сделать дистракторы более похожими на правильный ответ, чтобы он не
выделялся своей длиной и точностью. 3. Можно сменить тип вопроса на
"пропущенное слово" или "поле ввода".

                                                                      47
Экспертиза тестовых заданий
• Экспертиза тестовых заданий – обязательное
  условие для создания тестов вне зависимости от
  уровня их применения.
• В качестве экспертов тестовых заданий могут быть
  выступать специалисты с большим опытом работы.
• Оценка заданий с точки зрения:
   соответствия целям тестирования;
   однозначности формулировки;
   пригодности вариантов ответов.
• Кроме содержательной экспертизы тестовых
  заданий, необходима и тестологическая экспертиза
                                                     48
Статистическая обработка теста
• Результаты
  тестирования обычно
  представляются в виде
  матрицы с n строками и
  m столбцами. В ячейки
  матрицы вносятся
  баллы за выполнение
  заданий по
  дихотомической шкале:
  0 – задание не
  выполнено, 1 – задание
  выполнено правильно.

                                  49
Статистическая обработка теста
1. Вычисляются индивидуальные баллы испытуемых yi,
показывающие результат вы-полнения теста каждым
студентом.
2. Вычисляются средние результаты суммарных баллов
испытуемых y.
3. Вычисляются средние результаты испытуемых по
каждому заданию pj и трудность заданий – долю
неправильных ответов qj. Эта доля вычисляется из
отношения числа неправильных ответов Wj к числу
испытуемых N:
                       qj = Wj / N
4. Вычисляется дисперсия sy2 и стандартное отклонение sy
суммарных испытуемых.
5. Вычисляется дисперсия sy2 результатов испытуемых по j-
ому заданию.
                                                        50
Статистическая обработка теста
6. Определяется связь каждого j-ого задания с суммой баллов по всему
тесту. Для этого можно использовать коэффициент корреляции Пирсона
Rj .
7. Определяется попарная корреляционная связь заданий между собой.
Здесь тоже можно использовать коэффициент корреляции Пирсона.
8. Вычисляется индекс дискриминативности задания, то есть его
различающая способность, указывающая на возможность разделять
отдельных испытуемых по уровню выполнения теста в целом.
9. Из набора тестовых заданий удаляются задания, не обладающие
дискриминативностью (менее 0,3), задания слишком легкие (pj>0.8) и
слишком трудные (pj <0.2).
10. Для укороченного списка заданий вновь подсчитываются суммарные
баллы испытуемых. Затем составляется новая упорядоченная, матрица
данных тестирования. Для редуцированной матрицы пересчитываются
средний суммарный балл, дисперсия суммарных баллов и
коэффициенты корреляции заданий с суммой баллов.



                                                                   51
Статистическая обработка теста
• оценка качества теста в целом: расчёт
  коэффициентов надёжности и валидности.
• Если значения коэффициента корреляции Пирсона
  (r) попадают в интервал 0,80-0,89, то говорят, что
  тест обладает хорошей надежностью, а если этот
  коэффициент не меньше 0,90, то надежность можно
  назвать очень высокой.
• По мнению ведущих диагностов, низким
  признается коэффициент валидности порядка 0,2 –
  0,3, средним - 0,3 – 0,5, высоким - выше 0,6.


                                                   52
Использованная литература
• Аванесов В.С. Материалы сайта www.testolog.narod.ru
• Адаптивное тестирование : учеб.-метод. пособие / Н. М.
  Опарина и др. – Хабаровск, 2007.
• Ефремова Н.Ф. Тестовый контроль в образовании. – М., 2007.
• Звонников В.И., Челышкова М.Б. Современные средства
  оценивания результатов обучения. – М., 2009.
• Кейс С.М., Свансон Д.Б. Создание письменных тестовых
  вопросов по базовым и клиническим дисциплинам. –
  Филадельфия, 1996.
• Ким В.С. Тестирование учебных достижений. – Уссурийск, 2007.
• Майоров А.Н. Теория и практика создания тестов для системы
  образования. – М., 2001.
• Челышкова М.Б. Теория и практика конструирования
  педагогических тестов. – М., 2002.

                                                             53
Контактные данные:
•   E-mail: smersh2005@gmail.com
•   Блог: http://ershikovsm.blogspot.com/
•   Сайт: http://dlmedic.ucoz.ru/
•   Twitter: @ershikovsm
•   Facebook:
    http://www.facebook.com/sergey.yershikov

            Благодарю за внимание!

                                               54

More Related Content

PPS
лекция09
PPS
лекция04
PPT
Система оценки достижения планируемых результатов освоения основной образоват...
PPT
Диагностический инструментарий для оценки качества образования обучающихся 8...
PDF
Тестирование как средство оценивания качества профессиональной подготовки
PPT
5 бальная система
 
PPT
Формирование контрольно-оценочной деятельности учащихся в условиях перехода н...
PPT
диагностика достижения планируемых результатов
лекция09
лекция04
Система оценки достижения планируемых результатов освоения основной образоват...
Диагностический инструментарий для оценки качества образования обучающихся 8...
Тестирование как средство оценивания качества профессиональной подготовки
5 бальная система
 
Формирование контрольно-оценочной деятельности учащихся в условиях перехода н...
диагностика достижения планируемых результатов

What's hot (20)

PDF
Результаты мониторингово исследования «Оценка образовательных достижений учащ...
PDF
Технология оценивания
DOC
нормы оценки общие положения
PDF
Mo nach org_kontr_fgos
PPT
Эффективная система оценки образовательных достижений учащихся в условиях ФГОС
PPTX
контроль оценка
PPT
М.Ю. Демидова
PPT
Система оценивания в соответствии с ФГОС
PPT
система оценивания фгос
PDF
Результаты мониторингового исследования «Оценка учебных достижений учащихся 5...
PPT
мастер класс активная оценка как новая стратегия обучения взрослых
PPTX
Презентация технологии Лесенка
PPT
педдиагностика
PPT
использование модульно рейтинговой системы обучения математики учащихся профи...
PPT
чикнаверова к г компоненты развития самостоятельности студентов
PDF
свинтицкий незавершенные предложения
PPTX
методы проведения научных исследований
Результаты мониторингово исследования «Оценка образовательных достижений учащ...
Технология оценивания
нормы оценки общие положения
Mo nach org_kontr_fgos
Эффективная система оценки образовательных достижений учащихся в условиях ФГОС
контроль оценка
М.Ю. Демидова
Система оценивания в соответствии с ФГОС
система оценивания фгос
Результаты мониторингового исследования «Оценка учебных достижений учащихся 5...
мастер класс активная оценка как новая стратегия обучения взрослых
Презентация технологии Лесенка
педдиагностика
использование модульно рейтинговой системы обучения математики учащихся профи...
чикнаверова к г компоненты развития самостоятельности студентов
свинтицкий незавершенные предложения
методы проведения научных исследований
Ad

Similar to Конструирование тестов и анализ результатов тестового контроля знаний (20)

DOC
нормыоценки общие положения
PPTX
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...
PPTX
Uchitel goda-2015
PPTX
семинар по мониторингу
PPT
Эксперимент как инновационный процесс
PPT
Эксперимент как инновационный процесс
PPTX
Proverka rezultatov obuchenija
DOCX
рейтинговая система
PPTX
Методология и методы педагогического исследования
PPT
Обобщение передового педагогического опыта
PPT
Комплексная подготовка к Всероссийской проверочной работе
PPTX
копия три слагаемых успешного урока английского языка
PPT
конкурс. презентация 3 end
PPT
Правила оформления методических разработок учителя
PPTX
Критериальное оценивание результатов обучения учащихся на уроках.
PPS
лекция02
PPT
задание № 1 норма и деятельность
PDF
Руководство по тестам
PPT
критерии оценивания
PPTX
Аттестация педагогических работников хромцова м. в.
нормыоценки общие положения
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...
Uchitel goda-2015
семинар по мониторингу
Эксперимент как инновационный процесс
Эксперимент как инновационный процесс
Proverka rezultatov obuchenija
рейтинговая система
Методология и методы педагогического исследования
Обобщение передового педагогического опыта
Комплексная подготовка к Всероссийской проверочной работе
копия три слагаемых успешного урока английского языка
конкурс. презентация 3 end
Правила оформления методических разработок учителя
Критериальное оценивание результатов обучения учащихся на уроках.
лекция02
задание № 1 норма и деятельность
Руководство по тестам
критерии оценивания
Аттестация педагогических работников хромцова м. в.
Ad

More from Сергей Ершиков (6)

PPTX
Medical biochemistry - content curator's report
PPTX
матричные биосинтезы
PPTX
PPTX
использование сдо E front для организации тестового контроля
PPT
distlearn_biochem
Medical biochemistry - content curator's report
матричные биосинтезы
использование сдо E front для организации тестового контроля
distlearn_biochem

Конструирование тестов и анализ результатов тестового контроля знаний

  • 1. КОНСТРУИРОВАНИЕ ТЕСТОВ И АНАЛИЗ РЕЗУЛЬТАТОВ ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ Ершиков Сергей Михайлович доцент, специалист по мониторинговым исследованиям отдела менеджмента качества ЯГМА
  • 2. Многим кажется, что задание в тестовой форме придумать легко, а потому этому не надо учиться. На самом же деле создание настоящего задания всегда является результатом творческой композиции, умелым соединением формы и содержания. Можно сказать, что для создания хороших заданий необходимо научиться соединять педагогику с творчеством и искусством. Аванесов В.С. Форма тестовых заданий. М., 2005 2
  • 3. История возникновения и развития тестового контроля • Вклад Ф. Гальтона в развитие теории тестов – определение трех основных принципов: 1. Применение серии одинаковых испытаний к большому количеству испытуемых. 2. Статистическая обработка результатов. 3. Выделение эталонов Френсис Гальтон (F. Galton; 1822–1911) оценки. 3
  • 4. История возникновения и развития тестового контроля Джеймс Кеттелл (J. Эдуард Ли Торндайк (E. Cattell, 1860 - 1944) Thorndike, 1874 – 1949) 4
  • 5. История возникновения и развития тестового контроля – Россия • До 1917 года вопросам тестирования уделялось недостаточное внимание. • 1925 год - создание Тестовой комиссии при педагогическом отделе Института методов школьной работы. В ее задачи входила разработка стандартизированных тестов для советской школы. • Начиная с 1926 года – разработка тестов по природоведению, обществоведению, счету, решению задач, знанию географической карты, на понимание чтения и правописание. К этим тестам прилагались инструкции и личная карточка для учета прогресса учащегося. • 1936 год – постановление ЦК ВКП(б) «О педологических извращениях и системе Наркомпросов». Метод тестов был признан буржуазным орудием для дискриминации учащихся и «изгнан» из советской школы. 5
  • 6. История возникновения и развития тестового контроля – Россия • В.С.Аванесов – доктор педагогических наук, профессор • Автор ряда учебных пособий по основам научной организации педагогического контроля в высшей школе • Главный редактор журнала «Педагогические измерения» • Его сайт в Интернете – Аванесов Вадим Сергеевич (род. 1937) www.testolog.narod.ru 6
  • 7. Основные определения • ИЗМЕРЕНИЕ — операция для определения отношения одной (измеряемой) величины к другой однородной величине, которая берется за единицу. Получившееся значение будет численным значением измеряемой величины. Наука, предметом изучения которой являются все аспекты измерений, называется МЕТРОЛОГИЕЙ. • ПЕДАГОГИЧЕСКОЕ ИЗМЕРЕНИЕ - это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда. 7
  • 8. Основные определения • ТЕСТИРОВАНИЕ - это метод педагогической диагностики, с помощью которого выборка поведения, репрезентирующая предпосылки или результаты учебного процесса, должна максимально отвечать принципам сопоставимости, объективности, надежности и валидности измерений, должна пройти обработку и интерпретацию и быть готовой к использованию в педагогической практике (К.Ингенкамп). • ПЕДАГОГИЧЕСКИЙ ТЕСТ – система тестовых заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых (В.С.Аванесов, 2005). 8
  • 9. Классификация тестов • С точки зрения подхода к анализу результатов тестирования различают:  НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ ТЕСТ. Цель – упорядочение испытуемых по уровню их подготовленности.  КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ ТЕСТ. Цель – выяснение, знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). 9
  • 10. Классификация тестов • По процедуре создания различают:  стандартизированные тесты - по процедуре и условиям проведения тестирования, способам обработки и интерпретации результатов; цель - создание равных условий для испытуемых и минимизация случайных ошибок и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.  нестандартизированные тесты. • Для целей итоговой аттестации учащихся можно использовать только стандартизированный тестовый инструмент. 10
  • 11. Классификация тестов • По средствам предъявления:  «бумага и карандаш» • с использованием тестовых тетрадей, • с использованием бланков,  предметные  аппаратурные  практические  компьютерные • адаптивные 11
  • 12. Классификация тестов • По степени однородности задач: – гомогенные - имеют одну шкалу, позволяют оценить одно свойство и включают задачи, сходные по характеру, но различающиеся конкретным содержанием; создаются для контроля знаний по одной учебной дисциплине или по одному её разделу. – гетерогенные (многоразмерные) – имеют несколько шкал, позволяют оценить разнообразные характеристики личности и включают задания, отличающиеся и по характеру, и по содержанию; создаются с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по нескольким учебным дисциплинам. – интегративные тесты - разновидность гетерогенных тестов, содержат задания, ответы на которые требуют от учащихся знаний различных дисциплин и умений применять такие знания. 12
  • 13. Классификация тестов • По целям использования (согласно Гронлунду):  определяющий тест – для оценки знаний или поведения студента в начале обучения;  формирующий тест – для оценки прогресса, достигнутого в процессе обучения;  диагностический тест – для оценки трудности обучения и их источников во процессе обучения;  суммирующий тест – для оценки основных достижений в конце обучения. 13
  • 14. Показатели качества тестов • Надежность измерения - степень точности, с какой может быть измерен тот или иной конкретный признак. • Надёжность теста характеризует воспроизводимость его результатов. • Характеризуется коэффициентом надежности: это корреляционный коэффициент, показывающий степень совпадения результатов тестирования осуществленного в одинаковых условиях одним и тем же тестом. 14
  • 15. Показатели качества тестов • Валидность теста – комплексная характеристика теста, отражающая его способность измерять именно то, для чего он предназначен. • Характеризует возможности генеральной совокупности заданий в тестируемой области знаний оценить объект измерений теста. • Различают валидность: – содержательную (насколько адекватно задания теста отражают смысл измеряемого явления?), – конструктную (насколько хорошо тестирование может быть объяснено в терминах психологических характеристик?) – критериальную (насколько точно результаты тестирования согласуются с известными объективными критериями?). 15
  • 16. Задание в тестовой форме • Педагогическое средство, отвечающее следующим требованиям: 1. цель; 2. краткость; 3. технологичность; 4. логическая форма высказывания; 5. определенность места для ответов; 6. одинаковость правил оценки ответов; 7. правильность расположения элементов задания; 8. одинаковость инструкции для всех испытуемых; 9. адекватность инструкции форме и содержанию задания 16
  • 17. Задание в тестовой форме и тестовое задание • Отличие задания в тестовой форме от тестового задания в том, что первое становится вторым только после статистической проверки. • Согласно В.С.Аванесову, тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий. • Таким образом, называть тестом набор заданий в тестовой форме, не прошедших статистическую проверку, является неправильным. 17
  • 18. Тестовое задание • составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям:  известной трудности;  дифференцирующей способности (достаточной вариации тестовых баллов);  положительной корреляции баллов задания с баллами по всему тесту, а также другим математико-статистическим требованиям. 18
  • 19. Трудность заданий • Вначале определяется умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий. • Затем следует эмпирическая апробация, с подсчетом доли неправильных ответов qj в каждом задании j. 19
  • 20. Дифференцирующая способность • Способность различать сильных и слабых студентов – Если на какое-то задание правильно отвечают все тестируемые, то такое задание является настолько легким, что оно теряет из-за этого существенное свойство быть тестовым заданием. – Нет дифференцирующей способности и у очень трудного задания, где нет ни одного правильного ответа; такое задание подлежит удалению из проектируемого теста. 20
  • 21. Локальная независимость тестовых заданий • ответ испытуемого на каждое тестовое задание не подвергается влиянию и статистически независим от ответа на любое другое тестовое задание. • испытуемый, отвечая на задание, не может использовать добавленное знание, полученное из ответа на любое другое тестовое задание • компьютерные тестирующие программы не должны информировать испытуемого об успешности выполнения очередного задания 21
  • 22. Время тестирования • время тестирования определяется по расположению максимума дисперсии тестовых результатов и не должно превышать 60 минут; • длина теста не должна превышать 60-70 заданий, в предположении, что на выполнение одного задания требуется не более одной минуты; • тестирование необходимо проводить в первой половине дня; • тестирование желательно проводить в середине недели 22
  • 23. Основные этапы конструирования тестов • целеполагание; • создание спецификации; • составление плана теста; • разработка тестовых заданий; • проведение пилотного тестирования; • анализ полученных результатов 23
  • 24. Классификация целей обучения (таксономия Блума) Обобщенные учебные цели Конкретизируемые учебные цели (достигаются студентом) (планирует преподаватель) Знания на уровне запоминания и Знает смысл употребляемых терминов, воспроизведения Знает основные понятия и определения, Знает формулы, законы, принципы Знания на уровне понимания Понимает и интерпретирует термины, Интерпретирует понятия и определения, Преобразует словесный материал в математические выражения, Интерпретирует словесный материал на схемах и графиках Умения по применению знаний в Умеет применять термины, понятия и определения в известной и незнакомой знакомой ситуации по образцу, ситуации Умеет применять формулы, законы и принципы, Использует законы и принципы в новых ситуациях, Осуществляет перенос известных принципов на незнакомые ситуации 24
  • 25. Классификация целей обучения (таксономия Блума) Обобщенные учебные цели Конкретизируемые учебные цели (достигаются (планирует преподаватель) студентом) Анализ Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, Выделяет скрытые предположения, Проводит различия между фактами и следствиями Синтез Пишет рефераты, проекты и т.п. Предлагает план проведения эксперимента, Решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую Сопоставляет факты, Оценка Приводит оценочные суждения, Выбирает оптимальный вариант из предложенных к рассмотрению 25
  • 26. Спецификация теста • Правила, по которым должны разрабатываться задания. Включает: 1. Цель создания теста. 2. Ссылки на исходные документы (стандарты, учебные программы, учебники) 3. Число заданий в каждом варианте теста. 4. Число вариантов теста. 5. Тип заданий с указанием количества и процентного содержания заданий каждой формы. 6. Число ответов к заданиям закрытой формы (с выбором одного правильного ответа либо нескольких правильных ответов). 26
  • 27. Спецификация теста (продолжение) 7. Рекомендуемый автором вес заданий каждой формы при подсчете баллов тестирования, рекомендации по засчитыванию вариативных заданий. 8. Рекомендуемое время выполнения теста и среднее время выполнения заданий разных форм. 9. Структура теста по разделам (содержательным линиям) и видам деятельности испытуемых (знаниям, умениям и навыкам) с подробной расшифровкой. Анализ значимости тем (большим количеством заданий должны быть представлены темы, изучение которых завершено или наиболее важно для дальнейшего обучения). 10. Методика формирования параллельных вариантов тестов. 11. Рекомендации автора по срокам апробации. 12. Общая характеристика охвата тестом требований программы и рекомендации по дополнительным формам проверки в случае необходимости. 13. Степень стандартизации теста и возможность его компьютерной обработки, требования к программным продуктам, используемым для обработки результатов тестирования, выведения тестового балла участникам тестирования, составления статистического отчета и визуализации его содержания. 27
  • 28. План теста (пример раскладки заданий) Разделы Количество % к общему учебной заданий числу заданий дисциплины I 12 20 II 18 30 III 24 40 IV 6 10 Итого: 60 100 28
  • 29. План теста (пример общей раскладки числа заданий Умения и % Номера разделов, процент и число заданий Всего для заданий по проверки их I - 20% II - 30% III - 40% IV - 10% каждого проверке умения А - 10% 1 2 2 1 6 Б - 30% 4 5 7 1 17 В - 30% 4 5 7 2 18 Г - 20% 2 4 5 1 12 Д - 10% 1 2 3 1 7 Итого 12 18 24 6 60 заданий 29
  • 30. Разработка тестовых заданий • По форме предъявления ответа тестовые задания классифицируют на задания в открытой форме и задания в закрытой форме.  Задания в открытой форме – тип тестовых заданий, предусматривающих свободные ответы обучающихся, по сути это задания без предлагаемых вариантов ответов.  Задания в закрытой форме – тип тестовых заданий, предусматривающий различные варианты ответа на поставленную проблему. 30
  • 31. Задания в открытой форме • Пример: Инструкция: Дополните. 1. Система внутренних побуждений человека, определяющая его избирательную активность называется ________________. Правильный ответ: направленность. • Тестовые задания данного типа позволяют получать разностороннюю, развернутую информацию о знаниях обучающегося. Они применяются в случае, когда необходимо проверить знание фактического материала, способность обучающегося интерпретировать данные и применять правила, когда исключается фактор догадки. 31
  • 32. Задания в открытой форме • Основные правила составления:  в каждом задании должно быть только одно дополнение (ответ);  дополнение (ответ) должно быть наиболее важным («ключевым») термином, знание которого является обязательным;  дополнение (ответ) лучше всего располагать в конце предложения;  задание должно формулироваться четко, требовать однозначного ответа и не допускать двоякого толкования. 32
  • 33. Задания в открытой форме • Последовательность составления заданий открытого типа:  написать определение (принцип, закон);  выделить в нем ключевое слово;  перестроить фразу так, чтобы это слово оказалось последним. 33
  • 34. Задания в закрытой форме • Из ряда предлагаемых ответов, тестируемый выбирает один или несколько, по его мнению, правильных. Неправильные ответы в заданиях закрытой формы называются дистракторами. • Основные виды:  задания с альтернативными ответами;  задания с множественным выбором (одного или нескольких правильных ответов);  задания на установление соответствия;  задания на установление правильной последовательности. 34
  • 35. Задания в закрытой форме Основные требования: 1) в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок; 2) основная часть задания формулируется предельно кратко, как правило, не более одного предложения из семи-восьми слов; 3) задание имеет предельно простую синтаксическую конструкцию, в основной текст задания вводится не более одного придаточного предложения; 4) в основную часть задания следует включать как можно больше слов, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы; 5) все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста; 6) из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки; 35
  • 36. Задания в закрытой форме 7) частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается в случайном порядке; 8) основная часть задания освобождается от всякого иррелевантного для данной проблемы материала; 9) из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий; 10) в ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда» и т. п., так как в отдельных случаях они способствуют угадыванию правильного ответа; 11) из числа неправильных исключаются ответы, вытекающие один из другого; 12) при формулировке дистракторов не рекомендуется использовать выражения «ни один из перечисленных», «все перечисленные» и т.п., так как они способствуют угадыванию правильного ответа; 13) из числа тестовых исключаются задания, содержащие оценочные суждения и мнения учащегося по какому-либо вопросу; 36
  • 37. Задания в закрытой форме 14) все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа; 15) ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ; 16) основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов; 17) ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста; 18) если задание имеет среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредоточивается только на этих двух ответах; 19) все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста. 37
  • 38. Задания с двумя ответами (альтернативные задания) • Альтернативные задания предусматривают наличие двух вариантов ответов (типа "да" – "нет", "верно" – "неверно" и т.д.). Пример: Выберите правильный ответ: В крови здорового человека присутствует билирубин. А. да Б. нет Правильный ответ: А 38
  • 39. Задания с двумя ответами (альтернативные задания) • Преимущества альтернативных заданий:  благодаря краткости позволяют охватить большой объем материала,  легко разрабатываются (только один дистрактор),  быстро с высокой объективностью обрабатываются результаты выполнения. • Недостатки альтернативных заданий:  стимулируют механическое запоминание,  поощряют угадывание,  требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания. • Оценивание серии альтернативных заданий: по принципу «зачёт – незачёт». • Задания с двумя ответами обычно используют для экспресс- диагностики 39
  • 40. Задания с тремя ответами • появляются вследствие удаления неработающих дистракторов • высока вероятность угадывания правильного ответа • Пример: Выберите ОДИН правильный ответ: Импульс, поступающий по блуждающему нерву А. учащает работу сердца Б. замедляет работу сердца В. не влияет на деятельность сердца 40
  • 41. Задания с четырьмя и пятью ответами • Примеры: Выберите ОДИН правильный ответ: Кожное дыхание преобладает у А. человека разумного Б. ящерицы прыткой В. воробья ломового Г. озерной лягушки К средствам обучения относятся А. содержание, формы, методы Б. цель, содержание, результат В. формы, методы, результат Г. цель, содержание, формы • Особенностью последнего задания является сочетание в дистракторах правильных и неправильных элементов. 41
  • 42. Задания с четырьмя и пятью ответами • Другой прием повышения правдоподобности дистракторов: сочетание двух альтернативных оснований выбора ответов. В приводимом далее примере задания используется сочетание двух противопоставлений: «зависимо – независимо» и «смешиваются – не смешиваются». Выберите ОДИН правильный ответ: Гены наследуются А. независимо друг от друга и не смешиваются у потомков Б. зависимо друг от друга и не смешиваются у потомков В. независимо друг от друга, но смешиваются у потомков Г. зависимо друг от друга и смешиваются у потомков 42
  • 43. Фасетные задания в тесте • Фасет – форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. • Пример: 43
  • 44. Задания с выбором нескольких правильных ответов • Используются в текущем тестовом контроле для проверки классификационных и фактуальных знаний • Пример: Выберите ВСЕ правильные ответы: Облигатные предраковые процессы красной каймы губ: А. Бородавчатый предрак Б. Лейкоплакия В. Кератоакантома Г. Ограниченный предраковый гиперкератоз Д. Хейлит Манганотти 44
  • 45. Задания на установление правильного соответствия • Позволяют проверить ассоциативные знания элементов двух множеств. • Пример: Установите соответствие: 45
  • 46. Задания на установление правильной последовательности • Позволяют проверить процедурные, процессуальные и алгоритмические знания. • Пример: Установите правильную последовательность: Основные этапы подготовки и пломбирования полости зуба 1. Изоляция полости от слюны 2. Выбор и подготовка пломбировочного инструмента, матрицы 3. Наложение прокладки 4. Высушивание полости 5. Замешивание пломбировочного материала 6. Повторное высушивание полости 7. Моделирование пломбы 8. Внесение пломбировочной массы в полость 9. Изоляция пломбы от ротовой жидкости 46
  • 47. Некоторые типичные ошибки при разработке заданий в тестовой форме 1. Вопросительная формулировка. В чем ошибка: задание имеет вопросительную форму. Это неизбежно влечет за собой повторяющиеся слова в вариантах ответов. Что следует сделать: сменить формулировку на утвердительную. Повторяющееся слово вынести из вариантов ответов в условие задания. 2. Несогласованная формулировка. В чем ошибка: условие и варианты ответа не согласуются по падежам. Что следует сделать: либо поставить варианты в нужный падеж, либо скорректировать условие задания под варианты. 3. Избыточная формулировка. В чем ошибки: Слишком много текста; повторяющиеся слова в каждом варианте. Что следует сделать: 1. Вынести повторяющиеся слова в текст задания. 2. Сделать дистракторы более похожими на правильный ответ, чтобы он не выделялся своей длиной и точностью. 3. Можно сменить тип вопроса на "пропущенное слово" или "поле ввода". 47
  • 48. Экспертиза тестовых заданий • Экспертиза тестовых заданий – обязательное условие для создания тестов вне зависимости от уровня их применения. • В качестве экспертов тестовых заданий могут быть выступать специалисты с большим опытом работы. • Оценка заданий с точки зрения:  соответствия целям тестирования;  однозначности формулировки;  пригодности вариантов ответов. • Кроме содержательной экспертизы тестовых заданий, необходима и тестологическая экспертиза 48
  • 49. Статистическая обработка теста • Результаты тестирования обычно представляются в виде матрицы с n строками и m столбцами. В ячейки матрицы вносятся баллы за выполнение заданий по дихотомической шкале: 0 – задание не выполнено, 1 – задание выполнено правильно. 49
  • 50. Статистическая обработка теста 1. Вычисляются индивидуальные баллы испытуемых yi, показывающие результат вы-полнения теста каждым студентом. 2. Вычисляются средние результаты суммарных баллов испытуемых y. 3. Вычисляются средние результаты испытуемых по каждому заданию pj и трудность заданий – долю неправильных ответов qj. Эта доля вычисляется из отношения числа неправильных ответов Wj к числу испытуемых N: qj = Wj / N 4. Вычисляется дисперсия sy2 и стандартное отклонение sy суммарных испытуемых. 5. Вычисляется дисперсия sy2 результатов испытуемых по j- ому заданию. 50
  • 51. Статистическая обработка теста 6. Определяется связь каждого j-ого задания с суммой баллов по всему тесту. Для этого можно использовать коэффициент корреляции Пирсона Rj . 7. Определяется попарная корреляционная связь заданий между собой. Здесь тоже можно использовать коэффициент корреляции Пирсона. 8. Вычисляется индекс дискриминативности задания, то есть его различающая способность, указывающая на возможность разделять отдельных испытуемых по уровню выполнения теста в целом. 9. Из набора тестовых заданий удаляются задания, не обладающие дискриминативностью (менее 0,3), задания слишком легкие (pj>0.8) и слишком трудные (pj <0.2). 10. Для укороченного списка заданий вновь подсчитываются суммарные баллы испытуемых. Затем составляется новая упорядоченная, матрица данных тестирования. Для редуцированной матрицы пересчитываются средний суммарный балл, дисперсия суммарных баллов и коэффициенты корреляции заданий с суммой баллов. 51
  • 52. Статистическая обработка теста • оценка качества теста в целом: расчёт коэффициентов надёжности и валидности. • Если значения коэффициента корреляции Пирсона (r) попадают в интервал 0,80-0,89, то говорят, что тест обладает хорошей надежностью, а если этот коэффициент не меньше 0,90, то надежность можно назвать очень высокой. • По мнению ведущих диагностов, низким признается коэффициент валидности порядка 0,2 – 0,3, средним - 0,3 – 0,5, высоким - выше 0,6. 52
  • 53. Использованная литература • Аванесов В.С. Материалы сайта www.testolog.narod.ru • Адаптивное тестирование : учеб.-метод. пособие / Н. М. Опарина и др. – Хабаровск, 2007. • Ефремова Н.Ф. Тестовый контроль в образовании. – М., 2007. • Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. – М., 2009. • Кейс С.М., Свансон Д.Б. Создание письменных тестовых вопросов по базовым и клиническим дисциплинам. – Филадельфия, 1996. • Ким В.С. Тестирование учебных достижений. – Уссурийск, 2007. • Майоров А.Н. Теория и практика создания тестов для системы образования. – М., 2001. • Челышкова М.Б. Теория и практика конструирования педагогических тестов. – М., 2002. 53
  • 54. Контактные данные: • E-mail: smersh2005@gmail.com • Блог: http://ershikovsm.blogspot.com/ • Сайт: http://dlmedic.ucoz.ru/ • Twitter: @ershikovsm • Facebook: http://www.facebook.com/sergey.yershikov Благодарю за внимание! 54