e-Learning PRO

развиваем e-learning вместе

Мне представляется чрезвычайно важным обменяться опытом с коллегами, использующими технологию компьютерного тестирования. Мне пришлось в своей педагогической практике 20 лет работать без компьютеров и практически столько же с использованием компьютеров. Краткие выводы можно найти на моем сайте ( http://sites.google.com/site/yutixtestum/informacia-i-obucenie/komp... ). Кроме того, кого заинтересуют подробности, тот может просмотреть презентацию, приложенную к этому тексту. Проблемы компьютерного тестирования, которые мне кажется целесообразным обсудить:

  1. Оценка уровня освоения учебного материала по крайней мере так же важна, как и предъявление информации обучаемому в учебном курсе.
  2. Компьютерные системы, используемые при оценке (тестировании), должны по возможности использовать опыт, полученный при традиционном обучении.
  3. Регулярность тестирования должна быть максимально возможной.
  4. Что контролирует одно задание? Какой критерий используется, при определении количества заданий в тесте? Можно ли заранее определить качество разработанных заданий?
  5. Как влияют особенности программного обеспечения на ваш выбор формы применяемого задания?
  6. Каков процент заданий с множественным выбором (МВ) в курсах, которые Вы разрабатывали? Хотели бы Вы более широко использовать тестовые задания других форм? Хорошо ли Вы знакомы с ними?
  7. Как Вы оцениваете трудоемкость составления преподавателем заданий с МВ при контроле теоретических знаний? Не возникают ли у студентов излишние затруднения при работе с такими заданиями?
  8. Как Вы относитесь к тому, что при контроле теоретических знаний задания с множественным выбором (МВ) содержат от 70% до 90% ложной информации? Не считаете ли Вы что эта ложная информация существенно ухудшает качество учебного процесса?
  9. Не считаете ли Вы целесообразным рекомендовать по возможности не использовать задания с множественным выбором при тестировании теоретических знаний, поскольку они содержат слишком много ложной информации и создают излишние затруднения?
  10. Каково Ваше отношение к использованию заданий на конструирование ответа?

Представления: 1257

Вложения:

Ответить на это

Ответы на эту тему форума

Как обеспечить интерактивность в е-курсе? Надо внизу экрана поставить кнопку, подключенную к таймеру, на которой написать «Когда все прочитаешь, нажми меня!». Если через 3 - 5 мин кнопка не нажата, включается сирена и мигающая надпись на весь экран «DON’T S L E E P !», отключающаяся при нажатии. Это шутка.
Настоящая интерактивность связана с постоянной проверкой понял/не понял то, что предъявлено. На лекциях я регулярно прошу кого-нибудь повторить мою последнюю фразу, которую я только что произнес. Очень многие не в состоянии сделать это. Что же говорить о чтении информации с экрана в системе eLearning? Здесь помогают специально сконструированные тесты. Они проверяют, имеет ли обучаемый представление о том, что он только что прочитал (прослушал). Форма задания теста – конструируемый ответ с максимальной подсказкой (только 2 – 3 скрытых элемента и предъявлен шаблон ответа). Такое задание не требует полного заучивания материала. Уровень освоения учебной информации можно назвать «иметь представление». Подобные задания я часто использую в своих разработках, поскольку курс физики содержит более 500 основных учебных элементов, что невозможно освоить на уровне знаний, умений и навыков. Для многих элементов достаточен уровень иметь "представление". Но при этом обеспечена проверка практически всех элементов, входящих в ядро курса.
Ссылка: TestumW.pps, 956 Кб
Замечательный образец - как не надо делать (мое мнение).
Тестируемый, даже зная правильный ответ, будет комбинировать и мусолить всё бесконечное (или ограниченное, но большое) множество неправильных вариантов, до тех пор, пока не запомнит все их (неправильные) - твердо, и навсегда.... а потом пишут на форумах, что ДО - плохое. Естественно. Иного и не может быть при таком тестировании.
Виталий, большое спасибо, что Вы посмотрели мои материалы. Мне понятны Ваши сомнения в том, что "знающий" студент сможет быстро выполнить задание такого типа. Я использую такое тестирование уже больше 10 лет. Я видел, насколько трудно школьнику, попавшему в университет, выполнять задания, достоверно контролирующие его знания. В этом проявляются особенности современного школьного образования, которое практически не учит учиться. Даже получившие высокие баллы при поступлении студенты первого семестра обучения не могут точно воспроизвести стандартные определения и формулировки законов. Очень хорошо, если они правильно напишут формулу, даже стандартную. Я неоднократно сталкивался с претензиями сердобольных родителей на неправильную оценку знаний их детей. Приходилось подтверждать эту достоверность на устном собеседовании. Если перетерпеть, то к концу первого семестра студенты понимают, как надо учиться. Они понимают, что выполнив такое задание теста, они потом смогут воспроизвести материал правильно и на устном опросе. К концу второго семестра некоторые двоечники уже просят "спрашивать их на компьютере", поскольку так им легче. Они уже забыли трудности первых дней учебы. Многие благодарят за то, что я научил их учиться. Знаю нескольких студентов, которые были очень слабыми после школьного обучения, усердно осваивали мою технологию и потом стали круглыми отличниками.
Могу сказать по секрету, что некоторые преподаватели не любят мои тесты, поскольку они не могут точно воспроизвести материал, считая, что прекрасно его знают. Не имея терпения и опыта, они не могут добиться знаний от студентов, поэтому вообще не используют компьютеры.
В дистанционном обучении я пока не участвовал, хотя использовал такое тестирование в материалах, которые я передавал студентам-заочникам на дисках. Но пока я не применял их на семестровых экзаменах.
Сторожевых Виталий сказал(а):
Ссылка: TestumW.pps, 956 Кб
Замечательный образец - как не надо делать (мое мнение).
Тестируемый, даже зная правильный ответ, будет комбинировать и мусолить всё бесконечное (или ограниченное, но большое) множество неправильных вариантов, до тех пор, пока не запомнит все их (неправильные) - твердо, и навсегда.... а потом пишут на форумах, что ДО - плохое. Естественно. Иного и не может быть при таком тестировании.
Чем Вам не нравится модель Раша? Почему не использовать ее? С точки зрения математики она выглядит достаточно прозрачно. Не всегда, конечно, тестовые задания соответствуют этой модели, но тогда нужно изменять сами тестовые задания.

Что касается тестов, то я все большее предпочтение отдаю тестам с открытыми вопросами.
Максим, модель Раша (http://en.wikipedia.org/wiki/Rasch_model), основанная на использовании хорошо известной логистической функции (http://en.wikipedia.org/wiki/Logistic_function), разработана для анализа результатов психологических тестов (не надо путать с педагогическими тестами учебных достижений), определяющих способности испытуемых (скрытые или латентные характеристики). Поэтому данная модель не может нравиться или не нравиться. Кроме того, данная модель позволяет оценить скрытые характеристики испытуемых (способности) и тестовых заданий (трудность) только после проведения тестирования и обработки результатов (апостериорные результаты). И мне неизвестна технология априорной оценки характеристик отдельных заданий и теста в целом, предназначенных для проверки уровня освоения учебного материала. Поэтому открытым остается вопрос, как создавать тестовые задания и тесты различных уровней при разработке учебных курсов.
Использование тестовых заданий с открытым ответом вполне возможно в педагогическом тестировании. Однако программы компьютеров не могут учесть все многообразие возможных вариантов верных ответов. И ответы, которые надо считать верными, компьютер оценивает, как неверные, что недопустимо.

Максим Скрябин сказал(а):
Чем Вам не нравится модель Раша? Почему не использовать ее? С точки зрения математики она выглядит достаточно прозрачно. Не всегда, конечно, тестовые задания соответствуют этой модели, но тогда нужно изменять сами тестовые задания.

Что касается тестов, то я все большее предпочтение отдаю тестам с открытыми вопросами.
Юрий Валентинович, я, наверное, нечетко выразился относительно своего отношения к модели Раша. Да, она сначала разрабатывалась для тестов способностей, а не для тестов достижений. Но в виду ее прозрачности, мне кажется, ее стоит использовать и для тестов достижений для того, чтобы получить информацию о заданиях: какие задания трудные для студентов, какие - легкие; разделяют ли задания "сильных" и "слабых" студентов. Конечно, по модели Раша не выставить отметку за тест. Цель ее применения - увидеть задания теста "глазами" студента. Вообще, перевод сырых баллов (количество верно решенных заданий теста) в отметку - это очень непростой вопрос... :( И не очень понимаю, как его можно решать без апробации теста. В априорной оценки слишком большую роль играют ожидания преподавателя.

Что касается заданий с открытыми ответами, то задания нужно составить так, что возможных вариантов правильного ответа будет немного, например: "Единицей измерения силы тока в системе СИ является..." (чем не тестовое задание?). Конечно, можно пофантазировать на тему лингвистического обеспечения электронного курса, но это уже шаги к интеллектуальным системам (впрочем, как мне кажется, это не за горами).

А к заданиям на конструирование ответа я отношусь не очень положительно - эти подсказки похожи на "костыли" :( Что будет делать студент, если этих подсказок не будет?

Задания с множественным выбором непонятно, как оценивать. Стоит ли их тогда использовать для тестирования?

Тихомиров Юрий Валентинович сказал(а):
Максим, модель Раша (http://en.wikipedia.org/wiki/Rasch_model), основанная на использовании хорошо известной логистической функции (http://en.wikipedia.org/wiki/Logistic_function), разработана для анализа результатов психологических тестов (не надо путать с педагогическими тестами учебных достижений), определяющих способности испытуемых (скрытые или латентные характеристики). Поэтому данная модель не может нравиться или не нравиться. Кроме того, данная модель позволяет оценить скрытые характеристики испытуемых (способности) и тестовых заданий (трудность) только после проведения тестирования и обработки результатов (апостериорные результаты). И мне неизвестна технология априорной оценки характеристик отдельных заданий и теста в целом, предназначенных для проверки уровня освоения учебного материала. Поэтому открытым остается вопрос, как создавать тестовые задания и тесты различных уровней при разработке учебных курсов.
Использование тестовых заданий с открытым ответом вполне возможно в педагогическом тестировании. Однако программы компьютеров не могут учесть все многообразие возможных вариантов верных ответов. И ответы, которые надо считать верными, компьютер оценивает, как неверные, что недопустимо.
Максим, по поводу "костылей" могу только поделиться своим почти двадцатилетним опытом работы с такими заданиями: на начальном этапе обучения даже с "костылями" многие студенты (если не все) испытывают большие трудности при точном формулировании определений физических характеристик, физических законов и других логических утверждений. Да и не только студенты! Если Вы попадете на факультет повышения квалификации физического факультета МГУ, то профессор Николаев в первую очередь потребует от Вас продекламировать точные формулировки утверждений, составляющих фундамент физики. Тогда Вы поймете, что Вы знаете, а о чем только имеете представление. А я был на хорошем счету только потому, что уже много лет сам себя регулярно проверяю с помощью своих тестов.
А задания с множественным выбором я, как Вы могли заметить из преамбулы форума, предложил не использовать при проверке уровня освоения теоретических знаний, и не только в физике.
Я не утверждал, что задания на конструирование ответов легки. Но все же, при устном собеседовании когда задается вопрос, например, на знание определения или закона, у студента нет этих подсказок. Отвечать на вопросы сложнее, чем конструировать ответы. И, на мой взгляд, важнее.

На факультет повышения квалификации физического факультета МГУ я уже вряд ли попаду. :) Но могу поделиться своим учебным опытом, что тестирование по физике (для допуска к лабораторным работам) напрочь отбило у меня охоту заниматься физикой. Я стал математиком :)

> Тогда Вы поймете, что Вы знаете, а о чем только имеете представление.

Этот вопрос решается не с помощью точных формулировок. "Уровень закрепления знаний зависит не от точности воспроизводства знаний, а от способности решать задачи, используя эти знания" (Н.Ф. Талызина, "Педагогическая психология"; цитата неточная, т.к. я пытался передать суть).

Тихомиров Юрий Валентинович сказал(а):
По поводу "костылей" могу только поделиться своим почти двадцатилетним опытом работы с такими заданиями: на начальном этапе обучения даже с "костылями" многие студенты (если не все) испытывают большие трудности при точном формулировании определений физических характеристик, физических законов и других логических утверждений. Да и не только студенты! Если Вы попадете на факультет повышения квалификации физического факультета МГУ, то профессор Николаев в первую очередь потребует от Вас продекламировать точные формулировки утверждений, составляющих фундамент физики. Тогда Вы поймете, что Вы знаете, а о чем только имеете представление. А я был на хорошем счету только потому, что уже много лет сам себя регулярно проверяю с помощью своих тестов.
"Тестирование конструированием" содержит элементы узнавания, угадывания, случайного попадания.
Я эти и многие другие слабости тестов понял через 5 минут после работы с ними. Другие же десятками лет продвигают идею ценности автоматизированного тестирования и конструирования, додвигая её до государственного уровня (ЕГЭ), после чего даже президент матерился, увидев полученные итоги.

"Уровень закрепления знаний зависит не от точности воспроизводства знаний, а от способности решать задачи, используя эти знания"

+100
Тихомиров Юрий Валентинович сказал(а):
Как обеспечить интерактивность в е-курсе? .... Настоящая интерактивность связана с постоянной проверкой понял/не понял то, что предъявлено. На лекциях я регулярно прошу кого-нибудь повторить мою последнюю фразу, которую я только что произнес. Очень многие не в состоянии сделать это...

Извините, Юрий Валентинович, но Ваши просьбы к студенту "повторить мою последнюю фразу, которую я только что произнес" - едва ли являются "тестом" на понимание. На воспроизведение? - Да, Кратковременную память и внимательность? - Да. На глубину освоения/осознания/понимания? - Сомневаюсь.

К нашему разговору в ином форуме. Для проверки понимания существуют свои процедуры. В частности у Блума, хоть они, ИМХО, у него и менее всего проработаны по сранению с иными. Следовательно, живой преподаватель не должен передавать виртуальному неверного понимания процесса понимания, обучения ему и проверки его. Больше всего в вопросе понимания преуспела герменевтика и появилась даже Понимающая педагогика. К сожалению, я с ней мало знаком.
Конечно, Владимир, я имел в виду воспроизведение (простой повтор фразы). Но главный вопрос, возможно ли понимание без запоминания, т.е. при невозможности воспроизвести. Не зря у Блума, да и везде далее, первым пунктом в освоении информации идет именно способность воспроизвести. Именно эту способность он называет "знанием" (knowledge). В своем примере я хотел показать, что студенты не способны сразу воспроизвести только что полученную информацию. Надо, чтобы они хотя бы раз сделали это. Здесь не жалко никакой подсказки. Если они сделают это (пусть и с нашей помощью) один раз, им значительно легче будет потом. Мне кажется, после первого воспроизведения у студента возникает ощущение понимания. По крайней мере для меня (когда я был студентом) это всегда было так! Все сказанное относится не только к лекциям, но и к eL в режиме предъявления информации.
К сожалению термин «знание» в русском языке имеет около 10 смысловых значений (http://ru.wikipedia.org/wiki/%D0%97%D0%BD%D0%B0%D0%BD%D0%B8%D0%B5). Предлагаю в наших дискуссиях использовать этот термин, как рекомендовал Блум, т.е. как уровень освоения учебной информации. Тогда «знания» есть совокупность элементов учебной информации, освоенных на уровне «знание», т.е. способности воспроизвести (на самом деле смысл этого термина значительно шире).
Понимание по Блуму возникает на второй стадии освоения информации. В русском языке этот термин также многозначен, поэтому надо определиться, о чем идет речь. По Блуму это способность преобразовать материал из одной формы в другую, интерпретировать его и строить предположения о дальнейшем ходе событий (интерполяция во времени). В русской википедии можно найти много значений, не соответствующих определению Блума: (http://ru.wikipedia.org/wiki/%D0%9F%D0%BE%D0%BD%D0%B8%D0%BC%D0%B0%D...)
http://ru.wiktionary.org/wiki/%D0%BF%D0%BE%D0%BD%D0%B8%D0%BC%D0%B0%...
В частности, здесь предлагается выделять понимание нового и понимание-воспоминание.
Поскольку есть противоречия, которые не позволяют формализовать это понятие, предлагаю временно не использовать его, как характеристику уровня освоения учебного материала, определяемую с помощью компьютера.
А уровень «знание учебного материала» целесообразно разделить на 2:
иметь представление – способность воспроизвести материал с подсказкой (поддержкой)
знать – способность воспроизвести без подсказки (поддержки).
Кстати, «добренький» преподаватель при опросе старается дать в вопросе как можно больше подсказок, а «суровый» - как можно меньше, он дает только название (идентификатор). А совсем «плохой» задает вопросы типа «А что вы думаете о ...?», «А что вы можете сказать о ...?» и т.п. Студент в ступоре, преп доволен, он самый умный! Но причем здесь контроль знаний?

Vladimir Naumov сказал(а):

Извините, Юрий Валентинович, но Ваши просьбы к студенту "повторить мою последнюю фразу, которую я только что произнес" - едва ли являются "тестом" на понимание. На воспроизведение? - Да, Кратковременную память и внимательность? - Да. На глубину освоения/осознания/понимания? - Сомневаюсь.

К нашему разговору в ином форуме. Для проверки понимания существуют свои процедуры. В частности у Блума, хоть они, ИМХО, у него и менее всего проработаны по сранению с иными. Следовательно, живой преподаватель не должен передавать виртуальному неверного понимания процесса понимания, обучения ему и проверки его. Больше всего в вопросе понимания преуспела герменевтика и появилась даже Понимающая педагогика. К сожалению, я с ней мало знаком.
А уровень «знание учебного материала» целесообразно разделить на 2:
иметь представление – способность воспроизвести материал с подсказкой (поддержкой)
знать – способность воспроизвести без подсказки (поддержки).


А уровень использования знаний (т.е. способность их применять) у нас уже в расчет не принимается? - воспроизвел, и всё? Мдя....

Ответить на обсуждение

RSS

© 2019   Created by Elena Tikhomirova.   При поддержке

Эмблемы  |  Сообщить о проблеме  |  Условия использования