Современные проблемы науки и образования. Использование компьютерных технологий в тестировании по иностранному языку Системы адаптивного тестирования знаний по английскому

УДК 004.4

А. М. ГУДОВ, С. Ю. ЗАВОЗКИН, Е. В. СИДОРОВА

A. M. GUDOV, S. U. ZAVOZKIN, E. V. SIDOROVA

СИСТЕМА КОМПЬЮТЕРНОГО АДАПТИВНОГО ТЕСТИРОВАНИЯ

SYSTEM OF COMPUTER ADAPTIVE TESTING

В данной работе описывается еще один подход к оценке знаний обучающихся посредством компьютерного тестирования. Оценка предполагает использование двух стратегий: алгоритм неадаптивного (прямого) и адаптивного (выбор траектории тестирования в зависимости от ответов тестируемого) тестирования. В случае неадаптивного компьютерного тестирования расчет итоговой оценки зависит только от уровня сложности тестовых заданий, в другом случае – от уровня сложности, «веса» базового (начального) и дополнительного набора тестовых заданий, а также количества прохождений одного и того же теста. Сам тест имеет иерархическую структуру.

Ключевые слова: тестирование; адаптивный алгоритм; оценка знаний студентов; тест; тестовое задание.

This article describes one more method to assess student’s knowledge by using computer testing. There are two strategies of assessment: non-adaptive (direct) and adaptive (selection of the path of testing depends on the answers that are given) testing algorithms. In the case of non-adaptive computer testing, calculation of grade depends on complexity level of the test tasks. In the other case – calculation of grade depends on complexity, “weight” of basic (initial) and additional sets of the test tasks, and the number of passing one and the same test. The test has a hierarchical structure.

Keywords: testing; adaptive algorithm; assessment of student’s knowledge; test; test task.

На современном этапе развития образования все больше внимания уделяется внедрению эффективных форм контроля знаний. Одной из таких форм является компьютерное тестирование. Основные преимущества тестирования давно обсуждаются в специальной литературе. Однако традиционное компьютерное тестирование имеет ряд проблем, таких как:

1. Примитивность расчета итоговой оценки, который сводится либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ.

2. Недостоверность тестирования, так как возможно быстрое изучение банка заданий.

3. Необъективность оценки знаний ‑ тестируемым с разным уровнем подготовки задаются вопросы одного уровня сложности.

Перечисленные проблемы могут быть решены применением компьютерного тестирования на основе адаптивного алгоритма. Адаптивное тестирование – это широкий класс методик тестирования, предусматривающих изменение последовательности предъявления заданий в самом процессе тестирования с учетом ответов испытуемого на уже предъявленные задания.

С другой стороны, система прямого тестирования позволяет наиболее точно провести испытуемого через траекторию, заданную преподавателем. Компромиссным решением служит система, которая позволяет проводить контрольные испытания адаптивным и неадаптивными способами.

На рынке представлено большое количество систем тестирования, которые были проанализированы на основе следующих основных критериев: использование в качестве клиентского приложения Web – браузера; возможность проведения тестирования адаптивным и неадаптивным способами; возможность ограничения теста по времени; возможность использование иллюстраций в качестве формулировок и вариантов ответов на тестовое задание; присутствие основных типов тестовых заданий; наличие механизма анализа результатов тестирования; соответствие тестовых заданий при экспорте/импорте стандарту QTI ; возможность интеграции с другими системами.

В число рассмотренных систем вошли и используемые в данный момент в КемГУ системы RealTests (собственная разработка) и АСТ (приобретенная система).

Результаты анализа показали, что ни одна из рассмотренных систем полностью не соответствует предъявленным критериям. Таким образом, была поставлена задача создании принципиально новой системы тестирования на базе используемой системы RealTests, позволяющей проводить контрольные испытания у студентов двумя способами: традиционным и адаптивным .

При разработке алгоритма адаптивного тестирования учитывались следующие принципы:

1. Количество заданий и уровень сложности, определяются преподавателем в зависимости от структуры плана и курса (базовый набор).

2. Если испытуемый отвечает на задания базового набора по текущему уровню сложности – ему задаются задания повышенного уровня сложности (студент имеет возможность досрочно завершить тестирование с положительной оценкой).

3. Если испытуемый не отвечает на вопросы заданного уровня сложности из базового набора ‑ ему задаются задания пониженного уровня сложности из базы тестовых заданий.

4. Если студент не отвечает на дополнительные вопросы текущего уровня, то уровень понижается, и подбираются дополнительные вопросы из базы тестовых заданий этого уровня.

5. Если студент отвечает на дополнительные вопросы заданного уровня, то уровень увеличивается, и студент может вернуться к ответу на задания из базового набора или дополнительного набора заданий.

На рисунке 1 схематично представлен алгоритм адаптивного тестирования, где использованные обозначения имеют следующий смысл: t – количество тем; L – количество уровней сложности; https://pandia.ru/text/79/108/images/image002_115.gif" width="69 height=45" height="45">.gif" width="23" height="24">.gif" width="19" height="25 src=">.gif" width="93 height=47" height="47">– общее количество заданий в базовом наборе.

В процессе тестирования определяются следующие значения:

Https://pandia.ru/text/79/108/images/image019_11.gif" width="201" height="95 src="> – текущая балльная оценка знаний испытуемого при использовании адаптивного алгоритма (– штрафной коэффициент, где l – количество пересдач);

- ‑ текущая балльная оценка знаний испытуемого при использовании неадаптивного алгоритма.

Рисунок 1. – Адаптивный алгоритм

Выбор тестового задания с другим уровнем сложности происходит в соответствии с показанным на Рисунке 2 алгоритмом.

Рисунок 2. - Изменение уровня сложности

В соответствии с требованиями к системе были разработан комплекс моделей:

1. информационная модель;

2. функциональные диаграммы в нотациях IDEF0 и IDEF3;

3. ER – модель;

4. диаграммы системного окружения и вариантов использования в нотации UML.

При моделировании учитывалось, что создаваемая система «СКАТ» должна интегрироваться с рядом подсистем, входящих в интегрированную аналитическую информационную систему ИАИС , внедренную в КемГУ и обеспечивающую единое информационное пространство ВУЗа.

В соответствии с построенными моделями реализована система тестирования с использованием следующих средств: СУБД ORACLE; процедурный язык PL/SQL; сервер приложений Apache Tomcat 5.4.4; пакет приложений KemSUWEB.

Внедрение системы позволит достичь новых результатов при оценке знаний обучающихся:

повышение объективности оценки знаний;

реализация гибкой траектории испытания в зависимости от градации уровней сложности тестовых заданий;

простота использования системы за счет использования стандартного web-браузера;

мобильность преподавателя и испытуемого;

обмен тестовыми заданиями между различными системами, поддерживающими стандарт QTI.

СПИСОК ЛИТЕРАТУРЫ

1. Спецификация IMS Question & Test Interoperability. - Vol. 1.2 [Электронный ресурс]/ IMS Global Learning Consortium, Inc.// http://www. imsglobal. org/question/. – 2001 – 2012

2. Ростовцев, компьютерного контроля успеваемости студентов [Текст] / , // Материалы региональной научно-практической конференции "Информационные недра Кузбасса". КемГУ, Кемерово: изд."Фирма Полиграф", 2001, ч.2, с.194-198.

3. Афанасьев, аналитическая информационная система управления университетом: основные элементы [Текст] / , . – Кемерово: издательство, 2009.

К. ф.-м. н., доцент кафедры ЮНЕСКО по НИТ

E-mail: *****@***ru

ФГБОУ ВПО «Кемеровский государственный университет», г. Кемерово

К. т. н., доцент кафедры ЮНЕСКО по НИТ

E-mail: *****@***ru

ФГБОУ ВПО «Кемеровский государственный университет», г. Кемерово

Студентка кафедры ЮНЕСКО по НИТ ФГБОУ ВПО КГУ

1

Согласно Концепции модернизации российского образования можно отметить, что основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий. Используются они по-разному: для управления образовательным процессом, для непосредственного обучения, для контроля и проверки усвоения и практического применения полученных знаний обучаемыми. Для этого в последнее время все большее применение на разных этапах обучения получили различного рода тестовые опросы. Спектр применения тестов очень широк от короткого опроса после объяснения текущей темы до итоговых, выпускных или вступительных экзаменов. При этом для многих высших учебных заведений актуальным вопросом является использование информационных технологий при разработке автоматизированных систем обучения и контроля знаний. Ведь использование подобного типа систем в образовательном процессе позволит применить новые адаптивные алгоритмы тестового контроля, использовать в тестовых заданиях мультимедийные возможности компьютеров, уменьшить объем бумажной работы, ускорить процесс подсчета результатов опроса, упростить администрирование, снизить затраты на организацию и проведение тестирования. В заключение можно отметить, что компьютерные системы контроля знаний приобретают все большую популярность, что объясняется их объективностью, доступностью и экономической эффективностью.

Исходя из вышесказанного, было принято решение по разработке программного комплекса, универсальной автоматизированной системы адаптивного тестирования (АСАТ) - являющейся средством разработки и создания различного рода тестов, а также используемая для проведения тестирования и обработки результатов. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.

Программный комплекс АСАТ предоставляет следующие возможности по организации процесса тестирования:

Автоматизация процесса создания тестов, качественное проведение процесса тестирования.

Открытость и наращиваемость системы.

Отсутствие жесткой привязки к какому-либо предмету.

Легкость создания и модификация тестов.

Обеспечение возможности многопользовательской работы. Персонифицированный доступ для всех категорий пользователей.

Защита от несанкционированного доступа к тестируемым заданиям.

Развитые средства навигации на всех уровнях при проведении процесса тестирования. Наличие средства динамического контроля процесса тестирования со стороны преподавателя.

Настройка (адаптация) тестового материала под индивидуальные особенности обучаемого (студента, учащегося, специалиста и т.п.).

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого.

Наполнение базы данных тестовыми заданиями, позволяющими работать как с текстовой, графической, так и с динамической тестовой информацией.

Возможность создания различных заданий из одного набора вопросов.

Возможность проведения тестирования по частям курса и как следствие проведение итогового экзаменационного тестирования по всему курсу.

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса.

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых.

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки.

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Оперативный сбор и анализ результатов тестирования на любой момент времени с возможностью формирования периодических отчетов и ведомостей по различным запросам.

Внедрение АСАТ в процесс обучения студентов СурГУ и в общеобразовательные учреждения ХМАО - Югры.

По способу оценки результатов, тесты бывают двух видов: традиционные и адаптивные. Преимущество адаптивного теста перед традиционным - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов. Еще один значимый эффект - повышение достоверности, так как в этом случае исключается быстрое изучение банка заданий путем простого "прощелкивания" вариантов на компьютере (таким образом, можно узнать лишь легкие задания, а трудные и часть средних оказываются неизученными).

В данной системе тестирования адаптивность выражается в изменении относительных пропорций в предъявлении легких, средних, трудных заданий в зависимости от числа правильных ответов, зарегистрированных в ходе сеанса тестирования. Следует заметить, что переход на адаптивную методику возможен только в результате накопления значительного банка заданий с эмпирическим измеренным уровнем трудности. Адаптивность сочетается с принципом "лестничного алгоритма" - предъявления заданий с систематическим нарастанием уровня трудности. Вначале предъявляются легкие задания, затем - средние и, если тестируемый успешен на предыдущих уровнях, - трудные. После каждого ответа программа тестирования определяет обоснованность так называемого «досрочного перевода» тестируемого на более высокий уровень трудности. На каждом шаге оценивается значимость различий между числом правильных и неправильных ответов. При значениях меньших чем 5%-ый уровень ошибки (в отвержении гипотезы равновероятной встречаемости правильных ответов и ошибок) осуществляется перевод тестируемого на более высокий уровень трудности. Если задания данного уровня исчерпались, а тестируемый не перешел на следующий уровень трудности, то процесс тестирования завершается и осуществляется определение уровня знаний тестируемого.

Система реализована в виде трех независимых модулей:

модуля тестирования (предназначенного для тестируемых);

модуля создания и редактирования тестов (предназначенного для преподавателя);

модуля статистики и анализа результатов (предназначенного для преподавателя), которые могут устанавливаться независимо друг от друга на различные клиентские машины;

для сохранения исходных данных и результатов проводимых тестов используется база данных, которая хранит банк тестовых заданий, параметры настройки теста и процесса тестирования, информацию для аутентификации пользователей, результаты тестирования и другую информацию по обработке данных.

Модуль создания и редактирования тестов осуществляет идентификацию зарегистрированных или регистрацию новых преподавателей, обращается к базе данных, в которой хранятся тестовые задания и ответы к каждому тесту, а также его параметры, и позволяет преподавателю создать новый тест, изменить настройки имеющегося теста, редактировать вопросы и ответы.

Следует заметить, что преподаватель, зайдя в систему под своим регистрационным именем и паролем, получает доступ только к своей совокупности тестов, не имея возможности просмотреть или изменить тесты другого преподавателя.

Используя базу данных, модуль тестирования проводит идентификацию зарегистрированных или регистрацию новых пользователей, выбор теста, осуществляет тестирование испытуемого посредством вывода на экран вопроса и последующего получения ответа, обрабатывает поступившие данные и записывает полученные результаты тестирования в базу данных для возможности дальнейшего анализа и использования преподавателем.

Тестируемые могут получить доступ только к определенным тестам, заранее назначенным преподавателем. При этом используется адаптивный алгоритм контроля знаний, обуславливающий выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы. В данной системе отсутствует возможность пропустить вопрос и вернуться к нему в конце тестирования, это связано с тем, что в зависимости от того, как тестируемый ответит на текущий вопрос, обуславливается выбор очередного задаваемого вопроса. По окончании выполнения теста для тестируемого выводится результат тестирования и краткий комментарий. Результатом тестирования является оценка, которую пользователь получает исходя из критериев, заданных преподавателем для данного теста.

Модуль статистики и анализа результатов тестирования предоставляет преподавателю возможность просмотреть результаты тестирования отдельного студента или целой группы, по одному или нескольким тестам с различной степенью детализации. При этом в отчете отображаются результаты всех студентов по всем пройденным ими тестам, относящимся к выбранному предмету определенного преподавателя.

Так как тестирование основывается на принципе адаптивности, то вопросы, а также их количество в пределах одного теста для каждого пользователя будет неодинаковым. Поэтому в данном модуле предусматривается возможность вывода не только общей информации, но и более детального отчета о прохождении теста, который содержит информацию о том, какие пользователь получал вопросы и как он на них отвечал.

Созданная система соответствует современным требованиям, предъявляемым к классу подобного типа систем, как в области педагогического тестирования, так и в области информационных технологий.

Библиографическая ссылка

Бушмелева К.И. АВТОМАТИЗИРОВАННАЯ СИСТЕМА АДАПТИВНОГО ТЕСТИРОВАНИЯ // Современные проблемы науки и образования. – 2007. – № 2.;
URL: http://science-education.ru/ru/article/view?id=2517 (дата обращения: 18.09.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания» 1

Согласно Концепции модернизации российского образования можно отметить, что основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий. Используются они по-разному: для управления образовательным процессом, для непосредственного обучения, для контроля и проверки усвоения и практического применения полученных знаний обучаемыми. Для этого в последнее время все большее применение на разных этапах обучения получили различного рода тестовые опросы. Спектр применения тестов очень широк от короткого опроса после объяснения текущей темы до итоговых, выпускных или вступительных экзаменов. При этом для многих высших учебных заведений актуальным вопросом является использование информационных технологий при разработке автоматизированных систем обучения и контроля знаний. Ведь использование подобного типа систем в образовательном процессе позволит применить новые адаптивные алгоритмы тестового контроля, использовать в тестовых заданиях мультимедийные возможности компьютеров, уменьшить объем бумажной работы, ускорить процесс подсчета результатов опроса, упростить администрирование, снизить затраты на организацию и проведение тестирования. В заключение можно отметить, что компьютерные системы контроля знаний приобретают все большую популярность, что объясняется их объективностью, доступностью и экономической эффективностью.

Исходя из вышесказанного, было принято решение по разработке программного комплекса, универсальной автоматизированной системы адаптивного тестирования (АСАТ) - являющейся средством разработки и создания различного рода тестов, а также используемая для проведения тестирования и обработки результатов. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.

Программный комплекс АСАТ предоставляет следующие возможности по организации процесса тестирования:

Автоматизация процесса создания тестов, качественное проведение процесса тестирования.

Открытость и наращиваемость системы.

Отсутствие жесткой привязки к какому-либо предмету.

Легкость создания и модификация тестов.

Обеспечение возможности многопользовательской работы. Персонифицированный доступ для всех категорий пользователей.

Защита от несанкционированного доступа к тестируемым заданиям.

Развитые средства навигации на всех уровнях при проведении процесса тестирования. Наличие средства динамического контроля процесса тестирования со стороны преподавателя.

Настройка (адаптация) тестового материала под индивидуальные особенности обучаемого (студента, учащегося, специалиста и т.п.).

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого.

Наполнение базы данных тестовыми заданиями, позволяющими работать как с текстовой, графической, так и с динамической тестовой информацией.

Возможность создания различных заданий из одного набора вопросов.

Возможность проведения тестирования по частям курса и как следствие проведение итогового экзаменационного тестирования по всему курсу.

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса.

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых.

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки.

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Оперативный сбор и анализ результатов тестирования на любой момент времени с возможностью формирования периодических отчетов и ведомостей по различным запросам.

Внедрение АСАТ в процесс обучения студентов СурГУ и в общеобразовательные учреждения ХМАО - Югры.

По способу оценки результатов, тесты бывают двух видов: традиционные и адаптивные. Преимущество адаптивного теста перед традиционным - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов. Еще один значимый эффект - повышение достоверности, так как в этом случае исключается быстрое изучение банка заданий путем простого "прощелкивания" вариантов на компьютере (таким образом, можно узнать лишь легкие задания, а трудные и часть средних оказываются неизученными).

В данной системе тестирования адаптивность выражается в изменении относительных пропорций в предъявлении легких, средних, трудных заданий в зависимости от числа правильных ответов, зарегистрированных в ходе сеанса тестирования. Следует заметить, что переход на адаптивную методику возможен только в результате накопления значительного банка заданий с эмпирическим измеренным уровнем трудности. Адаптивность сочетается с принципом "лестничного алгоритма" - предъявления заданий с систематическим нарастанием уровня трудности. Вначале предъявляются легкие задания, затем - средние и, если тестируемый успешен на предыдущих уровнях, - трудные. После каждого ответа программа тестирования определяет обоснованность так называемого «досрочного перевода» тестируемого на более высокий уровень трудности. На каждом шаге оценивается значимость различий между числом правильных и неправильных ответов. При значениях меньших чем 5%-ый уровень ошибки (в отвержении гипотезы равновероятной встречаемости правильных ответов и ошибок) осуществляется перевод тестируемого на более высокий уровень трудности. Если задания данного уровня исчерпались, а тестируемый не перешел на следующий уровень трудности, то процесс тестирования завершается и осуществляется определение уровня знаний тестируемого.

Система реализована в виде трех независимых модулей:

модуля тестирования (предназначенного для тестируемых);

модуля создания и редактирования тестов (предназначенного для преподавателя);

модуля статистики и анализа результатов (предназначенного для преподавателя), которые могут устанавливаться независимо друг от друга на различные клиентские машины;

для сохранения исходных данных и результатов проводимых тестов используется база данных, которая хранит банк тестовых заданий, параметры настройки теста и процесса тестирования, информацию для аутентификации пользователей, результаты тестирования и другую информацию по обработке данных.

Модуль создания и редактирования тестов осуществляет идентификацию зарегистрированных или регистрацию новых преподавателей, обращается к базе данных, в которой хранятся тестовые задания и ответы к каждому тесту, а также его параметры, и позволяет преподавателю создать новый тест, изменить настройки имеющегося теста, редактировать вопросы и ответы.

Следует заметить, что преподаватель, зайдя в систему под своим регистрационным именем и паролем, получает доступ только к своей совокупности тестов, не имея возможности просмотреть или изменить тесты другого преподавателя.

Используя базу данных, модуль тестирования проводит идентификацию зарегистрированных или регистрацию новых пользователей, выбор теста, осуществляет тестирование испытуемого посредством вывода на экран вопроса и последующего получения ответа, обрабатывает поступившие данные и записывает полученные результаты тестирования в базу данных для возможности дальнейшего анализа и использования преподавателем.

Тестируемые могут получить доступ только к определенным тестам, заранее назначенным преподавателем. При этом используется адаптивный алгоритм контроля знаний, обуславливающий выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы. В данной системе отсутствует возможность пропустить вопрос и вернуться к нему в конце тестирования, это связано с тем, что в зависимости от того, как тестируемый ответит на текущий вопрос, обуславливается выбор очередного задаваемого вопроса. По окончании выполнения теста для тестируемого выводится результат тестирования и краткий комментарий. Результатом тестирования является оценка, которую пользователь получает исходя из критериев, заданных преподавателем для данного теста.

Модуль статистики и анализа результатов тестирования предоставляет преподавателю возможность просмотреть результаты тестирования отдельного студента или целой группы, по одному или нескольким тестам с различной степенью детализации. При этом в отчете отображаются результаты всех студентов по всем пройденным ими тестам, относящимся к выбранному предмету определенного преподавателя.

Так как тестирование основывается на принципе адаптивности, то вопросы, а также их количество в пределах одного теста для каждого пользователя будет неодинаковым. Поэтому в данном модуле предусматривается возможность вывода не только общей информации, но и более детального отчета о прохождении теста, который содержит информацию о том, какие пользователь получал вопросы и как он на них отвечал.

Созданная система соответствует современным требованиям, предъявляемым к классу подобного типа систем, как в области педагогического тестирования, так и в области информационных технологий.

Библиографическая ссылка

Бушмелева К.И. АВТОМАТИЗИРОВАННАЯ СИСТЕМА АДАПТИВНОГО ТЕСТИРОВАНИЯ // Фундаментальные исследования. – 2007. – № 2. – С. 48-50;
URL: http://fundamental-research.ru/ru/article/view?id=2517 (дата обращения: 18.09.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Аннотация: Рассматриваются основные понятия технологии компьютерного тестирования и некоторые инструментальные системы тестирования

Хотя возможности m- Learning и ограничены (трудно использовать страницы, рисунки, таблицы и меню большой разрешающей способности и размера, всплывающие диалоговые окна и др.), оно имеет большую инновационную привлекательность.

Инструментальные системы учебного назначения обычно предназначены для настройки на любую предметную область.

Существует множество автоматизированных систем обучения и контроля. Наиболее часто встречаются так называемые обучающие программы, разработанные на основе эмпирического подхода, определенный педагогический опыт и здравый смысл (системы "от учебного предмета"). Как правило, у них низкая дидактическая эффективность (по зарубежным оценкам, эффективными являются не более 10% таких программ, а число непригодных – около 90%).

Рассмотрим некоторые системы.

1. Lotus Learning Space – средство разработки обучающих мультимедиа-курсов. Пакет Learning Space поддерживает три способа обучения: самостоятельное и пошаговое, без тьютора и контроля (материалы на веб-сервере, в базе данных или на носителе).
2. ToolBook – средство создания мультимедиа–приложений обучающего характера. Позволяет создавать тесты, встраивать их в контент и проводить тестирование. Имеется также набор стандартных видов тестов, которые легко встраиваются в создаваемый контент.
3. WebCT – интегрированная среда разработки и использования сетевых курсов. Тестирующая система WebCT позволяет использовать основные типы тестовых заданий, включая и развернутый ответ.
4. eLearning Office – система разработки мультимедиа-приложений: электронных каталогов, энциклопедий, учебников, презентаций, поисковых систем и других. Включает систему интерактивного тестирования для самопроверки знаний учащегося с заданиями, которые могут быть трех типов (с вариантами выбора ответов, с вводом строки ответа и на соответствие ответа) и включать аудио- и видео-фрагменты, а также графические объекты. Есть режим контроля результатов тестирования. Преподаватель может выставлять оценки обучаемым автоматически или самостоятельно, контролируя неправильные ответы.
5. tTester – разработка, которая позволяет создавать тесты, объединять тесты в один тест, редактировать тесты, создавать "бумажные" версии тестов и их печать и др.
6. АСТ-Тест – инструментальная среда для разработки педагогических тестов и адаптивного тестирования с использованием OLE-технологии и мультимедиа. Имеет модули "Конструктор тестов", "Система тестирования".
7. АИССТ – Автоматизированная Интерактивная Система Сетевого Тестирования для проведения контроля знаний обучающихся, создания и настройке предметного материала, администрирования работы системы.
8. Гефест – сетевая адаптивная информационно-обучающая система, использующая методы теории автоматов и марковских процессов. В модель адаптивного управления обучением включены объекты "Устройство адаптивного обучения (формирование вопросов и задач, контроль ответов и оценка знаний)", "Модель обучающегося".
9. LERSUS – программная система (редактор) для быстрой разработки и стандартизации электронных (в том числе, веб-контента с использованием видео, аудио, Java, Flash) или печатных учебных материалов в виде интерактивного веб-контента без непосредственного (процедурного) программирования и дизайнерских усилий, организует интерфейсную поддержку и импорт-экспорт при разработке тестов.
10. М-Тест – инструментальная среда для поддержки адаптивного тестирования и аттестации сотрудников. Позволяет конструировать мультимедийные задания основных форм, используя технологию связывания объектов OLE, создавать банки таких заданий, визуализировать результаты тестирования (протоколирование), вести статистику.
11. IRT–технология (методология) адаптивного тестирования, получившая название "Тест интеллектуального потенциала" для экспресс-диагностики интеллектуальных способностей людей различных возрастных групп.

Есть и другие аналогичные системы.

В заключение отметим, что системы обучения и контроля должны иметь критерии адекватности.

Отметим следующие критерии адекватности образовательных WWW-ресурсов:

1. качество закрепления материала (в частности, для тестирующих систем);
2. качество и структурированность учебного материала (для электронных учебников);
3. актуализация структурированного знания (для поисковых систем);
4. эффективная обратная связь (для образовательных телеконференций);
5. визуализация (для визуальных сред программирования);
6. виртуализация (для моделирующих сред);
7. создание новых операционных возможностей или актуализация "старых" новыми структурами (для микромиров);
8. связность нового и старого знания (для когнитивных сред);
9. обеспечение перехода на новый продуктивный уровень деятельности обучаемых (для креативных средств и сред);
10. снижение стоимости и времени (для CASE-систем);
11. повышение интеллектуальной поддержки процесса принятия решений (для нейросистем);
12. качество обеспечения коммуникативности (для интрасетей и экстрасетей) и др.

Образовательная система должна реагировать на наблюдаемые несоответствия и скачки в окружении, в обществе, адаптируясь и извлекая уроки из критических ситуаций.

Необходим переход от парадигмы обучения к парадигме учения, от парадигмы обучения к функционирующим изолированным системам. Необходима парадигма актуализации, усиления и изучения системно-синергетических связей открытой системы и ее окружения, изучения и предвидения эволюции систем. Особенно важно такое предвидение в образовательных системах, так как в них достаточно большой цикл эволюции.

Важно использовать в тестировании аутсорсинг

Введение

1. Формирование требований к программному средству

1.1 Выявление требований. Документ "Видение"

1.2 Построение диаграммы вариантов использования

1.2.1 Выявление актеров

1.2.2 Выявление вариантов использования

2. Анализ предметной области

2.1 Описание входной и выходной информации

2.2 Построение диаграммы потоков данных

3. Проектирование программного средства

3.1 Проектирование архитектуры ПС

3.2 Концептуальное и логическое проектирование структуры информационного обеспечения

3.3 Проектирование интерфейса

4. Реализация программного средства

4.1 Выбор средств реализации

4.2 Реализация информационного обеспечения

4.2.1 Создание БД

4.2.2 Создание таблиц и полей. Заполнение БД

4.2.3 Создание связей. Построение диаграммы БД

4.3 Реализация пользовательского интерфейса

4.4 Реализация функциональности программного средства

4.5 Организация взаимодействия приложения с БД

4.6 Руководство пользователя

5. Тестирование программного средства

Заключение

Приложения

Введение

Согласно концепции модернизации российского образования на период до 2010 года одной из ключевых приоритетных задач является обеспечение государственных гарантий - доступности и равных возможностей получения полноценного образования; достижение нового современного качества профессионального образования. Основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий.

И это требует нового, современного подхода в создании интеллектуальных систем дистанционного обучения. Если раньше такие системы могли представлять собой набор гипертекстовых, электронных материалов и тестов, то теперь становится крайне необходимо систематизировать и наполнить системы интеллектуальной «начинкой». Основные требования к таким системам известны: интеллектуальность, открытость, гибкость и адаптивность при организации процесса обучения.

Для этого в последнее время все большее применение на разных этапах обучения получили различного рода тестовые опросы. Однако, традиционное тестирование, осуществляемое с помощью стандартизированных тестов, постепенно утрачивает свою актуальность. Оно перерастает в современные, более эффективные формы адаптивного тестирования. Данные формы тестирования основываются на отличных от традиционно теоретико-методологических основ, и иных технологиях конструирования и предъявления тестов.

Преимущество адаптивного теста перед традиционной формой тестирования - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов.

В соответствии с этим, было принято решение по разработке подсистемы адаптивного тестирования "Тестирование" - являющейся средством генерации различного рода тестов из прикрепленных баз данных, а также имеющая возможность создавать и редактировать данные тесты. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.

Адаптивная система тестирования (АСТ) "Тестирование" предоставляет следующие возможности по организации процесса тестирования:

Открытость и наращиваемость системы;

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого;

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса;

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых;

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки;

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Перспективой данной разработки является создание модели подсистемы адаптивного тестирования, написание ее программной реализации и обеспечение эффективного функционирования. Использование данной подсистемы будет возможно в следующих случаях: при проведении текущей оценки знаний, аттестации, экзамена студентов (учащихся, специалистов) и т.п.

Важнейшими особенностями разрабатываемой подсистемы, которые отличают ее от большинства уже созданных систем, можно считать открытость, эффективность и простота использования. Открытость системы заключается в том, что для использования подсистемы студентами и преподавателями не требуется дополнительного обучения. Ознакомиться со структурой системы можно в порядке 10-15 минут. Про эффективность уже говорилось ранее. Простота использования заключается в том, что конечному пользователю (заказчику данной подсистемы) не нужно для ее использования искать специализированное программное обеспечение, все необходимое (программа с.exe файлом, прикрепленная база данных, и помощь: руководство для преподавателя и руководство для тестируемого) собранно в распространяемой производителем папке.

Обосновав актуальность выбранной темы курсового проекта, можно приступать к описанию основных этапов жизненного цикла программного обеспечения (ПО), которые нужно выполнять в строгой последовательности. Сначала следует сформировать требования к программному средству (ПС), затем произвести анализ предметной области, и в завершении приступить к проектированию программного средства, его реализации и тестированию.

программный архитектура проектирование

1. Формирование требований к программному средству

1 Выявление требований. Документ "Видение"

Требования - это исходные данные, на основании которых проектируются и создаются автоматизированные информационные системы.

Наиболее подробно проанализировать и определить высокоуровневые требования для подсистемы адаптивного тестирования, и в результате получить хороший конечный продукт, можно путем составления документа Видение. Документ обращает внимание на то, как и почему данные потребности существуют в данной подсистеме. Остановимся на основных пунктах данного документа, которые помогут нам детально проанализировать подсистему.

Настоящий документ основан на теоретических данных об адаптивном тестировании, имеет взаимосвязь с проектом подготовки адаптивных тестирований и разрабатывается в рамках автоматизации адаптивных тестов в среду дистанционного образования (ДО).

Как уже говорилось ранее, адаптивное тестирование является эффективнее традиционной формы, однако и тут есть некоторые проблемы. Какие же проблемы существуют, и что получится в случае их успешного решения. Данную информацию представим в виде таблиц.

Таблица 1 - Проблема 1

ПроблемаУпрощение задачи, стоящей перед слушателем. Вместо самостоятельного формулирования полного и исчерпывающего ответа на поставленный вопрос требуется лишь выбрать правильный ответ из числа готовых вариантов ответаЗатрагиваеттестируемыйЕе следствием являетсявозможность угадывания правильного ответаУспешное решениеувеличивается объем разнообразного учебного материала, который может быть проверен за определенный отрезок времениТаблица 2 - Проблема 2

ПроблемаНеобходимость высокой квалификации преподавателей и экспертов, составляющих задания.Затрагиваетпреподаватели - экспертыЕе следствием являетсянеобходимость дополнительного повышения квалификаций преподавателейУспешное решениезато, отсутствует необходимость непосредственного участия преподавателя в самом проведении тестирования

Таблица 3 - Проблема 3

ПроблемаНевозможность оценки характера мышления (логика построения концепции, умения обосновать ее, используя для этого необходимые данные, логическое мышление и др.)Затрагиваеттестируемый, преподавательЕе следствием являетсянеоднозначность оценки ответаУспешное решениевозможность статистической обработки результатов контроля, и отсутствие предвзятого (личного) отношения пары преподаватель-студент

Теперь определим позицию данной подсистемы адаптивного тестирования.

Таблица 4 - Определение позиции подсистемы

ДляВУЗаКоторойТребуется оптимизировать процесс адаптивного тестированияНазвание продуктаАСТ "Тестирование"КоторыйПродукт надежен и основан на БДВ отличие отСуществующей системы устной проверки знанийДанный продуктОблегчает процедуру проверки знаний

Однако это не означает, что данная система создается исключительно для вузов. Целевым заказчиком, подсистемы адаптивного тестирования, позволяющей обеспечить современный уровень обучения на основе применения современных информационных технологий, вполне, могут являться еще и учебные центры, стремящиеся идти в ногу со временем.

При описании проблем были упомянуты пользователи данной системы. Опишем, кто к ним относится и какими правами обладает.

Система адаптивного тестирования обеспечивает надежную работу следующих групп пользователей:

Преподаватели - эксперты, составляющие задания

Студенты, тестирующиеся по конкретным дисциплинам