Открытый доклад на XXXII конференции ИТО 2021
статья по информатике и икт

АЙТРЕКЕР-новая возможность в образовании ребёнка с ТМНР

Кольченко Е.А (kolchenko@inbox.ru)

Кандалова В.П. (kandvera@narod.ru)

Государственное бюджетное общеобразовательное учреждение города Москвы Троицкий реабилитационно-образовательный центр «Солнышко»

Аннотация

Задача нашего Центра - дать образование всем ученикам, в том числе с ТМНР, чтобы любой ребенок мог общаться,  получать образование  поcредством современных технологий в повседневной жизни. Технологию Айтрекинга могут использовать в качестве рабочего инструмента учителя, родители и другие специалисты, которые работают с детьми, испытывающими проблеммы в коммуникации. С помощью айтрекера ребёнок сможет выполнять базовые задания наравне со своими сверстниками.  Учителя и родители смогут увидеть объективные результаты учебной деятельности.

Это – один из способов для человека поддерживать контакт с внешним миром. У ребенка открываются дополнительные возможности для коммуникации и обучения.

1. Начало нашего опыта

Весной 2021 учебного года в ГБОУ ТРОЦ «Солнышко» появился ученик 5 класса, относящийся к категории ребенок-инвалид. Ребенок переведен на основную общеобразовательную программу, при этом имеет тяжелые множественные проблемы со здоровьем. Одна из них – отсутствие экспрессивной речи, высокий уровень спастики мышц рук и тела, который не позволяет удерживать предметы в руках.

По этой причине образовательная организация начала искать  способ коммуницировать с необычным учеником. Выход был найден через апробацию инновационного способа обучения ребенка посредством технологии отслеживания движения глаз – с помощью айтрекинга. 

Рис.1 Айтрекер

Нашей задачей стало дать образование ученику независимо от его физических и умственных возможностей. Данная технология  особенно нужна тем, кто, по каким-то причинам не может печатать руками или полноценно пользоваться речью.

В абсолютном большинстве случаев даже при неподвижной голове ребенок в состоянии сфокусировать взгляд и немного его перевести. А если на экран при этом поместить хотя бы две клавиши «Да» и «Нет», то полностью обездвиженный человек приобретает возможность общаться.

Сегодня это единственная возможность для нашего ученика быть относительно независимым в своих учебных действиях.

2. Как это работает

Технология предусматривает прикрепление специального устройства, отслеживающего движения глаз к компьютеру или планшету.

Современные айтрекеры оборудованы встроенной камерой, которая бесконтактно следит за движениями глаз: осветители в айтрекере создают отблески на роговице, а камера улавливает эти отражения и делает снимки;

Рис.2 Движение глаз отслеживается прибором

Работа с прибором требует прежде всего калибровки. Прибор должен «поймать» взгляд ученика.  Он снабжён функцией записи движения глаз. Т.к. движения глаз синхронны, то запись ведется только за одним глазом.

Небольшой прибор с трёх точек отслеживает направление взгляда на планшет (наблюдение с нескольких точек позволяет отследить направление взгляда, даже если у ребёнка косоглазие, зрачок не полностью подвижен, либо если человек в очках).

Планшет настроен так, что задержка взгляда в одной точке (например, на полторы секунды) воспринимается программой как клик.

Рис. 3 Калибровка

Фактически при помощи взгляда можно получить доступ ко всем функциям стандартного планшета или настольного компьютера на основе Microsoft.

После завершения сессии айтрекер создаёт видеозапись движения глаз, фиксирует остановку взгляда, ведет статистику и визуализацию в форме тепловой карты и графики фиксаций взгляда.

Моменты фиксации выглядят в виде точек.

В нашем случае школа получила дистанционный прибор.  

Айтрекер как средство обучения

Рис. 4. На уроке

С помощью айтрекера ученик может печатать ответы на задания, решать тесты, писать сочинения.  При этом надо учитывать, что управление глазами это дополнительная нагрузка.  Ребёнку с ДЦП требуется удерживать голову и тело в одном положении. Поэтому работу на айтрекере необходимо сочетать с паузами и отдыхом

Начинать работать на айтрекере следует с развивающих игр. Они специально разработаны, чтобы ребёнок приспособился к новому виду деятельности и понял принцип работы. Игры красочные, интересные и рассчитаны на разные уровни.

Затем можно переходить к печатанию алфавита, цифр, слогов, коротких слов.  Головному мозгу необходимо привыкнуть к новому роду деятельности.

При помощи айтрекера и простого приложения, такого как Tobii Dynavox Gaze Viewer (Анализатор положения взгляда), мы можем увидеть, смотрит ли ребенок в монитор, в какую конкретно область экрана направлен его взгляд. Затем на основе этого можно строить разговор, разрабатывать индивидуальный план обучения или реабилитации, следить за прогрессом подопечного и т.д.

3. Какие сложности возникали:

Наибольшая проблема состоит в том, что управлению взглядом надо учиться примерно так же, как мы учимся управлять руками при печати. Специально для айтрекера существует ряд обучающих программ-игрушек, встроенных в него. Самые простые из них интуитивно понятны и пригодны для детей, окружение которых говорит на любом языке

Часто у детей с ДЦП первично умственной отсталости нет, а отсутствие возможности самовыражения  нарушают нормальное развитие ребенка. С помощью айтрекера ребёнок сможет выполнять базовые задания наравне со своими сверстниками, восполнить дефициты развития.

Рис. 5. Работа в программе

4. Доступ к Интернету – открытие новых возможностей

Сообщения могут быть отправлены по электронной почте, SMS, в чат или любым другим способом. Это дает возможность людям с ОВЗ посещать учебные заведения, найти или сохранить работу, организовать досуг, оттачивать навыки и многое другое.

5. Основная проблема данной технологии:

Сложность состоит в том, что айтрекеры до сих пор используются не во всех учреждениях, работающих с детьми с ТМНР. Соответственно, специалистов, которые могут поделиться оытом работы, практически нет. Кроме того, прибор относится к дорогостоящей технике. Ребёнку с инвалидностью необходимы особые условия и специфические приспособления.

.

6. Выводы: 

Айтрекинг помогает детям демонстрировать окружающим объективный уровень своих  знаний, но требует времени для его освоения. Что играет важную роль при выстраивании стратегии индивидуального развития ребенка-инвалида и удовлетворяет его персональные образовательные потребности.

У ребенка открываются дополнительные возможности для коммуникации и обучения. Благодаря айтрекеру у него формируется механизм ответа – даже практически неподвижный ребёнок может совершить какое-то действие, которое окружающими будет восприниматься как однозначно прочитываемый сигнал

Рис.6. Новые возможности коммуникации с миром