Арам Ташчян
ENКурс

Как проверить, что студент использовал ИИ

Опубликовано

Десятилетиями преподаватели жили в асимметрии возможностей. Нам можно считать на калькуляторе — вам нельзя. Нам можно сидеть за компьютером на уроке — вам нельзя. Нам можно гуглить, пока составляем задания, — вам при решении нельзя. Нам можно выйти посреди урока — вам нельзя.

С появлением продвинутых LLM история повторилась: преподавателю при проверке работ пользоваться ИИ можно, а студенту при решении — нет.

Парадокс отбора

Когда я организовывал отборочный этап программы Росатома «ИТ КоР 5.0» (JS-трек), передо мной как методистом стояла задача с двумя взаимоисключающими целями: оценить реальные навыки кандидатов и одновременно подготовить их к работе в отрасли.

Честная оценка навыков и понимания требует запретить ИИ. Подготовка к работе требует обратного: руководство нацелено на внедрение ИИ во все процессы.

Поэтому я вынес использование ИИ в отдельный мета-признак и не стал включать его в формулу расчёта баллов. Балл показывает, что человек умеет, мета-признак — как он это сделал. А кто им нужен, рекрутеры дочерних подразделений Росатома решают сами.

Пример, почему это важно. Один кандидат залил все коммиты за две минуты — это видно по истории. С одной стороны, очевидный читер, которого можно забанить. С другой — он потратил меньше всех времени и решил задачу в кратчайший срок, а значит, с точки зрения бизнеса нанимать нужно именно его.

Признаки ИИ в репозитории

Чтобы вычислить самых очевидных кандидатов, хватило простого списка признаков, по которому мой агент проходил сданные репозитории:

  1. CLAUDE.md, AGENTS.md или любой другой файл из этой оперы, который однозначно выдаёт ИИ, — в репозитории.
  2. Те же файлы — в .gitignore. Файл спрятали, но след остался.
  3. Claude или другая популярная нейросеть в истории коммитов: агенты любят подписывать коммиты собой, если попросить их закоммитить.
  4. Избыточные комментарии в коде и прямые пометки, которыми ИИ помечает себя.
  5. Неестественная история коммитов по меткам времени: между изменениями прошло слишком мало времени.

А как же водяные знаки?

Зануды возразят, что агенты вроде Claude начали ставить водяные знаки. Это так, но публичного API для их проверки пока нет, так что простым смертным они недоступны. Исключение — документы: наличие Claude в сгенерированных файлах уже можно проверить на claude.com/check-files.