Проверки и детекторы

Почему детекторы ИИ ошибаются на коротких текстах

Почему оценка одного абзаца меняется от сервиса к сервису и как перепроверить результат в «Антиплагиате», «Думейт» и «Руконтексте».

Содержание
  1. Короткий фрагмент даёт мало данных
  2. Что показывают российские системы
  3. Как перепроверить результат
  4. Если текст написан вами
  5. Читайте дальше
  6. Источники

Короткий фрагмент даёт мало данных

Детектор оценивает сочетания слов, структуру предложений и другие признаки готового текста. На фрагменте из нескольких абзацев каждый повтор или шаблонная конструкция сильнее влияет на общий результат.

Компания «Антиплагиат» указывает, что распознавание искусственного текста доступно для документов объёмом от двух листов. Авторы исследования русскоязычных текстов RuATD учитывали различия по предметным областям и длине материала. В обзоре они отмечают, что короткие публикации в социальных сетях сложнее классифицировать.

Процент по одному абзацу нельзя переносить на весь документ. Сначала верните фрагмент в работу и проверьте файл целиком.

Что показывают российские системы

В «Антиплагиате» показатель «ИИ-контент» отражает предполагаемую долю сгенерированного текста. В подробном отчёте указаны страницы, которые система предлагает изучить.

«Руконтекст» показывает результат по всему документу и отдельным страницам. Подозрительные фрагменты выделяются синим цветом. Пользователь с ролью эксперта может исключить ошибочно отмеченный участок.

В отчёте «Думейт» применяется тепловая карта. По данным рекомендаций МПГУ, красный, оранжевый и жёлтый цвета соответствуют разным уровням редкости признаков среди текстов, написанных людьми. В итоговый процент включаются красные фрагменты.

У систем различаются модели, шкалы и правила выделения текста. Показатели 20% в двух сервисах могут описывать разные результаты.

Как перепроверить результат

  1. Вставьте короткий фрагмент обратно в полный документ.
  2. Используйте тот же сервис, режим проверки и формат файла.
  3. Сравнивайте версии одного документа.
  4. Откройте подробный отчёт и найдите отмеченные страницы.
  5. Проверьте в этих местах факты, ссылки, повторы и связь выводов с аргументами.

Случайные замены слов и намеренные ошибки мешают оценить качество редакции. Исправляйте конкретные недостатки: неподтверждённые сведения, повторы, неточные термины и нарушенные связи между абзацами.

Если текст написан вами

Сохраните план, черновики, историю изменений, расчёты и список использованных источников. Эти материалы показывают ход работы над документом.

Памятка «Антиплагиата» допускает ложноположительное срабатывание и указывает, что детектор не может установить авторство со стопроцентной вероятностью. Если отметка влияет на оценку или допуск, запросите правила рассмотрения таких случаев в своей организации.

Читайте дальше

Источники

Названия сервисов приведены для их идентификации. NewText не связан с правообладателями этих обозначений и не заявляет о партнёрстве с ними.

Нужно отредактировать готовый текст? Посмотрите примеры работы редактора
Загрузить документ