Почему текст ChatGPT нужно проверять

Нейросеть пишет гладко и уверенно даже там, где ошибается, поэтому ошибки в её тексте легко пропустить. В курсовой их стоит искать в трёх местах:

  • источники — несуществующие статьи, перепутанные авторы, годы и журналы;
  • факты — правдоподобная статистика без основы, устаревшие законы, определения без автора;
  • стиль — общие фразы, которые занимают место и ничего не сообщают.

Как часто ChatGPT выдумывает литературу, измеряли исследователи. В 2023 году они проверили 636 ссылок из 84 обзоров литературы, которые написал ChatGPT. У GPT-3.5 выдуманными оказались 55% ссылок, у GPT-4 — 18%. Даже в настоящих ссылках нашлись серьёзные ошибки: у GPT-3.5 — в 43% ссылок, у GPT-4 — в 24%. Новые модели могут ошибаться реже, но проверять каждую ссылку всё равно придётся.

Быстрая проверка через нейросеть

Первую проверку можно поручить нейросети. Откройте чат, вставьте готовый запрос из этой статьи и свой текст, например одну главу. Нейросеть поищет в интернете каждый источник и каждый факт и ответит таблицей: что подтвердилось, а что нет. Самому останется проверить только сомнительные места.

Ниже четыре готовых запроса: для списка литературы, для фактов в главе, для введения с заключением и для стиля. Работают они только в нейросети с поиском в интернете. Без поиска она сверяет текст со своей памятью и может «подтвердить» выдуманную статью.

Если мало времени, хватит двух запросов. Список литературы проверьте запросом 1, каждую главу — запросом 2. Потом откройте ссылки, которые нейросеть дала в ответах, и убедитесь, что там написано то же, что у вас в работе.

Как подготовиться

  1. Откройте новый чат. Не продолжайте разговор, в котором писали работу: проверка должна опираться на поиск, а не на прежнюю переписку.
  2. Включите поиск в интернете. Обычно это кнопка или переключатель рядом с полем ввода. Проверьте, что поиск работает: в ответе должны быть ссылки на сайты. Ссылок нет — значит, поиск не включился или эта нейросеть искать не умеет. Тогда возьмите другую.
  3. Загружайте работу частями. Одна глава за раз, а большую главу — по параграфам. Если отдать всю курсовую сразу, нейросеть проверит часть утверждений и пропустит остальные.
  4. Уберите личные данные. Фамилия, группа и название вуза для проверки не нужны.

Как пользоваться запросами

Скопируйте запрос целиком. Строки в квадратных скобках, например «[вставьте главу или параграф]», — это подсказки: удалите такую строку и вставьте на её место свой текст. Ссылки в квадратных скобках внутри вашей главы, например [5, с. 12], не трогайте.

Для каждого запроса открывайте новый чат. Внутри одного чата параграфы можно отправлять по очереди: сначала запрос с первым параграфом, потом сообщение «Проверь так же следующий параграф» и сам параграф.

Запрос 1. Список литературы

С него стоит начать: выдуманный источник руководитель замечает быстрее всего. Длинный список разбейте на части по 10–15 позиций.

Ты проверяешь список литературы курсовой работы. Найди в интернете каждую работу из списка ниже.

Ищи по точному названию и автору: в eLIBRARY.RU, КиберЛенинке, Google Академии, на сайтах журналов и издательств, по DOI.

Ответ дай таблицей:
№ | как указано в списке | найдена: да / да, с расхождениями / нет | что не совпадает: авторы, название, год, журнал, номер, страницы | ссылка на страницу, где ты нашёл работу

Правила:
- Не додумывай данные. Если работу не удалось найти, напиши «не найдена».
- Не исправляй список и не предлагай замену, пока я не попрошу.

Список литературы:
[вставьте 10–15 позиций]

Запрос 2. Факты в главе

Главная проверка. К одной главе или одному параграфу приложите литературу, на которую он ссылается. Её легко отобрать по номерам в ссылках внутри текста, например [3] и [7]: из списка скопируйте только эти позиции.

Ты проверяешь фрагмент курсовой работы. Ниже текст и список литературы, на который он ссылается.

1. Выпиши из текста все проверяемые утверждения: числа, проценты, даты, фамилии, названия организаций, законы и их статьи, определения, цитаты.
2. Для каждого утверждения найди подтверждение в интернете.
3. Если у утверждения стоит ссылка на источник, проверь, говорится ли это в указанном источнике.

Ответ дай таблицей:
утверждение | ссылка в тексте | что ты нашёл | ссылка на подтверждение | вердикт: подтверждено / расходится / не нашёл / источник недоступен

Правила:
- Не пропускай утверждения, даже если они кажутся очевидными.
- Не додумывай. Если не удалось открыть источник или найти данные, так и напиши.
- Для законов проверяй действующую редакцию.
- Не переписывай текст, только проверяй.

Текст:
[вставьте главу или параграф]

Литература, на которую ссылается текст:
[вставьте только эти позиции]

Запрос 3. Введение и выводы

Введение и заключение нейросеть часто пишет отдельно от глав, и они расходятся с тем, что в главах на самом деле сделано.

Ниже введение и заключение курсовой работы, а также названия глав и параграфов.

Проверь:
1. Для каждой задачи из введения: есть ли параграф, где она решается, и вывод в заключении.
2. Нет ли в заключении выводов, для которых нет задачи и параграфа.
3. Совпадают ли объект, предмет и цель (как они названы во введении) с тем, о чём говорят названия глав.

Ответ дай таблицей: задача | параграф | вывод | проблема, если есть.

Введение:
[вставьте]

Содержание:
[вставьте названия глав и параграфов]

Заключение:
[вставьте]

Запрос 4. Стиль

Стиль правят в последнюю очередь, когда содержание уже проверено.

Проверь фрагмент курсовой работы. Не переписывай его. Найди проблемные места и процитируй каждое.

1. Фразы, которые ничего не сообщают: оценки без доказательств («играет важную роль»), вступления вроде «в современном мире», связки ради связок («следует отметить»).
2. Выводы, которые не следуют из приведённых данных.
3. Один термин, который назван по-разному.
4. Повторы одной мысли.

Для каждого места объясни проблему одной фразой.

Текст:
[вставьте главу или параграф]

Что делать с ответом

Нейросеть с поиском тоже ошибается. Она может сослаться на страницу, где нужных данных нет, или не найти работу, которая существует, так что её таблица — список мест для проверки, а не готовый результат.

  • Откройте каждую ссылку из ответа, особенно у пунктов с вердиктом «подтверждено». Нажмите Ctrl+F (на Mac — Cmd+F) и найдите на странице цифру, фамилию или название из вашего текста. Не нашли — значит, утверждение не подтверждено.
  • Пункты «не найдена», «расходится» и «не нашёл» проверьте вручную по шагам ниже.
  • Если таблица оборвалась на середине, напишите в чат «продолжай».
  • Исправления вносите сами. Если попросить нейросеть «исправить всё», она может заменить выдуманный источник другим выдуманным.

Ручная проверка

Здесь те же проверки, что в запросах, но вы делаете их сами. Это дольше и надёжнее. Пройдите ручную проверку для всех мест, которые нашла нейросеть, а если есть время — для всей работы.

Источники: найдите и откройте каждый

Ручной вариант запроса 1. Руководителю достаточно открыть одну ссылку из списка, чтобы заметить выдуманный источник.

  1. Найдите работу по точному названию в кавычках: в eLIBRARY.RU, «КиберЛенинке», Google Академии или каталоге библиотеки вуза. Если у статьи есть DOI — код, который начинается с «10.», — вставьте его на doi.org, и откроется страница статьи. DOI есть и у многих российских журналов: обычно он указан на первой странице статьи.
  2. Сверьте авторов, год, название журнала, номер выпуска и страницы.
  3. Откройте текст и найдите место, на которое ссылаетесь. Источник должен говорить именно то, что вы ему приписываете.
Что вы видите Что делать
Статья не находится ни в одной базе Скорее всего, она выдумана. Удалите её
Автор реальный, но такой статьи у него нет Найдите его настоящую работу по теме или удалите ссылку
Статья есть, но написана о другом Найдите источник, который подтверждает мысль, или измените мысль
Цитаты в кавычках нет в тексте источника Перескажите то, что там действительно написано, или удалите цитату
Ссылка на сайт не открывается Найдите актуальный адрес или замените источник

Оформление списка сверяйте с образцами из методички кафедры, а не с тем, что предложила нейросеть.

Факты: подтвердите или удалите

Это запрос 2 без нейросети. Выделите цветом в Word все числа, даты, фамилии, названия организаций и законов. Каждое выделенное место подтвердите источником или удалите.

  • Статистика. Ищите того, кто сам собрал цифру: Росстат, ведомство, компанию в её отчёте, авторов исследования. Блог или новость, где эту цифру пересказали, не подходят.
  • Законы. Законы часто меняют. Проверьте в «КонсультантПлюсе» или «Гаранте», что статья с этим номером существует и сейчас звучит именно так, как у вас в тексте.
  • Определения. У термина должен быть автор — учебник или статья. Встретили «принято считать» — выясните, кем принято, и поставьте ссылку.

Цифры не должны противоречить друг другу: доли в сумме дают 100%, цифры во введении совпадают с цифрами в главах, а годы не выходят за период исследования.

Недостающие данные не придумывайте. Выдуманный опрос или выдуманные показатели — это фальсификация, а не редактура, поэтому вывод без данных лучше убрать или собрать данные самому.

Стиль: уберите пустые фразы

Ручная версия запроса 4. Пустая фраза занимает место и ничего не сообщает. Например:

  • вступления вроде «В современном мире…» и «Актуальность темы не вызывает сомнений»;
  • оценки без доказательств: «играет важную роль», «имеет большое значение»;
  • связки ради связок: «Следует отметить, что», «Важно подчеркнуть»;
  • заключение, которое просто пересказывает главы.

Такие слова не доказывают, что текст написала нейросеть: люди пишут так же. Но смысла в этих фразах нет, и руководитель это видит.

Чтобы исправить фразу, задайте ей вопрос «Что конкретно?».

Было: Мотивация персонала играет важную роль в эффективности деятельности организации.

Стало: В [организация] за [год] уволились [X]% продавцов. В анкетах уволившиеся чаще всего называли причиной график смен.

Вариант «Стало» можно проверить, потому что в ней есть объект, число и источник данных. Подставьте в неё свои реальные данные, а если их нет, удалите фразу вместо того, чтобы выдумывать цифры.

Было: Следует отметить, что данная проблема имеет большое значение для экономики.

Стало: удалить. Или назвать, для кого и чем важна проблема, и поставить ссылку на источник.

Одно понятие называйте одним термином: если в первой главе «персонал», во второй не нужны «кадры» и «трудовые ресурсы» как синонимы. Повторы одного слова и долю «воды» в главе можно посчитать в анализе текста на водность и тошноту. В конце прочитайте текст вслух и поправьте места, где спотыкаетесь.

Финальная проверка: объясните любой абзац

Откройте любой абзац наугад и перескажите его, не глядя в текст. Потом ответьте на вопросы, которые обычно задают на защите: откуда эта цифра, что означает этот термин, на чём основан главный вывод. Не получается ответить — вернитесь к абзацу и разберитесь в нём.

Если вы искали, как убрать ИИ из курсовой

Так обычно ищут, когда боятся, что работу отметит детектор ИИ — программа, которая оценивает, написан ли текст нейросетью. Но детектор не видит, как вы писали: он смотрит на готовый текст и выдаёт вероятность. Компания «Антиплагиат» советует считать результат детектора не доказательством нечестной работы, а подсказкой для проверяющего, который сам анализирует текст. Исследователи, которые проверили 14 детекторов, пришли к выводу, что они ошибаются слишком часто и решать по ним, кто автор текста, нельзя.

Механические приёмы вредят. Синонимайзер портит термины, опечатки снижают грамотность, а просьба «напиши как человек» даёт новый текст с новыми ошибками. Конкретный процент в отчёте не гарантирует никакая правка.

Надёжнее пройти проверки из этой статьи. После них в работе не останется выдуманных источников и цифр, а любой абзац вы объясните на защите своими словами.

Подробнее о проверках: где проверить текст на ИИ и как читать результат и почему детектор ИИ отмечает человеческий текст.

Чек-лист перед сдачей

  1. Каждая глава прошла быструю проверку через нейросеть, а найденные места проверены вручную.
  2. Каждый источник найден, открыт и подтверждает то, что вы ему приписываете.
  3. Список литературы оформлен по методичке.
  4. Цифры, даты, законы и определения сверены с первоисточниками.
  5. У каждой задачи из введения есть параграф и вывод.
  6. Пустые фразы удалены или наполнены конкретикой.
  7. Вы можете объяснить любой абзац своими словами.

Читайте дальше

Названия сервисов приведены для их идентификации. NewText не связан с правообладателями этих обозначений и не заявляет о партнёрстве с ними.