Почему ChatGPT пишет «delve» и виноват ли в этом RLHF 🕵️✍️

Ну чё, малютки, вот вам цифра. В 2020 году английское слово delve («углубляться», «копаться») встречалось примерно в одной записи PubMed из пяти тысяч. В 2024-м — в одной из ста семидесяти. Рост в 30 раз за четыре года, и почти весь он пришёлся на 2023–2024. Медики не начали внезапно копаться глубже. Они начали прогонять аннотации через ChatGPT.

Это смешной факт, но за ним стоят серьёзные вопросы. Откуда у модели вообще свой «почерк»? Почему именно delve, а не explore? И правда ли виноват RLHF — пост-тренинг, который мы разбирали в прошлый раз? Спойлер: RLHF — главный подозреваемый, но доказать его вину пока никто не смог. Посмотрим, как далеко продвинулось следствие.

Часть 1: улика — избыточная лексика 📈

Первыми за дело системно взялись Дмитрий Кобак и соавторы (arXiv:2406.07016). Они позаимствовали приём из эпидемиологии: в ковид избыточную смертность считали как разницу между тем, сколько людей умерло, и тем, сколько умерло бы без пандемии. Здесь вместо смертей — слова.

Берут 15 миллионов англоязычных аннотаций PubMed за 2010–2024 и для каждого слова считают долю аннотаций, где оно есть. Ожидание на 2024 год строят по двум предыдущим годам с паузой:

То есть берут уровень 2022 года и продлевают тренд 2021→2022 ещё на два года вперёд. max(…, 0) здесь нарочно: если слово шло вниз, падение не экстраполируют, и ожидание выходит завышенным. Значит, оценка избытка получается консервативной. Дальше смотрят на отношение $p/q$ и разницу $p - q$.

Раньше такие всплески тоже бывали. В 2020-м из ожидания выпрыгивали coronavirus, lockdown, pandemic, в 2015-м — ebola. Это всё слова-темы: мир поменялся, и про него стали писать. В 2024-м выпрыгнули совсем другие слова: delves, underscores, showcasing, pivotal, notably. Глаголы, прилагательные, наречия. Тема медицины не поменялась, поменялся стиль.

Из размера избытка по набору таких слов-маркеров авторы получили оценку: минимум 13,5% аннотаций 2024 года прошли через LLM. Это нижняя граница, и включает она не только сгенерированные с нуля тексты, но и отредактированные. В отдельных нишах доля выше: 41% у вычислительных статей из Китая и 34% у южнокорейских статей в журнале Sensors.

Отдельно Том Юзек и Зина Уорд (arXiv:2412.11385) составили список из 21 словоформы, чей рост в научных аннотациях, по их выводу, вероятнее всего вызван LLM: delve, delves, delved, delving, showcasing, boasts, underscores, intricacies, intricate, realm, groundbreaking, advancements, aligns и ещё восемь. Корпус у них огромный — 26,7 млн аннотаций, больше 5,2 млрд токенов. Но годов в опубликованной таблице два: 2020 и 2024, причём 2024-й неполный (срез от 4 мая). По этим двум точкам delve выросло с 0,58 до 8,50 вхождений на миллион слов, delves — с 0,21 до 14,38, то есть в 68 раз.

Годовые ряды нашлись в другой работе — у Кентаро Мацуи (Perspectives on Medical Education, 2025), который выложил данные на GitHub. Там единица другая (доля записей PubMed со словом), зато годы полные. Смешивать эти два источника на одной оси нельзя, поэтому в демке две вкладки:

Обрати внимание на вкладку по годам: delve растёт уже с 2019-го, к 2022 году набегает примерно ×2,5 к уровню 2018-го — ещё до выхода ChatGPT в ноябре 2022. Потом рывок. Мацуи прямо пишет, что многие такие слова «began increasing in 2020», а в 2023–2024 их рост резко ускорился. Так что LLM не придумали этот стиль с нуля, они разогнали тренд, который уже был. К этому вернёмся в спорах.

Часть 2: подозреваемые 🔎

Ладно, слова растут из-за LLM. Но почему модель вообще любит delve? Юзек и Уорд проверили три версии.

Подозреваемый №1: архитектура и алгоритмы. Может, перекос сидит в самом трансформере, токенизаторе или сэмплинге? Чтобы проверить, авторы взяли пару Llama-2-7b: базовую модель и Chat-версию. Архитектура у них одна и та же, отличаются они только дообучением — SFT и RLHF. Дальше сравнили, какое распределение слов модели «предпочитают»: человеческое или то, что получается у ChatGPT. Chat-версия тяготеет к ChatGPT-шному распределению, базовая — нет. Будь дело в архитектуре, перекос был бы у обеих. Подтверждения версии не нашлось. Правда, декодинг и токенизацию по отдельности этот эксперимент не изолирует, так что «оправдан» — слишком сильно, скорее «улик нет».

Подозреваемый №2: данные претрейна. Может, в обучающих данных просто много delve? Настоящих данных ChatGPT никто не видел, поэтому авторы взяли то, что похоже: arXiv, Wikipedia, PubMed, Leipzig Corpora, International Corpus of English (ICE). Ни в одном корпусе фокусные слова не встречаются настолько часто, чтобы объяснить перекос. Это опять «улик нет», а не доказательство невиновности: настоящий датасет закрыт.

Подозреваемый №3: RLHF. Тут вывод авторов осторожный, и его стоит процитировать дословно: тестирование Llama «consistent with the hypothesis that RLHF contributes to overuse of particular words». Согласуется с гипотезой — не больше. В сравнении Base vs Chat SFT и RLHF идут пакетом, разделить их вклад нельзя.

Нигерийский след

У версии про RLHF есть популярная народная форма. 7 апреля 2024 года Пол Грэм написал, что слово delve в тексте — «a sign that text was written by ChatGPT». Нигерийский твиттер вскипел: у нас так пишут нормальные люди (цитата по нигерийскому Pulse от 9 апреля). Через неделю, 16 апреля, Алекс Херн в The Guardian собрал из этого гипотезу: разметку для RLHF массово отдают на аутсорс в Африку, в нигерийском деловом английском delve звучит нормально, и вкусы разметчиков через reward model перешли модели. Получилась, по его словам, «an AI system that writes slightly like an African».

Красиво. Юзек и Уорд это тоже проверили. В ICE есть нигерийский подкорпус, и в нём фокусные слова не выделяются: «Our initial analysis of ICE does not support this hypothesis». Корпуса там маленькие, порядка миллиона слов, так что это не окончательный приговор, но опорная посылка гипотезы не подтвердилась.

Был и прямой эксперимент на людях. 201 участнику из Индии показывали пары аннотаций — с фокусными словами и без — и спрашивали, какая лучше. В целом значимой разницы не нашлось (p = 0,174). А тексты, начинающиеся с delve, люди выбирали реже (p = 0,023). Получается, сам delve люди не особо любят. Это не опровергает RLHF-версию: участники не были настоящими разметчиками OpenAI, и сама разметка у OpenAI устроена иначе. Но простая история «разметчики любят delve → модель любит delve» пока не склеивается.

Часть 3: механика — как маленький бонус раздувает слово 🎯

Допустим, reward model действительно чуть-чуть любит delve. Насколько это «чуть-чуть» может повлиять на итоговую модель? Тут можно не гадать, а посчитать.

Напомню объектив из поста про RLHF: policy максимизирует награду, но платит штраф за удаление от исходной модели $\pi_{\text{ref}}$:

У этой задачи есть закрытое решение — то самое, на котором держится вывод DPO:

Возьмём игрушечный словарь из четырёх синонимов: delve, explore, examine, look into. По качеству они равны, но у delve есть бонус $\varepsilon$. Тогда логит delve сдвигается ровно на $\varepsilon/\beta$, а его шансы умножаются на $e^{\varepsilon/\beta}$. Пусть исходная модель выбирает delve в 1% случаев, а бонус $\varepsilon = 0{,}5$. При $\beta = 2$ после оптимизации получится 1,28%. При $\beta = 0{,}5$ — 2,67%. При $\beta = 0{,}1$ — 60%. Одно и то же «чуть-чуть» в одном режиме почти незаметно, а в другом превращает редкое слово в любимое.

Две вещи, которые из этой формулы следуют и которые легко переврать.

KL-штраф — это цена, а не забор. Он не запрещает перекос, он делает его дороже. Если бонус достаточно большой относительно $\beta$, модель за перекос заплатит.

Temperature перекос не отменит. Помнишь пост про сэмплинг: температура делит все логиты на одно и то же число. А сдвиг от reward точечный — он прибавлен к логиту конкретного слова. Чтобы его убрать, нужна поправка под это слово, общий множитель тут не поможет. Зато не надо утверждать, что после RLHF распределение всегда «острее»: бонус редкому слову может энтропию даже поднять — было одно доминирующее слово, стало два.

Это игрушка, и про реальный ChatGPT она ничего не доказывает: мы не знаем ни его reward model, ни $\beta$. Но есть и эмпирика про то, что RLHF делает с разнообразием.

Kirk et al. (ICLR 2024) сравнили SFT и RLHF-модели на одних и тех же задачах. На суммаризации у OPT 6.7B разнообразие ответов на один и тот же промпт (метрика EAD, сколько разных n-грамм в 16 сэмплах) упало с 0,79 до 0,07. А разнообразие между разными промптами осталось на месте: 0,87 → 0,87. То есть модель не тупеет вообще, она перестаёт варьировать ответ на конкретный вопрос — на каждый вход у неё появляется «свой» любимый ответ. И ещё одна находка оттуда: увеличение KL-коэффициента тоже снижало разнообразие на одном промпте. Так что надежда «поднимем β — вернём разнообразие» эмпирически не подтверждается.

Xiao et al. (arXiv:2405.16455) дали теорию под название «preference collapse». В их примере при $\beta = 0{,}1$ вариант, который нравится reward model с вероятностью больше 0,7, после RLHF получает вероятность больше 0,99. Это расчёт в модельной постановке, не измерение на настоящем словаре, но механика та же, что в нашей демке: умеренное предпочтение превращается в почти монополию.

Hamilton (ACL 2024) зашёл с другой стороны: сгенерировал 4374 рассказа тремя поколениями моделей OpenAI — davinci-instruct-beta, text-davinci-003 и gpt-3.5-turbo — и посмотрел, насколько они шаблонны. У новых моделей рассказы однообразнее, вплоть до одних и тех же имён героев при разных вводных. Тут, правда, вместе с alignment поменялось и всё остальное между поколениями, так что чистого эксперимента не выходит.

Итого по механике: RLHF умеет усиливать мелкие предпочтения и сужать варианты ответа, это показано и в теории, и на моделях. Что именно delve — продукт такого усиления, правдоподобно, но не доказано.

Часть 4: эффект на людях 🧍

Самое интересное начинается, когда LLM-стиль выходит из модели в тексты людей.

Люди научились прятать маркеры. Минмэн Гэн и Роберто Тротта (arXiv:2502.09606) посмотрели на 1,29 млн статей arXiv с 2018 по 2024 год помесячно. Delve и showcasing достигли пика в январе–марте 2024, а с апреля пошли вниз — как раз когда «delve = ChatGPT» стало мемом. При этом significant продолжил расти. Авторы предполагают, что люди заметили маркеры и стали их вычищать, а менее заметные слова остались. Проверить это напрямую на конкретных авторах они не могли, но картинка выразительная: убрать одно слово легко, а стиль целиком так просто не вычистишь.

Тексты становятся похожими. Сурати и соавторы (arXiv:2502.11266) в трёх исследованиях разобрали больше 880 тысяч текстов из семи датасетов, а в одном из них прямо сравнили оригиналы с версиями, переписанными LLM. В большинстве условий разброс сложности текстов сжимается на 21–50%: разные авторы после правки звучат ближе друг к другу. Исключения есть — например, у Llama 3 при правке только орфографии и грамматики разброс на arXiv даже немного вырос (незначимо). И какой этап обучения тут виноват, эта работа не выясняет.

Модель двигает позицию автора. Это для меня самый неприятный результат. Абдулхай, Уайт и соавторы (arXiv:2603.18161) провели эксперимент: 100 человек писали эссе на тему «деньги и счастье», 45 без доступа к LLM, 55 с доступом. Среди тех, кто писал без LLM, нейтральную позицию заняли 39,5%. Среди тех, кто активно пользовался моделью, — 66,7%. Это +68,9% в относительных величинах. Оговорки: группу «активных пользователей» выделили по поведению, а не случайно; тема одна; позицию определяла LLM-судья. И мерили позицию в тексте, а не то, что люди на самом деле думают. Но эссе, которое должно было что-то утверждать, начинает «рассматривать разные точки зрения».

Структура тоже выравнивается — но не вся. Иношита и соавторы (arXiv:2603.21228) прогнали 6875 эссе через разные режимы помощи ИИ. Разброс по «архитектуре связности» — тому, как текст сцеплен между абзацами, — упал на 68–78% в зависимости от режима. В аннотации у них написано «70–78%», но по их же таблице нижняя граница 68%. При этом разнообразие точек зрения, наоборот, не сжалось. Гомогенизация бывает разной в разных измерениях, и одним числом её не описать.

Часть 5: что с этим делать 🛠

Первый рефлекс — запретить модели слова. Гэн и Тротта проверили и это: промпт с запретом realm, pivotal, intricate, showcasing частоту этих слов снижает, но до нуля не доводит. И это лечит только словарь. По работам выше видно, что главная потеря — разнообразие и позиция, а их список запретов не трогает. Есть и подозрение, что на место запрещённых слов придут синонимы и станут новыми маркерами, но это моя гипотеза, а не измерение.

Что можно делать вместо этого — опираясь на эти исследования, но честно: экспериментально эти правила никто не проверял.

Я собрал это в скилл для агентов — human-writing. Он объединяет выводы статей выше с тремя открытыми скиллами: humanizer (паттерны из гайда Википедии «Signs of AI writing», деление на сильные и слабые признаки), stop-slop (оценка текста по пяти шкалам) и humanizer-ru (русские штампы и канцелярит, замеры на корпусах). Важная деталь при слиянии: все три запрещают тире, а я в этом блоге пишу с тире постоянно. Поэтому главное правило скилла — стиль автора важнее любых запретов. Иначе он бы «очеловечил» меня в кого-то другого.

Вот так выглядит подсветка по правилам скилла. Попробуй на своём тексте:

Цифры «лифт» в подсветке — из замеров humanizer-ru: во сколько раз маркер чаще у модели, чем у человека, на двух корпусах (научные аннотации и смешанные тексты). Видно, что «играет ключевую роль» держится везде (5,7 и 9,4), а «является» переворачивается от жанра: в научных текстах люди пишут его чаще моделей (0,1), в постах — наоборот (4,5). Это сторонний замер на генераторах 2023–2024 годов, сам я его не перепроверял.

Споры ⚖️

TL;DR

Скорее всего, модель пишет delve, потому что её оптимизировали нравиться людям, и мелкие вкусы этой оптимизации стали её почерком. Почерк заразный: судя по работам из четвёртой части, мы уже понемногу пишем им сами. 🫡

Источники

1. Delving into LLM-assisted writing in biomedical publications through excess vocabulary — Kobak, González-Márquez, Horvát, Lause (arXiv:2406.07016)
2. Why Does ChatGPT “Delve” So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models — Juzek, Ward (arXiv:2412.11385)
3. Delving Into PubMed Records: How AI-Influenced Vocabulary has Transformed Medical Writing since ChatGPT — Matsui, Perspectives on Medical Education, 2025
4. TechScape: How cheap, outsourced labour in Africa is shaping AI English — Alex Hern, The Guardian, 16.04.2024
5. Nigerians blast American influencer for claiming ‘delve’ is only used by AI — Pulse.ng, 09.04.2024
6. Understanding the Effects of RLHF on LLM Generalisation and Diversity — Kirk et al., ICLR 2024 (arXiv:2310.06452)
7. On the Algorithmic Bias of Aligning Large Language Models with RLHF: Preference Collapse and Matching Regularization — Xiao et al. (arXiv:2405.16455)
8. Detecting Mode Collapse in Language Models via Narration — Hamilton, ACL 2024 Workshop
9. Human-LLM Coevolution: Evidence from Academic Writing — Geng, Trotta (arXiv:2502.09606)
10. The Shrinking Landscape of Linguistic Diversity in the Age of Large Language Models — Sourati et al. (arXiv:2502.11266)
11. How LLMs Distort Our Written Language — Abdulhai, White et al. (arXiv:2603.18161)
12. Does AI Homogenize Student Thinking? A Multi-Dimensional Analysis of Structural Convergence in AI-Augmented Essays — Inoshita et al. (arXiv:2603.21228)
13. GPT detectors are biased against non-native English writers — Liang et al. (arXiv:2304.02819)
14. blader/humanizer · hardikpandya/stop-slop · ilyautov/humanizer-ru
15. Пост-тренинг LLM: RLHF → DPO → GRPO · Ручки сэмплинга