Что такое языковая модель

Ты задаёшь вопрос и получаешь аккуратный, разложенный по полочкам ответ, который явно понял, о чём ты. Через десять минут та же модель советует книгу, которой не существует, — с автором, годом и издательством, придуманными на ходу.

Хочется записать первое в интеллект, а второе в баг. Это одна и та же машина, делающая одно и то же. И пока непонятно, что именно, ты будешь мотаться между «оно всё может» и «оно бесполезно» — причём в обе стороны ошибочно.

Что она делает буквально

Языковая модель продолжает текст. Это вся операция целиком.

Ты даёшь начало — она выдаёт то, что правдоподобнее всего идёт дальше, потом читает собственный вывод как часть начала и выдаёт следующий кусок, и снова, пока ответ не закончится. «Столица Франции —» → «Париж». «Соль и» → «перец». Ответ на три страницы собирается ровно так же, просто шагов сильно больше.

И это действительно всё. Внутри нет базы, к которой она обращается, нет таблицы фактов, нет уменьшенной копии интернета. Ничего не извлекается. Каждое слово, которое ты читаешь, порождено — включая те, что оказались правдой.

Очевидное возражение: угадывать следующее слово — фокус для ярмарки. Откуда тогда берутся рассуждения?

Почему из фокуса получается собеседник

Потому что предсказание, если делать его достаточно хорошо, незаметно требует всего остального.

Чтобы предсказать следующий ход шахматиста, надо понимать шахматы. Чтобы продолжить «стакан опрокинулся, и мама побежала за», надо знать, что за пролитым идут с тряпкой, а не с молотком. Чтобы продолжить доказательство, оно должно сходиться; чтобы продолжить шутку — надо понимать, в чём соль; чтобы продолжить спор — держать в голове, что уже было заявлено.

Предсказание — это упражнение, а не цель. Это давление, под которым в системе вынужденно образуется структура. Обучаясь только на «что дальше», но на огромном объёме текста, система в итоге несёт в себе грамматику, факты, стили, ходы рассуждения и грубую рабочую модель того, как устроен мир, — не потому, что их туда положили, а потому, что иначе хорошо угадывать не выходит.

Держи в голове обе половины сразу. Механизм простой и слегка туповатый. То, что на нём выросло, — нет.

Рельеф

Вот картинка, которую стоит унести из статьи и таскать с собой дальше по всей сфере.

Обучение не разложило тексты по шкафу. Оно вылепило рельеф. Представь огромный ландшафт из холмов и лощин, натоптанный миллионами страниц так же, как тропа натаптывается на склоне миллионами шагов. Там, где текст раз за разом шёл одинаково, продавилась колея. Там, где он шёл сотней разных способов, земля осталась ровной.

Твой запрос ставит на этот рельеф шарик. Ответ — траектория, по которой шарик покатился.

Модель не достаёт ответ — она скатывается к нему.

Отсюда четыре следствия, которые объясняют почти всё, что поначалу кажется странным:

Уверенный ответ — это глубокая колея, а не проверенный факт. Натоптанность означает «такой текст встречался постоянно», а не «это правда». Там, где тема массовая и устоявшаяся, правдоподобное и правдивое совпадают почти идеально. Там, где тема редкая, свежая или очень конкретная, шарик всё равно куда-то катится — гладко, складно и, возможно, в несуществующее место. Это и есть галлюцинация; ей посвящена четвёртая статья стадии.

Формулировка — не косметика. Сдвинь точку старта на двадцать метров, и шарик окажется в другой лощине. «Напиши про удалённую работу» и «ты скептичный операционный директор; назови три причины, по которым удалёнка ломается в командах меньше десяти человек» отличаются не вежливостью — они начинаются на разных склонах.

Контекст перелепливает рельеф локально. Вставил свой документ, свои заметки, три примера нужного стиля — и вокруг шарика поднялись гребни, которые держат его на твоём участке карты. Поэтому подложить материал работает лучше любых уговоров, и поэтому «используй мои данные» действует, а «пожалуйста, будь точной» — почти нет.

Правильный путь не один. Спроси то же самое дважды — получишь два разных маршрута, оба разумные. Это не ненадёжность, а ширина лощины. Когда ответ важен, попросить три варианта дёшево и сразу показывает, насколько ровная там земля.

Рельеф — метафора, и, как любая метафора, упрощение: внутри лежит гигантская груда чисел, подстроенных при обучении, и никакого склона там нет. Но она предсказывает поведение модели куда лучше, чем «очень умный поисковик», — а тот предсказывает его практически наоборот.

Понимает ли она что-нибудь

Честный ответ: об этом всерьёз спорят, и готового вердикта тебе никто не выдаст.

Без завышенных обещаний можно сказать вот что: «она просто угадывает слова» и «она понимает, как человек» — оба утверждения неверны, каждое по-своему. Система ведёт себя так, будто держит рабочую модель мира: она отслеживает, кто кому что сделал, ловит противоречие тремя абзацами выше, переносит идею в область, о которой в тексте не говорилось. И одновременно у неё нет доступа к тому, знает она что-то или нет. Она не чувствует разницы между «вспомнила» и «сочинила», потому что изнутри это одна и та же операция: правдоподобно продолжить.

Вот последнюю фразу и стоит забрать. Из неё растёт почти каждое практическое правило этой сферы.

Откуда взялся «ассистент»

Ещё одна деталь, которую картинка сама по себе не объясняет. Система, обученная только продолжать текст, с тем же успехом продолжила бы твой вопрос ещё пятью вопросами — тексты часто устроены именно так.

Поведение собеседника — это второй слой. После этапа «чтения» модель дообучили вести себя как полезный собеседник: отвечать, а не продолжать, следовать инструкциям, кое от чего отказываться. Её «характер» берётся оттуда, а не из книг. Третья статья стадии разбирает этот этап отдельно — потому что несколько самых неудобных привычек модели, включая готовность с тобой соглашаться, растут именно из него.

На практике

Думай не «что спросить», а «какой текст я задаю». Модель отвечает на форму того, что ты дал. Расплывчатая просьба стоит на ровном месте и скатывается к самому среднему, самому многократно написанному ответу интернета. Конкретика, ограничения и примеры — это и есть способ передвинуть точку старта.

Подкладывай материал, а не описывай его. Десять строк твоего настоящего текста бьют два абзаца описания твоего стиля. Ты лепишь рельеф, а не раздаёшь указания.

Считай гладкость стилем, а не доказательством. Одинаково уверенный тон выходит и там, где под ответом глубокая колея, и там, где пусто. Складность не говорит о точности ничего — на этом строится четвёртая статья.

Когда важно — проси варианты. «Дай три разных подхода и слабое место каждого». Один путь показывает, куда покатился шарик; три показывают, насколько широка лощина.

Проверь себя

Закрой статью и ответь своими словами:

1. Что языковая модель делает буквально и чего она не делает вообще?
2. Почему «просто предсказание следующего слова» приводит к рассуждениям, а не к бессвязице?
3. Что в метафоре рельефа соответствует обучению, что — твоему запросу, что — ответу?
4. Почему уверенный тон ничего не говорит о правильности ответа?
5. Почему вставить свой материал работает лучше, чем описать, что ты хочешь?
6. Откуда у модели поведение ассистента, если не из прочитанных текстов?

Коротко

• Языковая модель продолжает текст: выдаёт правдоподобный следующий кусок, потом следующий. Ничего не ищется — всё порождается, включая правдивые куски.
• Предсказание — упражнение, а не цель. Чтобы предсказывать хорошо, приходится вобрать грамматику, факты, ходы рассуждения и рабочую модель мира.
• Обучение не хранит тексты, а лепит рельеф. Запрос — место, куда положили шарик; ответ — куда он скатился.
• Натоптанность значит «так писали постоянно», а не «это правда». На массовых темах это совпадает, на редких и свежих — расходится.
• Формулировка двигает точку старта, контекст перелепливает рельеф — поэтому примеры и вставленный материал сильнее инструкций.
• У модели нет доступа к тому, знает она или нет: вспомнить и выдумать — изнутри одна операция.
• Модель не достаёт ответ — она скатывается к нему.