Карта: где сильна, где нет

Спроси десять человек, годится ли ИИ для их работы, и получишь противоположные ответы от людей одной профессии. Один автоматизировал половину недели; второй попробовал, обжёгся и бросил.

Они спорят не о модели. Они стоят в разных точках очень неровного края — и знание формы этого края и есть разница между двумя исходами.

Читала всё и не видела ничего

Профиль в одну строку.

Она читала всё и не видела ничего.

Представь коллегу, который прочитал практически весь когда-либо написанный текст — все учебники, все инструкции, все форумные споры, все стили письма — и при этом ни разу не был ни в одной комнате. Он понятия не имеет, как выглядит твой продукт, кто твой клиент, о чём договорились во вторник, что сломал последний релиз и как твой начальник реагирует на плохие новости. Отвечает мгновенно, безупречной прозой, и никогда не говорит «не знаю».

Вся карта ниже растёт из этой фразы. Там, где работе нужна широта прочитанного, форма или преобразование, такой коллега великолепен. Там, где нужно видеть — твою специфику, текущее состояние мира, что реально произошло, — тот же коллега уверенно импровизирует.

Зубчатая граница

В 2023 году Фабрицио Делл'Аква с коллегами из Гарварда провели полевой эксперимент на сотнях консультантов Boston Consulting Group. На задачах внутри возможностей модели консультанты с GPT-4 делали заметно больше работы, быстрее и качественнее. А на задаче, специально устроенной чуть за краем — где ответ требовал соединить данные способом, который выглядел похоже, но был другим, — работавшие с моделью ошибались существенно чаще, чем те, кто обходился без неё.

Авторы назвали эту форму зубчатой границей возможностей. Не гладкая линия, где по одну сторону «лёгкое», а по другую «трудное», а рваный край, на котором две задачи, ощущающиеся для тебя одинаково сложными, лежат по разные стороны. Модель проносится сквозь то, что тяжело тебе, и проваливает то, что тебе кажется пустяком, — не меняя при этом тона, который бы тебя предупредил.

Поэтому «хорош ли ИИ в X» — неправильный вопрос. Полезный вопрос всегда о конкретной задаче, а карта нужна, чтобы отвечать на него за пять секунд.

Где сильна

Обрати внимание на закономерность в объяснениях — она каждый раз одна и та же.

Преобразование текста, который ты дал. Перевод, переписывание, смена формата, сжатие, извлечение структуры, превращение заметок в текст и текста в таблицу. Всё нужное уже на столе; работа состоит в преобразовании, а не в знании. Это самая надёжная категория работы с ИИ вообще — и недоиспользуемая, потому что негероическая.

Объяснение того, что объясняли тысячу раз. Глубоко натоптанный рельеф — и, в отличие от учебника, объяснение подстраивается: под твой уровень, твою аналогию, твоё конкретное непонимание, сколько угодно раз.

Первый черновик. Слабый черновик бьёт пустую страницу, потому что править — другой, более лёгкий режим работы, чем начинать. Ценность не в тексте, а в уходе от чистого экрана.

Широта и покрытие. Двадцать вариантов, чек-лист, «что я забыл», «как это обычно решают». Там, где ценность в том, чтобы ничего не упустить, а не в глубине, «прочитал всё» — ровно та квалификация, что нужна.

Формальная, шаблонная работа. Обвязка в коде, регулярные выражения, SQL, типовые документы, структурированные письма. Форма густо натоптана, и результат обычно проверяем — два самых важных условия сразу.

Собственно язык. Регистр, тон, перевод, разница между «мы сожалеем» и «простите». Это ближайшее к врождённому навыку, что у неё есть.

Где слаба

Всё свежее и всё твоё. За границей знаний, внутри твоей компании, про твоих клиентов, про конкретных неизвестных людей. Нет на столе — значит, выдумано.

Точность с числами. Цифр она толком не видит и считает прозой. Любая арифметика, которая важна, идёт через код.

Узкая экспертиза. Чем тоньше рельеф, тем больше уверенный вывод — реконструкция того, как такой ответ обычно выглядит. Специалист замечает это мгновенно, неспециалист не может в принципе.

Вкус, настроенный на твою аудиторию. По умолчанию она выдаёт медиану: грамотно, не к чему придраться и ничем не примечательно. Медиана нормальна для сводки и смертельна для всего, что должно выделяться. Отклонение задаёшь ты — какое отклонение верно для твоих читателей, она знать не может.

Непрерывность. Она не помнит. Всё, что переживает сессию, переживает её потому, что ты или инструмент положили это обратно.

Последствия. У неё нет ставки в исходе, нет доступа к тому, что случится потом, и нет способности отвечать за это. Это не техническое ограничение, которое когда-нибудь починят, — это и есть причина, по которой человек остаётся в контуре.

Опасный квадрант

Самая ценная область карты — не «слаба». Это слаба, выглядя сильной: тонкий рельеф плюс густо натоптанная форма вывода.

Ссылки и библиография. Статистика и точные цифры. Юридические и медицинские частности. Параметры API и версии библиотек. «Лучшие практики» в узкой нише. Оценка конкретно твоей ситуации. Везде здесь форма ответа отработана идеально — модель прекрасно знает, как выглядит ссылка, таблица дозировок, юридический довод или блок конфигурации, — а вот содержание может стоять на почти нетоптаной земле.

Именно это сочетание породило выдуманные судебные дела из четвёртой статьи. Уверенность максимальна ровно там, где надёжность минимальна, потому что уверенность и сделана из формы.

Три вопроса перед делегированием

Карта сжимается до проверки за пять секунд:

1. Материал на столе или нужно знание извне? На столе — сильна. По памяти — подозрительно. По памяти о свежем или конкретном — не надо.
2. Можно ли проверить результат чем-то вне модели? Запускаемый код, документ для цитирования, число, которое ты пересчитаешь, — сильна. Сверять не с чем — единственная проверка это твоё суждение.
3. Сколько стоит ошибка? Дёшево — не проверяй, работай. Дорого — проверяй каждую конкретику всегда.

И правило, стоящее над всеми тремя, на котором держится остаток стадии: не делегируй то, что не сможешь оценить. Не «не сможешь сделать» — массу полезной работы стоит отдавать именно потому, что делать её самому долго. Но если ты не отличаешь в этой области хороший результат от плохого, ты ничего не автоматизировал. Ты просто перенёс риск туда, где его не видно.

На практике

Спрашивай про задачу, а не про «ИИ». У вопроса «годится ли он вот на это» есть ответ, у общего — нет.

Предпочитай преобразование припоминанию. Всегда, когда можно положить источник на стол вместо «вспомни», клади.

Считай медиану стартом, а не целью. Её инстинкт — среднее по всему написанному; твоя ценность — отклонение.

Больше всего подозревай там, где формат самый гладкий. Ссылки, цифры, спецификации, юридические и медицинские детали.

Прогоняй три вопроса перед передачей работы. На столе? Проверяемо? Сколько стоит ошибка?

Проверь себя

Закрой статью и ответь своими словами:

1. Что фраза «читала всё и не видела ничего» предсказывает про сильные и слабые стороны?
2. Что такое зубчатая граница и что показал эксперимент с консультантами на задаче за её краем?
3. Почему преобразование поданного текста — самая надёжная категория работы?
4. Почему «по умолчанию она выдаёт медиану» — это слабость, а не нейтральный факт?
5. Чем опасен опасный квадрант — назови два условия, которые в нём сходятся.
6. Какие три вопроса задают перед делегированием и какое правило стоит над ними?

Коротко

• Модель читала всё и не видела ничего: сильна в широте, форме и преобразовании; импровизирует на твоей специфике, настоящем моменте и последствиях.
• Край возможностей зубчатый, а не линейный (Делл'Аква и др., 2023): внутри границы прирост большой, а на задаче чуть за краем работавшие с моделью ошибались чаще, чем без неё.
• Сильна: преобразование данного текста, объяснение хорошо описанного, первые черновики, покрытие и чек-листы, шаблонная и проверяемая работа, сам язык.
• Слаба: всё свежее и всё твоё, точные числа, узкая экспертиза, вкус под твою аудиторию, непрерывность и всё, что требует отвечать за результат.
• Опасный квадрант — тонкое знание плюс гладкая форма: ссылки, статистика, юридические и медицинские детали, параметры API. Уверенность максимальна там, где надёжность минимальна.
• Перед делегированием: на столе ли материал, проверяемо ли снаружи, сколько стоит ошибка. И никогда не делегируй то, что не сможешь оценить.
• Она читала всё и не видела ничего.