EverProduct
Нейросети

Этап 05 · За пределами чата

Модель с инструментами

Поиск, выполнение кода, файлы, подключённые системы — ничто из этого не меняет того, что делает модель. Меняется то, что происходит с написанным ею текстом.

До сих пор модель была собеседником: она знает, она рассуждает и не может ровным счётом ничего. Не может ничего найти, проверить, открыть твой файл, выполнить расчёт, который только что описала.

Инструменты это меняют, и меняют не количественно. Но механизм тут гораздо проще, чем следует из рекламы, и понимание его в правильном виде — то, что позволяет предсказывать, где всё сломается.

Что такое вызов инструмента на самом деле

Модель по-прежнему только читает и пишет текст. Это не меняется никогда.

Новое в том, что часть написанного ею текста адресована программе снаружи. Она выдаёт, по сути, «найди в вебе X», «запусти этот код», «прочитай этот файл» — структурированный запрос вместо прозы. Окружающая программа его перехватывает, реально выполняет действие и кладёт результат обратно на стол очередным текстом. Модель продолжает работу, уже имея результат перед глазами.

Модель по-прежнему только пишет текст. Просто теперь часть этого текста кто-то исполняет.

Этот цикл — запрос, исполнение, результат на столе, продолжение — и есть всё целиком. Веб-поиск, выполнение кода, чтение файлов, подключённые системы и агенты из следующей статьи — один и тот же цикл с разными адресатами и разным числом повторений.

Почему картина всё-таки меняется

Три следствия, и каждое сдвигает что-то из выученного раньше.

Факты могут приходить извне. Граница знаний перестаёт быть стеной, а выдумывание резко падает: ответ строится по найденной странице, а не по рельефу. Это самое большое доступное улучшение надёжности.

Вычисления становятся проверяемыми. Вместо порождения числа внутри прозы модель пишет код, код запускается, и число берётся из выполнения. Совет восьмой статьи — просить метод, который можно запустить, — перестаёт быть ручным.

У действий появляются последствия. Читать безопасно. Писать, отправлять, платить, удалять и публиковать — нет, и в момент, когда инструмент это умеет, каждая ошибка из этой сферы приобретает цену сверх плохого ответа.

Основные виды

Поиск — для всего, что чувствительно ко времени или лежит за границей знаний.

Выполнение кода — арифметика, обработка данных, конвертация файлов, графики. Модель пишет, песочница запускает, вывод видите оба.

Твои файлы — приложенный документ читается в контекст либо обрабатывается кодом. Две практические заметки: в отсканированном PDF без текстового слоя текста для модели нет, пока его не распознают; а большие таблицы куда лучше отдавать коду, чем чтению.

Подключённые системы — диск, репозиторий, трекер задач, календарь. Здесь появляется MCP: открытый протокол, опубликованный Anthropic в конце 2024 года, чтобы инструменту и модели не требовалась отдельная интеграция под каждую пару. Это стандартный разъём, а не самостоятельная способность, — знать название стоит потому, что подключения теперь описывают именно так.

Управление компьютером — модель водит по экрану: кликает, печатает, переходит. Самое новое, медленное и наименее надёжное в наборе; полезно там, где нет API, и заслуживает песочницы, а не твоего настоящего рабочего стола.

Что меняется в проверке

Заземление срезает один класс ошибок и добавляет другой.

Выдумывание падает. Неверное прочтение — нет: страница была настоящей, истолкование неверным, и теперь неверное истолкование стало «фактом со ссылкой», на котором строится всё дальнейшее. Уверенная цепочка рассуждений поверх одного неправильно понятого предложения ловится тяжелее прямой выдумки, потому что приходит с источником.

Отсюда новая и очень эффективная точка контроля: смотри на вызовы, а не только на ответ. Что она искала? Какие страницы реально открыла? Что было в запущенном коде и что этот код вывел? Большинство провалов с инструментами видно прямо там: запрос мимо сути, файл, который так и не открыли, скрипт, который тихо потерял половину строк. Чтение журнала вызовов занимает пятнадцать секунд и ловит то, чего проза не покажет никогда.

Безопасность перестаёт быть теорией

Одиннадцатая статья ввела промпт-инъекцию как структурное свойство: модель не отделяет надёжно данные от команд, потому что и то и другое — текст на столе. С инструментами это перестаёт быть любопытным фактом.

Модель, которая всего лишь прочитала отравленную страницу, выдаст плохой ответ. Модель, которая прочитала отравленную страницу и умеет отправлять письма, править файлы или обращаться к твоим системам, может получить от этой страницы указания. Опасность растёт вместе с правами, а не с содержимым.

Четыре принципа, и они те же, что у любой разумной системы:

  • Минимум прав. Только чтение, пока запись действительно не нужна. Узкие области доступа вместо широких.
  • Разводи чувствительный доступ и недоверенное содержимое. Опасна конфигурация, в которой одна сессия одновременно держит твои доступы и ходит по произвольным страницам.
  • Подтверждение на необратимом. Отправить, оплатить, удалить, опубликовать — твой палец, каждый раз.
  • Следи за тем, что она вызывает. Неожиданные вызовы инструментов — видимый симптом инъекции.

На практике

Включай поиск для всего свежего — и открывай важные ссылки.

Предпочитай выполненный код названному числу всегда, когда цифра пойдёт в дело.

Читай журнал вызовов, а не только вывод. Не тот запрос, неоткрытый файл, тихая потеря данных.

Давай файлы в читаемом виде — с текстовым слоем, а большие таблицы через код.

Выдавай минимально достаточные права, а необратимое оставляй за своим подтверждением.

Проверь себя

Закрой статью и ответь своими словами:

  1. Что буквально происходит при вызове инструмента и что при этом остаётся ровно тем же самым?
  2. Какие три вещи меняются с появлением инструментов и какую статью каждая из них пересматривает?
  3. Что такое MCP и почему это не способность сама по себе?
  4. Какой класс ошибок заземление снижает, а какой добавляет или усугубляет?
  5. Почему журнал вызовов — лучшая точка контроля, чем финальный ответ?
  6. Почему риск инъекции зависит от прав, а не от того, что модель читает?

Коротко

  • Вызов инструмента — это текст, который модель пишет, а внешняя программа исполняет, положив результат обратно на стол. Модель по-прежнему только читает и пишет текст.
  • Всё — поиск, код, файлы, коннекторы, агенты — один и тот же цикл с разными адресатами и разным числом повторов.
  • Инструменты приносят факты извне (чиня границу знаний и значительную часть выдумок), делают вычисления проверяемыми и добавляют действия с последствиями.
  • MCP (Anthropic, 2024) — открытый стандартный разъём для подключения инструментов к моделям, а не отдельная способность.
  • Заземление режет выдумку, но не неверное прочтение — а неверно понятый источник ловится хуже, потому что приходит со ссылкой.
  • Проверяй вызовы, а не только ответ: не тот запрос, неоткрытый файл, скрипт, потерявший строки.
  • Риск инъекции растёт с правами: минимум прав, разделение чувствительного и недоверенного, подтверждение необратимого, наблюдение за вызовами.
  • Модель по-прежнему только пишет текст. Просто теперь часть этого текста кто-то исполняет.