EverProduct
Нейросети

Этап 04 · Ежедневная работа

Документы и разбор

Сто страниц PDF и три вопроса, на которые нужен ответ. Это модель в самом надёжном своём режиме — при условии, что ты спрашиваешь документ, а не модель.

Договор, отчёт, папка расшифровок интервью, спецификация, которую никто не читал целиком. Тебе нужно вытащить оттуда три вещи, и у тебя двадцать минут.

Это лучшая из возможных конфигураций для всего, о чём говорит сфера. Материал лежит на столе, значит, работа состоит в преобразовании, а не в припоминании. Ответ закреплён в тексте, который у тебя есть, значит, проверка — это сверка, а не вера. Все сильные стороны из девятой статьи выстраиваются в ряд, и все слабые обходятся — если удержать одно различие.

Спрашивай документ, а не модель.

Разница целиком в том, обязан ли ответ происходить из текста. «Что этот договор говорит про просрочку платежа?» — приглашение достроить пробелы по памяти. «Процитируй все пункты договора, относящиеся к просрочке платежа, с номерами разделов; если таких нет — так и напиши» — делает выдумку видимой.

Рабочий метод

Всегда требуй прослеживаемости. К каждому утверждению — то самое предложение, откуда оно взято. Одна эта привычка превращает всё занятие из доверия в проверку: ты сличаешь цитаты с документом, который у тебя есть, и это секунды на атом.

Сжимай под задачу, а не вообще. «Сделай выжимку» даёт медиану документа: формально точно и равномерно бесполезно. «Вытащи всё, что относится к срокам оплаты и штрафам, таблицей со ссылками на разделы» даёт то, с чем можно работать. Работу делает вопрос; без него получается сжатие без суждения.

Спрашивай, чего там нет. Самый недоиспользуемый вопрос набора: «Что документ такого типа обычно оговаривает, а этот не оговаривает?» Дыры, отсутствующие пункты, невысказанные допущения, раздел, который аккуратно обходит тему. Вот здесь внешний читатель отрабатывает себя полностью.

Сравнивай, а не читай. Две версии договора, три коммерческих предложения, прошлый квартальный отчёт против нынешнего: «перечисли все содержательные различия, форматирование игнорируй». Сличение — механическая работа, в которой она превосходна, а ты медленный.

Ищи противоречия. «Где документ противоречит сам себе или второму документу?»

Готовь вопросы, а не выводы. «Исходя из этого, какие десять вопросов я должен задать автору до подписания?» Ты получаешь рычаг, не делегируя суждение.

Провал, который себя не объявляет

Главный риск здесь не галлюцинация. Главный риск — пропуск.

Модель, не заметившая пункт, не сообщает об этом: она выдаёт уверенный, выглядящий исчерпывающим ответ по всему, что нашла. Отсутствие упоминания не является свидетельством отсутствия в документе, и по одному ответу эту разницу не видно. Причины две и обе структурные: середина длинного контекста — слабейшая позиция (Lost in the Middle, вторая статья), а выжимка по определению есть решение о том, что выбросить.

Поэтому разделяй два типа вопросов и обращайся с ними по-разному. Для истолкования — что это значит, что отсюда следует — модель сильна. Для полноты — все ли это, упоминается ли где-нибудь — не верь ничему без механической проверки:

  • проси исчерпывающий список с указанием мест, а потом проверяй обычным текстовым поиском по ключевому слову;
  • обрабатывай длинные документы явными частями, а не одним проходом;
  • задай тот же вопрос о полноте в новом чате и сравни списки.

Всё, на чём ты собираешься строить решение, читаешь ты сам — в том месте, куда модель показала. Она нашла место; слова читаешь ты.

Поиск и его собственный провал

Включённый веб-поиск меняет режим: теперь модель отвечает по страницам, которые нашла, а не по рельефу. Это чинит проблему границы знаний и существенно снижает выдумывание. И добавляет три новые.

Настоящая ссылка может стоять под утверждением, которого в ней нет. Заземление режет выдумку, а не неверное прочтение. Открывай ссылки — по крайней мере те, что важны.

Источники согласны, потому что переписывают друг друга. Три статьи, пересказывающие один пресс-релиз, выглядят подтверждением и являются одним источником. Спрашивай, откуда утверждение происходит, а не кто его повторяет.

Поиск — это фильтр со своим перекосом. Всплывает то, что находимо и популярно, а это не то же самое, что верно или лучше. По любому спорному вопросу отдельно проси сильнейшую противоположную позицию и того, кто её держит.

Разбор — это не пересказ

Соблазнительный маршрут: сорок статей на входе, сорок выжимок на выходе, синтез в конце. Ощущается как обзор литературы. Им не является, и причина — иллюзия компетентности из «Как учиться»: у тебя останется форма области без деталей, которые делают её применимой, и, что хуже, уверенность человека, который всё это прочёл.

Рабочая версия оставляет тебя в контуре там, где это важно:

  1. Составь карту территории вместе с моделью: основные позиции, словарь, стандартные возражения, кого цитируют постоянно. Здесь она действительно сильна, и это та часть, которая раньше отнимала неделю.
  2. Найди кандидатов поиском — и проверь, что они существуют и говорят заявленное.
  3. Важное прочитай сам. Не обсуждается, если тема твоя. Модель используй во время чтения: объясни этот абзац, что значит этот термин, как это связано с той работой.
  4. Синтезируй после чтения, используя её как оппонента: чего я не вижу, с чем здесь не согласятся, где я слишком много вычитываю из одного исследования.

Правило под всем этим: пользуйся ею, чтобы решить, что заслуживает твоего чтения, а не чтобы чтение заменить. Рычаг в отсеве; понимание в чтении.

Числа в документах

Напоминание из восьмой статьи: цифры, выдернутые из таблицы глазами, порождены, а не вычислены. Для всего, на что ты будешь опираться, проси скрипт или формулу, которая считает число из данных, и запускай. Извлечение в структурированную таблицу — законное применение; арифметика внутри прозы — нет.

На практике

Всегда требуй точных цитат с указанием мест.

Сжимай под вопрос, а не вообще.

Спрашивай, что документ такого типа должен содержать и не содержит.

Вопросы о полноте считай недоверенными — исчерпывающий список, потом текстовый поиск для подтверждения.

Открывай важные ссылки и спрашивай, откуда утверждение происходит.

Ключевые источники читай сам, а модель используй, чтобы решить, какие именно ключевые.

Проверь себя

Закрой статью и ответь своими словами:

  1. В чём разница между «спросить документ» и «спросить модель» и как её обеспечить?
  2. Почему «сделай выжимку» — слабое указание и что вместо него?
  3. Почему пропуск здесь опаснее выдумки и каковы две структурные причины?
  4. Чем вопрос о полноте обрабатывается иначе, чем вопрос об истолковании?
  5. Какие три проблемы добавляет поиск, хотя и снижает выдумывание?
  6. Какие шаги исследовательского цикла можно делегировать, а какие нет?

Коротко

  • Документы — лучшая конфигурация для модели: материал на столе, преобразование вместо припоминания, проверка сверкой.
  • Требуй точных цитат с местами — это превращает доверие в проверку.
  • Сжимай под конкретный вопрос; общая выжимка — это медиана документа.
  • Фирменный провал здесь — пропуск, а не выдумка: незамеченный пункт даёт уверенный, выглядящий полным ответ. Причины: слабая середина длинного контекста и то, что выжимка есть решение о выбрасывании.
  • Вопросы об истолковании безопасны; вопросы о полноте требуют исчерпывающего списка плюс механического поиска по тексту.
  • Поиск чинит границу знаний, но добавляет: настоящие ссылки под неподтверждёнными утверждениями, ложное подтверждение от переписывающих друг друга источников и перекос в сторону находимого.
  • Используй её, чтобы решить, что заслуживает чтения, а не чтобы чтение заменить. Сорок выжимок — не обзор литературы.
  • Спрашивай документ, а не модель.