Документы и разбор
Сто страниц PDF и три вопроса, на которые нужен ответ. Это модель в самом надёжном своём режиме — при условии, что ты спрашиваешь документ, а не модель.
Договор, отчёт, папка расшифровок интервью, спецификация, которую никто не читал целиком. Тебе нужно вытащить оттуда три вещи, и у тебя двадцать минут.
Это лучшая из возможных конфигураций для всего, о чём говорит сфера. Материал лежит на столе, значит, работа состоит в преобразовании, а не в припоминании. Ответ закреплён в тексте, который у тебя есть, значит, проверка — это сверка, а не вера. Все сильные стороны из девятой статьи выстраиваются в ряд, и все слабые обходятся — если удержать одно различие.
Спрашивай документ, а не модель.
Разница целиком в том, обязан ли ответ происходить из текста. «Что этот договор говорит про просрочку платежа?» — приглашение достроить пробелы по памяти. «Процитируй все пункты договора, относящиеся к просрочке платежа, с номерами разделов; если таких нет — так и напиши» — делает выдумку видимой.
Рабочий метод
Всегда требуй прослеживаемости. К каждому утверждению — то самое предложение, откуда оно взято. Одна эта привычка превращает всё занятие из доверия в проверку: ты сличаешь цитаты с документом, который у тебя есть, и это секунды на атом.
Сжимай под задачу, а не вообще. «Сделай выжимку» даёт медиану документа: формально точно и равномерно бесполезно. «Вытащи всё, что относится к срокам оплаты и штрафам, таблицей со ссылками на разделы» даёт то, с чем можно работать. Работу делает вопрос; без него получается сжатие без суждения.
Спрашивай, чего там нет. Самый недоиспользуемый вопрос набора: «Что документ такого типа обычно оговаривает, а этот не оговаривает?» Дыры, отсутствующие пункты, невысказанные допущения, раздел, который аккуратно обходит тему. Вот здесь внешний читатель отрабатывает себя полностью.
Сравнивай, а не читай. Две версии договора, три коммерческих предложения, прошлый квартальный отчёт против нынешнего: «перечисли все содержательные различия, форматирование игнорируй». Сличение — механическая работа, в которой она превосходна, а ты медленный.
Ищи противоречия. «Где документ противоречит сам себе или второму документу?»
Готовь вопросы, а не выводы. «Исходя из этого, какие десять вопросов я должен задать автору до подписания?» Ты получаешь рычаг, не делегируя суждение.
Провал, который себя не объявляет
Главный риск здесь не галлюцинация. Главный риск — пропуск.
Модель, не заметившая пункт, не сообщает об этом: она выдаёт уверенный, выглядящий исчерпывающим ответ по всему, что нашла. Отсутствие упоминания не является свидетельством отсутствия в документе, и по одному ответу эту разницу не видно. Причины две и обе структурные: середина длинного контекста — слабейшая позиция (Lost in the Middle, вторая статья), а выжимка по определению есть решение о том, что выбросить.
Поэтому разделяй два типа вопросов и обращайся с ними по-разному. Для истолкования — что это значит, что отсюда следует — модель сильна. Для полноты — все ли это, упоминается ли где-нибудь — не верь ничему без механической проверки:
- проси исчерпывающий список с указанием мест, а потом проверяй обычным текстовым поиском по ключевому слову;
- обрабатывай длинные документы явными частями, а не одним проходом;
- задай тот же вопрос о полноте в новом чате и сравни списки.
Всё, на чём ты собираешься строить решение, читаешь ты сам — в том месте, куда модель показала. Она нашла место; слова читаешь ты.
Поиск и его собственный провал
Включённый веб-поиск меняет режим: теперь модель отвечает по страницам, которые нашла, а не по рельефу. Это чинит проблему границы знаний и существенно снижает выдумывание. И добавляет три новые.
Настоящая ссылка может стоять под утверждением, которого в ней нет. Заземление режет выдумку, а не неверное прочтение. Открывай ссылки — по крайней мере те, что важны.
Источники согласны, потому что переписывают друг друга. Три статьи, пересказывающие один пресс-релиз, выглядят подтверждением и являются одним источником. Спрашивай, откуда утверждение происходит, а не кто его повторяет.
Поиск — это фильтр со своим перекосом. Всплывает то, что находимо и популярно, а это не то же самое, что верно или лучше. По любому спорному вопросу отдельно проси сильнейшую противоположную позицию и того, кто её держит.
Разбор — это не пересказ
Соблазнительный маршрут: сорок статей на входе, сорок выжимок на выходе, синтез в конце. Ощущается как обзор литературы. Им не является, и причина — иллюзия компетентности из «Как учиться»: у тебя останется форма области без деталей, которые делают её применимой, и, что хуже, уверенность человека, который всё это прочёл.
Рабочая версия оставляет тебя в контуре там, где это важно:
- Составь карту территории вместе с моделью: основные позиции, словарь, стандартные возражения, кого цитируют постоянно. Здесь она действительно сильна, и это та часть, которая раньше отнимала неделю.
- Найди кандидатов поиском — и проверь, что они существуют и говорят заявленное.
- Важное прочитай сам. Не обсуждается, если тема твоя. Модель используй во время чтения: объясни этот абзац, что значит этот термин, как это связано с той работой.
- Синтезируй после чтения, используя её как оппонента: чего я не вижу, с чем здесь не согласятся, где я слишком много вычитываю из одного исследования.
Правило под всем этим: пользуйся ею, чтобы решить, что заслуживает твоего чтения, а не чтобы чтение заменить. Рычаг в отсеве; понимание в чтении.
Числа в документах
Напоминание из восьмой статьи: цифры, выдернутые из таблицы глазами, порождены, а не вычислены. Для всего, на что ты будешь опираться, проси скрипт или формулу, которая считает число из данных, и запускай. Извлечение в структурированную таблицу — законное применение; арифметика внутри прозы — нет.
На практике
Всегда требуй точных цитат с указанием мест.
Сжимай под вопрос, а не вообще.
Спрашивай, что документ такого типа должен содержать и не содержит.
Вопросы о полноте считай недоверенными — исчерпывающий список, потом текстовый поиск для подтверждения.
Открывай важные ссылки и спрашивай, откуда утверждение происходит.
Ключевые источники читай сам, а модель используй, чтобы решить, какие именно ключевые.
Проверь себя
Закрой статью и ответь своими словами:
- В чём разница между «спросить документ» и «спросить модель» и как её обеспечить?
- Почему «сделай выжимку» — слабое указание и что вместо него?
- Почему пропуск здесь опаснее выдумки и каковы две структурные причины?
- Чем вопрос о полноте обрабатывается иначе, чем вопрос об истолковании?
- Какие три проблемы добавляет поиск, хотя и снижает выдумывание?
- Какие шаги исследовательского цикла можно делегировать, а какие нет?
Коротко
- Документы — лучшая конфигурация для модели: материал на столе, преобразование вместо припоминания, проверка сверкой.
- Требуй точных цитат с местами — это превращает доверие в проверку.
- Сжимай под конкретный вопрос; общая выжимка — это медиана документа.
- Фирменный провал здесь — пропуск, а не выдумка: незамеченный пункт даёт уверенный, выглядящий полным ответ. Причины: слабая середина длинного контекста и то, что выжимка есть решение о выбрасывании.
- Вопросы об истолковании безопасны; вопросы о полноте требуют исчерпывающего списка плюс механического поиска по тексту.
- Поиск чинит границу знаний, но добавляет: настоящие ссылки под неподтверждёнными утверждениями, ложное подтверждение от переписывающих друг друга источников и перекос в сторону находимого.
- Используй её, чтобы решить, что заслуживает чтения, а не чтобы чтение заменить. Сорок выжимок — не обзор литературы.
- Спрашивай документ, а не модель.