Как устроен Claude изнутри

Контекстное окно — это всё что модель видит за один запрос. Модель не помнит предыдущие разговоры — каждый раз ей показывают полную картину заново. В окно попадает:

1. System prompt — инструкции для модели. В claude.ai это огромный промпт от Anthropic (~10-15K токенов): правила поведения, стиль, безопасность, user preferences, memory. Если используешь API — пишешь свой.

2. История диалога — все сообщения user и assistant в текущем чате. Каждый новый запрос включает ВСЮ историю. Вот почему длинные чаты тормозят и стоят дороже — каждое сообщение перечитывается заново.

3. Tool definitions — JSON-схемы всех подключённых инструментов (имена, описания, параметры). В claude.ai подключено 30+ инструментов — web_search, web_fetch, визуализация, карты, спорт, погода, Canva, Figma, и все MCP-коннекторы. Это жрёт ~15-50K токенов просто на определения.

4. Файлы и картинки — PDF конвертируется в изображения постранично, картинки кодируются в base64. Всё это добавляется в контекст.

5. Memory — информация из прошлых чатов, сохранённая в userMemories. Вставляется в system prompt.

System prompt + tool definitions — это тысячи токенов, которые одинаковые в каждом запросе одного чата. Перечитывать их каждый раз — дорого.

Prompt caching запоминает этот повторяющийся "префикс". Если следующий запрос начинается с тех же токенов — они не обрабатываются заново, а берутся из кэша.

Cache hit = 10% от стандартной цены input-токенов. То есть экономия 90%.

Cache miss = первый запрос платит полную цену + наценку за запись в кэш (1.25x для 5-минутного кэша, 2x для часового).

Собранный контекст отправляется на GPU-кластер Anthropic. Параметр inference_geo определяет регион (US или EU, по умолчанию — глобальный роутинг).

Extended thinking

Если включено — модель сначала генерирует thinking-блок: внутренние рассуждения, которые пользователь не видит. Это как черновик в голове перед ответом. Улучшает качество на сложных задачах (математика, код, логика). Thinking-токены оплачиваются как output-токены.

Генерация ответа

Модель генерирует токены один за одним. Каждый следующий токен зависит от всех предыдущих + от всего контекстного окна. Если включён streaming — каждый токен отправляется клиенту через SSE (Server-Sent Events) по мере генерации. Вот почему ты видишь как текст "печатается".

Stop reason — как модель останавливается

Модель генерирует пока не произойдёт одно из трёх:

end_turn — модель решила что ответ готов. Финал.

tool_use — модель решила что ей нужен инструмент (погуглить, посчитать, открыть файл). Генерация останавливается, возвращается запрос на вызов инструмента.

max_tokens — упёрлись в лимит output-токенов. Ответ обрезан.

Это то, что делает Claude не просто чат-ботом, а агентом. Цикл выглядит так:

// Цикл повторяется пока модель не вернёт end_turn:

1. Модель получает контекст, думает
2. Модель решает: "мне нужно погуглить" → stop_reason: tool_use
3. Возвращает: { name: "web_search", input: { query: "..." } }
4. Инструмент исполняется, результат добавляется в контекст
5. Модель снова получает контекст (теперь с результатом поиска)
6. Модель решает: "нужно ещё что-то" → снова tool_use
   ...или "всё, могу ответить" → stop_reason: end_turn

В одном ответе claude.ai модель может сделать 5, 10, 20 таких циклов. Каждый раз весь контекст (с накопленными результатами) отправляется заново. Вот почему сложные запросы с поиском стоят дорого — это много последовательных вызовов API.

Финальный ответ может содержать:

Текст — обычный ответ. Стримится через SSE токен за токеном.

Citations — если был web_search, ответ содержит ссылки на конкретные предложения из источников. Каждая цитата указывает: документ #2, предложения 3-5.

Артефакты — в claude.ai модель может создавать файлы (HTML, React, SVG, Mermaid), которые рендерятся прямо в чате. Это не магия API — это функция фронтенда claude.ai.

Usage — каждый ответ содержит точный подсчёт: сколько input_tokens, output_tokens, cache_creation_tokens, cache_read_tokens было использовано.