Трансформеры в действии

Основополагающая книга о практическом применении больших языковых моделей класса трансформеров (generative pretrained transformer, GPT). Рассказано, как устроены трансформеры на уровне архитектуры и какое место они занимают среди разнообразных нейронных сетей. В книге исследованы самовнимание, тонкая настройка моделей, логический вывод (инференс), обучение с подкреплением, адаптация трансформеров к работе в реальных условиях. Для практической отработки материала предлагаются готовые ноутбуки Jupyter. Основные акценты в примерах сделаны на извлечении данных и, в частности, на технологии RAG (генерация с дополненной выборкой), оптимизации производительности трансформеров, специализации трансформеров с подготовкой предметно-ориентированных языковых моделей, а также на расширении и эффективном использовании контекстного окна.