Языковая модель не ищет факты в базе данных. Она вычисляет вероятность следующего слова. Когда GPT‑4 генерирует ответ на вопрос о составе лекарства, она не проверяет медицинские справочники. Она предсказывает, какое слово чаще всего следует за предыдущим в текстах, на которых обучалась. Иногда это приводит к галлюцинациям: модель с полной уверенностью называет препарат, которого не существует, или судебное дело, которое никогда не слушалось.

Что видит модель вместо фактов

Представьте автозаполнение на телефоне, увеличенное в триллион раз. Вы печатаете «лечение гриппа», телефон предлагает «парацетамол». Он не знает, работает ли парацетамол при гриппе. Он запомнил, что эти слова часто идут рядом.

Языковая модель работает по тому же принципу, только масштаб другой. GPT‑4 содержит 1,76 триллиона параметров. Это числовые веса, которые связывают слова друг с другом. Модель разбивает ваш запрос на токены (части слов или символы), превращает их в векторы чисел, прогоняет через слои нейросети и на выходе получает вероятностное распределение для следующего токена.

Если вы спросили про грипп, модель может с 40% вероятностью выбрать «парацетамол», с 25% «ибупрофен», с 15% «аспирин». Но есть и крошечная вероятность, что она выберет название, которое встречалось в обучающих данных рядом с похожими контекстами, даже если этот препарат не применяется при гриппе или вообще не существует. Модель не понимает значения слов. Она видит только закономерности между ними.

Как языковая модель создаёт текст

Процесс генерации текста начинается с токенизации. Слово «парацетамол» модель может разбить на части: «пара», «цета», «мол». Каждая часть получает числовой идентификатор и преобразуется в вектор — многомерную координату в пространстве значений.

Трансформер (архитектура модели) использует механизм внимания. Он связывает токены друг с другом: какие слова в предложении важны для понимания текущего слова. Если в обучающих данных часто встречались фразы «лечение гриппа» и «антибиотики» в одном контексте (даже если это неправильно с медицинской точки зрения), модель запомнит эту связь. При запросе о гриппе она может предложить антибиотик, хотя вирусные инфекции ими не лечатся.

Параметр temperature (температура выборки) управляет случайностью. При значении 0,1–0,3 модель выбирает наиболее вероятные токены, ответы становятся предсказуемыми и точными. При 0,7–0,9 она чаще выбирает менее вероятные варианты, текст становится разнообразным, но риск галлюцинаций растёт.

Когда ChatGPT изобрёл несуществующие судебные дела

В феврале 2023 года адвокат Стивен Шварц готовил документы для дела в суде Южного округа Нью‑Йорка. Он использовал ChatGPT для поиска судебных прецедентов. Модель предоставила шесть дел с номерами, датами и кратким содержанием решений. Все шесть дел оказались выдумкой. Номера несуществующие, решения не принимались, судьи с такими именами не работали в указанных судах.

ChatGPT сгенерировал прецеденты так убедительно, что юрист не усомнился в их существовании. Модель создала правдоподобные названия дел, форматы цитирования, стиль юридических формулировок. Текст выглядел профессионально, но не имел связи с реальностью. Противоположная сторона обнаружила проблему, судья назначил санкцию: 5000 долларов (около 390 000 рублей) штрафа.

У языковых моделей нет внутреннего индикатора неуверенности, доступного пользователю. Они всегда генерируют ответ, даже когда информации недостаточно. Если в обучающих данных мало примеров узкоспециализированных судебных дел, модель экстраполирует на основе похожих контекстов: она видела тысячи юридических документов, запомнила их структуру и создаёт новые по тому же шаблону. Результат выглядит убедительно, но содержание может быть полностью ложным.

Медицинский диагноз от ИИ: где критична точность

В медицине галлюцинации смертельно опасны. Врач спрашивает ИИ‑ассистента о дозировке препарата для ребёнка. Модель выдаёт число: 15 миллиграмм на килограмм. Через несколько часов у ребёнка начинается передозировка, потому что правильная дозировка — 5 миллиграмм на килограмм.

Модель не проверяла медицинские базы данных. Она вычислила среднее значение из текстов, где встречались похожие запросы. Где‑то в обучающих данных было упоминание дозировки 15 мг/кг для другого препарата или другой возрастной группы. Модель соединила контексты и выдала число.

Независимые исследования показывают, что GPT‑3.5 генерирует фактически неверную информацию в 15–20% случаев при ответах на специализированные вопросы. Официальные материалы OpenAI указывают, что GPT‑4 улучшил показатели на 40% по внутренним тестам на достоверность, что снижает ошибки до примерно 10–12% в зависимости от типа задач. Но даже 10% ошибок в медицине неприемлемы.

Как компании измеряют достоверность ответов

Разработчики применяют три основные стратегии:

• RLHF (обучение на человеческих оценках): Reinforcement Learning from Human Feedback обучает модель на оценках людей. Если ответ содержит галлюцинацию, он получает негативную оценку, и модель корректирует веса нейросети. OpenAI применил этот метод для GPT‑4, что снизило частоту ошибок в полтора-два раза по сравнению с GPT‑3.5.
• RAG (добавление внешней базы знаний): Retrieval‑Augmented Generation работает иначе. Перед генерацией ответа модель ищет релевантные документы в проверенных источниках и строит ответ на их основе. Системы вроде Perplexity AI при каждом ответе показывают ссылки на источники. Это требует постоянного обновления базы данных и увеличивает вычислительные затраты, но снижает галлюцинации.
• Пост‑фильтрация (проверка после генерации): Другая модель или набор правил проверяет сгенерированный текст. Если утверждение содержит медицинский термин, числовые данные или юридическую ссылку, система автоматически запрашивает подтверждение из внешнего источника. Anthropic применяет этот подход в Claude, добавляя слой Constitutional AI.

Метрики вроде Perplexity (показывает, насколько модель уверена в следующем токене) помогают оценить качество, но не гарантируют отсутствие галлюцинаций. Низкая Perplexity означает, что модель уверена. Но уверенность не равна правоте.

Три правила безопасной работы с языковыми моделями

Российские стартапы, внедряющие ИИ‑ассистентов, уже сталкиваются с этими проблемами. Например, команды, работающие с Яндекс GPT и аналогичными решениями, добавляют disclaimer о возможности ошибок и механизм обратной связи. Стоимость внедрения пост‑фильтрации через API внешних fact‑checking сервисов начинается от 200–300 долларов (от 15 000 до 23 000 рублей) в месяц для малого объёма запросов.

1. Используйте ИИ как черновик, а не как источник истины. Если вы готовите медицинский документ, юридическую справку или финансовый отчёт, каждое утверждение модели должно быть проверено в первоисточниках. Это главное правило для критически важных задач.
2. Запрашивайте источники явно. Формулируйте запросы как «найди информацию о лечении гриппа и приведи источники» вместо «как лечить грипп». Модели, обученные на RAG‑архитектуре (Perplexity, Bing Chat с поиском), автоматически прикрепляют ссылки. Если модель не может дать источник, считайте информацию непроверенной.
3. Снижайте temperature для фактических запросов. Если вы используете API OpenAI, установите значение 0,1–0,3 для задач, где важна точность (расчёты, перевод технических текстов, извлечение данных). Для творческих задач (генерация идей, написание рассказов) можно оставить 0,7–0,9.

Проверка чисел и дат отдельно

Модели часто путают цифры, особенно в контекстах с большим количеством числовых данных. Если GPT назвал дату судебного решения или статистику, найдите первоисточник вручную. Копируйте ключевое утверждение, ищите в двух независимых источниках, проверяйте даты публикаций.

Можно ли полностью устранить галлюцинации в нейросетях

Полностью устранить галлюцинации невозможно без изменения фундаментальной архитектуры языковых моделей. Пока модели генерируют текст вероятностно, они будут иногда ошибаться. Исследования 2025 года в области нейросимволического ИИ (комбинация нейросетей и логических правил) показывают многообещающие результаты, но пока не масштабируются на общие задачи.

Альтернативный путь — специализированные модели, обученные только на верифицированных данных. Медицинская модель на основе рецензируемых журналов и клинических протоколов. Юридическая модель на базе официальных судебных решений и законодательных актов. Это работает для профессиональных применений, но требует огромных ресурсов на подготовку данных и постоянное обновление. OpenAI тестирует систему confidence scores, где модель помечает утверждения как «проверено», «вероятно» или «неуверенно».

Относитесь к ИИ как к младшему коллеге, который много читал, но может ошибаться. Используйте его для ускорения работы, но всегда проверяйте критически важные факты. Это баланс между эффективностью и безопасностью, который пока остаётся на стороне человека.