Нейросеть учится видеть будущее. Но она не понимает прошлого. Ребёнок осваивает велосипед за час. Нейросети нужны миллионы попыток для той же задачи.
Илья Суцкевер, соучредитель OpenAI, сформулировал тезис, который меняет стратегию развития ИИ. Эпоха масштабирования заканчивается. Данные конечны. Индустрия возвращается к исследованиям. Но теперь с новым вызовом: научить модели обобщать так же эффективно, как люди.
Три эпохи развития ИИ
2012–2020: эпоха исследований. Архитектуры менялись быстро. Свёрточные сети, рекуррентные модели, трансформеры. Каждый прорыв требовал новых идей, а не просто больших вычислений.
2020–2025: эпоха масштабирования. Претренинг на огромных текстовых корпусах стал решением. Не нужно было вручную размечать данные. Законы масштабирования позволяли предсказывать улучшение качества при увеличении размера модели. Индустрия научилась превращать вычисления в качество по предсказуемой формуле.
С 2025 года начинается новая эпоха исследований. В ноябре 2024 года Суцкевер заявил Reuters: преимущества простого масштабирования данных и вычислений заметно снизились. На конференции NeurIPS в декабре 2024 года он отметил:
«Мы достигли peak data. У нас только один интернет».
Данные для претренинга заканчиваются. Весь доступный текст интернета уже использован. Компании тратят больше вычислений на обучение с подкреплением, чем на претренинг. Но это не решает фундаментальную проблему. Простое масштабирование больше не работает.
Окно возможностей для России
В России этот переход открывает стратегическое окно. Яндекс запустил исследовательскую лабораторию YandexGPT Research в 2024 году с фокусом на эффективность обучения. Сбер инвестировал 2 млрд рублей в центр исследований ИИ при МФТИ. Skoltech увеличил набор на программы по машинному обучению на 40% в 2024 году.
Это окно возможностей для страны, которая не может конкурировать в доступе к передовым чипам из-за санкций. Конкурентное преимущество теперь в фундаментальных исследованиях обобщения и эффективности обучения.
Фундаментальная проблема обобщения
Современные модели обобщают хуже людей. Это не просто вопрос эффективности обучения. Речь о надёжности и способности передавать стиль мышления без явной функции вознаграждения.
Человек может освоить новую профессиональную область, изучив несколько примеров и общие принципы. GPT-4 требует 10 000 размеченных примеров для достижения 90% точности на новой задаче. Человеку достаточно 10–20 примеров для той же точности. Это различие не количественное. Оно качественное.
Суцкевер объясняет «неровность» современных моделей через манипулирование системой вознаграждений. Обучение с подкреплением сейчас сильно ориентировано на хорошие результаты на конкретных тестах. Модели учатся обманывать метрики, а не решать задачи. Это проявление закона Гудхарта: когда метрика становится целью, она перестаёт быть хорошей метрикой.
Эмоции как эволюционная функция ценности
Суцкевер предлагает элегантную редукцию. Эмоции — это мощная, эволюционно закреплённая функция ценности. В терминах машинного обучения это механизм оценки состояний и действий, который природа оттачивала миллионы лет.
Современные функции оценки в обучении с подкреплением примитивны по сравнению с биологическими. Они оценивают краткосрочные награды в узко определённых средах. Эволюция же закодировала высокоуровневые желания: стремление к социальному уважению, любопытство, страх перед неизвестным.
Это до сих пор загадка оптимизации. Как простой эволюционный процесс создал такие сложные, обобщаемые механизмы оценки? Если мы поймём это, сможем создать искусственные функции оценки, которые радикально повысят эффективность обучения моделей.
SSI: ставка на новый базовый рецепт
Safe Superintelligence Inc., компания Суцкевера, — это ставка на решение проблемы обобщения. Он запустил SSI в июне 2024 года с фокусом на разработку безопасного сверхинтеллекта. В сентябре 2024 года компания привлекла $1 млрд (≈79 млрд ₽) финансирования.
SSI позиционируется как «straight-shot» лаборатория с одной целью: разработка безопасного сверхинтеллекта. У SSI достаточно вычислений для доказательства концепций. Но фокус не на масштабировании существующих подходов. Цель — изобрести новый базовый рецепт, который даст моделям человеческую способность к обучению и обобщению.
Текущая парадигма — претренинг плюс обучение с подкреплением — не приведёт к настоящему человеческому уровню обучения.
Временной горизонт и определение сверхинтеллекта
Суцкевер прогнозирует появление ИИ человеческого уровня и выше через 5–20 лет. Сверхинтеллект он определяет конкретно: агент, который может быстро научиться любой человеческой профессии. Это приведёт к очень быстрому экономическому росту. Но не обязательно мгновенному.
Внедрение технологий в реальную экономику требует времени: инфраструктуры, регулирования, адаптации бизнес-процессов. Для России этот временной горизонт критичен. Пять лет — это достаточно времени для подготовки. Но требует начинать действовать сейчас. Перераспределение бюджетов с масштабирования инфраструктуры на фундаментальные исследования становится стратегическим приоритетом.
Почему все большие языковые модели так похожи
Претренинг на одних и тех же данных доминирует над различиями в архитектуре. GPT-4, Claude, Gemini обучались на примерно одинаковых корпусах текстов из интернета. Это определяет их базовые возможности и ограничения.
Различия начинаются только на этапе обучения с подкреплением и пост-тренинга. Именно здесь компании пытаются создать уникальные характеристики: стиль общения, специализацию в определённых областях, механизмы безопасности.
Для российских разработчиков это означает следующее. Конкурентное преимущество не в размере модели или объёме данных для претренинга. Оно в качестве пост-тренинга и специализации под конкретные задачи. YandexGPT и GigaChat могут выигрывать не масштабом, а точностью настройки под русскоязычный контекст и локальные задачи.
Что делать российским технологическим лидерам
Конец эпохи масштабирования меняет правила игры. Компании строили стратегию на наращивании вычислительных мощностей. Теперь они должны переориентироваться на исследования.
Конкретные шаги:
- Перераспределить бюджеты с закупки GPU на финансирование исследовательских команд. Инвестиции в таланты важнее инвестиций в железо.
- Сфокусироваться на двух направлениях: проблема обобщения и эффективность обучения. Это области, где Россия может конкурировать несмотря на санкции на чипы.
- Усилить партнёрства между индустрией и академией. Яндекс, Сбер, VK должны создавать совместные лаборатории с Skoltech, МФТИ, ВШЭ.
- Инвестировать в междисциплинарные исследования на стыке нейробиологии, эволюционной психологии и машинного обучения. Решение может прийти из неожиданных областей.
Для России это окно возможностей. Мы не можем конкурировать с США в доступе к передовым чипам. Но мы можем конкурировать в качестве исследований. Если создадим правильные условия для учёных и инженеров.
Следующие пять лет покажут, кто сможет изобрести новый базовый рецепт. Это будет определять лидеров следующей эпохи ИИ. Это уже не вопрос денег или железа. Это вопрос идей.
Источники:
- Reuters, интервью с Ильей Суцкевером, ноябрь 2024
- NeurIPS 2024, выступление Ильи Суцкевера
- TechCrunch, финансирование SSI, сентябрь 2024
- Яндекс, пресс-релиз о YandexGPT Research, 2024
- Сбер, отчёт об инвестициях в ИИ-исследования, 2024
