Databricks официально представила две технологии — LTAP и Lakehouse//RT, которые призваны устранить разрыв между операционными и аналитическими данными. Теперь компания предлагает объединить эти два мира в едином озере данных под управлением Unity Catalog, чтобы исключить задержки и сложность инфраструктуры.
Для бизнеса это означает возможность отказаться от дублирования данных. Традиционно компании поддерживали отдельные базы данных для транзакций (OLTP) и аналитики (OLAP), что создавало риск рассинхронизации. Новые продукты Databricks позволяют работать с одной копией данных, что критически важно для агентного ИИ. Системы, которые должны постоянно рассуждать и действовать на основе живых данных, не могут ждать завершения долгого конвейера передачи информации.
Технология LTAP (Lake Transactional/Analytical Processing) меняет принцип работы с данными на этапе записи. Она позволяет сохранять данные из Postgres-нативной транзакционной среды напрямую в форматах Delta или Iceberg. Это устраняет необходимость в ETL-процессах, которые десятилетиями связывали операционные и аналитические системы. По сути, транзакционный движок остается тем же, но данные сразу становятся доступными для аналитических инструментов.
Продукт Lakehouse//RT решает проблему задержек, обеспечивая мгновенный доступ к данным в озере. Инженеры представили новый движок исполнения Reyden, способный обрабатывать запросы с задержкой менее 100 миллисекунд. При этом система поддерживает производительность до 12 000 запросов в секунду, что в 16 раз быстрее существующих специализированных стеков обслуживания.
Главное преимущество архитектуры — упрощение стека. Как отметил сооснователь Databricks Рейнольд Ксин, агенты предпочитают более простые структуры, так как это позволяет им двигаться быстрее. Вместо того чтобы выбирать лучший инструмент для каждой задачи, компании теперь могут перейти на единый уровень хранения. Это снижает технический долг и упрощает управление правами доступа, так как все запросы остаются внутри системы управления Unity Catalog. Подробнее: AI-роллапы: как венчурные фонды превращают сервисные компании в технологические.
