На конференции Google I/O компания показала Project Astra — умного помощника, который работает в реальном времени и может общаться с человеком через камеру смартфона. По словам генерального директора Google DeepMind Демиса Хассабиса, в компании всегда хотели создать ИИ-помощника, который будет полезен в повседневной жизни. И, судя по видео, у Google это получилось.
На презентации показали Project Astra, который работает на базе большой мультимодальной модели Google Gemini — в формате приложения для камеры смартфона. Оно напоминает «Google Объектив», но умеет общаться с пользователем и анализировать увиденное.
В специальном ролике сотрудник Google навёл камеру смартфона на офис и спросил, есть ли в кадре то, что издаёт звуки. Project Astra ответил, что видит колонку, и она может издавать звуки. Вдобавок пользователь может взаимодействовать с ИИ с помощью набросков на экране: в ролике автор рисует стрелку, направленную на высокочастотный динамик колонки, и спрашивает, что это такое. Astra отвечает, что это твитер и он нужен для воспроизведения звуков высокой частоты. Также ИИ-помощник смог узнать город по виду из окна и сказать, чем он знаменит.
Демис Хассабис рассказал, что в будущем Astra будет доступен не только на смартфонах, но и в умных очках. Пока ИИ-помощник находится на стадии разработки, поэтому точная дата его релиза неизвестна.