Google DeepMind переосмыслил указатель мыши: Gemini научили понимать, на что именно указывает пользователь

Полноценный интерфейс для ИИ — достаточно навести и сказать «сделай это»Исследователи из подразделения Google DeepMind представили концепцию AI-enabled pointer — нового типа курсора, который превращает обычное наведение мыши в полноценное взаимодействие с искусственным интеллектом. Вместо длинных текстовых промптов пользователь сможет просто указать на нужный объект и

дать короткую команду вроде «сравни это», «объясни» или «перемести сюда».В компании считают, что сам принцип взаимодействия с компьютером практически не менялся последние полвека: курсор по-прежнему обозначает лишь координаты на экране. DeepMind предлагает сделать следующий шаг — научить систему понимать не только положение указателя, но и смысл того, на что смотрит пользователь.Новая концепция строится

вокруг идеи контекстного ИИ. Сегодня большинство ИИ-инструментов работают в отдельных окнах: пользователь должен копировать текст, загружать изображения или самостоятельно описывать проблему. В Google хотят убрать этот барьер и встроить ИИ прямо в повседневную работу с интерфейсом.Источник: Google DeepMindНапример, пользователь сможет навести курсор на таблицу в PDF-файле и попросить «сделать график», выделить рецепт и сказать «увеличь ингредиенты вдвое», или указать на фотографию здания и

запросить «проложи маршрут». Система будет автоматически понимать контекст — где находится объект, что именно выбрано и какое действие логично выполнить.В основе концепции лежат четыре принципа, которые Google считает ключевыми для будущих интерфейсов с ИИ. Первый — отказ от «ИИ-детуров», когда человеку приходится переключаться между приложением и отдельным чат-ботом. Второй — автоматическое понимание визуального контекста вокруг

курсора. Третий — использование естественного человеческого языка вместо промптов. И четвёртый — превращение элементов интерфейса из набора пикселей в «осмысленные сущности»: адреса, даты, объекты, рестораны, документы и другие элементы, с которыми ИИ может работать напрямую.По сути, DeepMind пытается перенести в интерфейс естественную человеческую модель общения, где люди постоянно комбинируют речь и жесты. Вместо длинных инструкций

человек обычно говорит: «передвинь это сюда» или «исправь вот здесь», а собеседник понимает контекст по жестам и ситуации. В Google считают, что современные мультимодальные модели вроде Gemini уже достаточно развиты, чтобы реализовать такую механику и для компьютеров.Компания уже начала

внедрять элементы новой концепции в свои продукты. В браузере Google Chrome появилась возможность вызывать Gemini поверх веб-страницы и задавать вопросы о конкретных элементах сайта. Пользователь может выделить несколько товаров и попросить сравнить их или указать место в комнате на изображении и запросить визуализацию новой мебели.Кроме того, Google анонсировала функцию Magic Pointer для будущих ноутбуков Googlebook —

устройств, которые компания проектирует как платформу для постоянного взаимодействия с ИИ. Экспериментальные функции также тестируются в Google AI Studio и лаборатории Google Labs Disco.Фактически речь идёт о попытке переосмыслить сам интерфейс персонального компьютера в эпоху генеративного ИИ. Если раньше основным способом общения с компьютером были клавиатура и мышь, то теперь Google предлагает сделать курсор своего рода

«лазерной указкой» для ИИ-агента, который понимает не только команды, но и намерение пользователя.

Google DeepMind переосмыслил указатель мыши: Gemini научили понимать, на что именно указывает пользователь

Сообщает www.ixbt.com

Новость из рубрики: Технологии и Hi-Tech

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ Новости Недели

21:00, 04 Май Google заменяет стандартного помощника в автомобилях на ИИ Gemini Апгрейд затронет миллионы машин с Google built-in, включая модели GM, Polestar и Volvo, выпущенные с 2022 годаКомпания Google объявила о начале масшт...

13:00, 05 Май Google Gemini на iOS неожиданно обновился и получил новый интерфейс Компания Google начала распространять обновленную версию приложения Gemini для iOS. Первые изменения заметили пользователи Reddit, которые опубликова...

23:00, 12 Май Google представила ноутбуки Googlebook с глубокой интеграцией Gemini Intelligence На мероприятии The Android Show компания Google представила новую категорию ноутбуков под названием Googlebook. Эти устройства призваны объединить вс...

12:00, 24 Апр Google рассказала, когда выйдет новая Siri с Gemini на iPhone, iPad и Mac В феврале стало понятно, что новую Siri с ИИ в iOS 26.4 мы не увидим, и срок выхода опять переносится. Но в череде этих сдвигов наконец-то наметился ...

11:00, 30 Апр Google Gemini научился создавать документы во всех популярных форматах прямо в чате Новая функция позволяет быстро экспортировать идеи в файлы без копирования и ручного форматированияGoogle Gemini получил обновление, которое расширяе...

08:00, 29 Апр Google готовит редизайн иконок для пакета Google Workspace: Gmail, Google Drive и других приложений Компания Google готовит масштабное визуальное обновление для сервисов экосистемы Google Workspace, о чем эксклюзивно сообщил портал 9To5Google. Новый...

11:00, 19 Апр Хитрость, которую должен знать каждый пользователь Snapchat Если вы пользователь Snapchat, который когда-либо имел несчастье использовать приложение на телефоне Android, то вы наверняка уже в курсе, как хорошо...

10:00, 13 Май Нейросеть из Иннополиса научили предсказывать взгляд врача при чтении рентгена Учёные Университета Иннополис создали нейросеть, которая предсказывает, на какие участки рентгеновского снимка смотрит врач и как долго. Модель обуча...

01:00, 08 Май Google представила сервис Google Health с ИИ, который придет на смену Fitbit После нескольких месяцев тестирования Google заменяет фитнес-приложение Fitbit на платформу Google Health, объединяющую в себе классические возможнос...

14:00, 24 Апр Google может переименовать Fitbit в Google Health Компания Google, похоже, готовит масштабный ребрендинг сервиса Fitbit, который затронет как мобильное приложение, так и подписку Premium. По данным и...

10:00, 24 Апр Почему так важно понимать динамику цен на золото прямо сейчас Золото веками считалось одной из надёжных форм сохранения стоимости, особенно в периоды нестабильности. Сегодня его роль снова выходит на первый план...

21:55, 17 Апр Горизонтальные или вертикальные ёмкости для воды: что подойдёт именно вам Здравствуйте, дорогие друзья. Меня зовут Дмитрий, я работаю экспертом по промышленной таре и упаковке в компании ВЕРТА-ТАРА. В этой статье я расскажу...

19:00, 05 Май Почему черемуха цветет именно тогда, когда возвращается мороз Черемуха не может влиять на погоду, но все равно является хорошим маркером весны Почти каждую весну повторяется одна и та же история: после нескольки...

13:00, 09 Май Почему аккумулятор чаще всего умирает именно весной, а не зимой Автомобильный аккумулятор после зимы часто оказывается в более плачевном состоянии, чем в разгар морозов. Парадокс, но именно с приходом тепла многие...

13:00, 12 Май Жена Тикнизяна Ромашкина: «Футбол что, квантовая физика? Нет. Начинаешь что-то понимать, а вместо поощрения – «эскорт, шлюха». Мужчинам легче, потому что они в этом с детства» Яна Ромашкина, ведущая «Матч ТВ» и жена защитника « Црвены Звезды » Наира Тикнизяна , в интервью Спортсу’‘ высказалась о предвзятом отношении к женщи...

14:00, 12 Май ChatGPT, Gemini и Claude не договорились о профессиях под ударом ИИ Экономисты из Северо-Западного и Американского университетов сравнили ответы ChatGPT-5, Gemini 2.5 и Claude 4.5 на один неприятный вопрос: чью работу...

20:00, 05 Май Подписка на ChatGPT, Gemini, Claude, Grok: сколько стоит и можно ли заменить их российскими нейросетями Эра бесплатного ИИ постепенно уходит: за скорость, отсутствие лимитов и продвинутые модели всё чаще нужно платить. Но стоит ли отдавать $20 за ChatGP...

12:00, 18 Апр Что и когда покажут на Google I/O 2025 Google официально объявила даты ежегодной конференции разработчиков Google I/O 2025: мероприятие состоится 20 и 21 мая в амфитеатре Shoreline в Маунт...

06:00, 09 Май Google выпустила фитнес-браслет Fitbit Air Google официально анонсировала Fitbit Air – фитнес-трекер нового поколения, краткий предварительный показ которого состоялся в марте этого года. Отли...

15:00, 18 Апр Google согласился выплатить $135 млн владельцам Android Google согласился на предварительное урегулирование на $135 млн по коллективному иску о том, что Android-смартфоны без согласия пользователей отправл...

16:00, 07 Май В Сеть попали характеристики всех моделей Google Pixel 11 Подробные характеристики всей линейки смартфонов Google Pixel 11, включая Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL и складную модель Pixel 11 Pro Fold...

20:00, 13 Май Google упростила передачу файлов между Android и iPhone Google объявила о расширении возможностей обмена файлами между Android-устройствами и iPhone. Обновление касается сервиса Quick Share и направлено на...

14:00, 04 Май План ЕС заставить Google делиться поисковыми данными раскритиковали Евросоюз предложил новый закон в рамках «Закона о цифровых рынках» (DMA), который обяжет Google передавать другим компаниям огромные объёмы поисковых...

18:00, 28 Апр Сотни сотрудников Google потребовали отказаться от военных контрактов Более 560 работников, включая руководителей и исследователей DeepMind, предупредили о рисках применения ИИ в военных целях и призвали Google не работ...

03:00, 22 Апр Лучшие простые телефоны с YouTube и Google Maps в 2026 году На фоне доминирования смартфонов часть пользователей вновь обращает внимание на более простые мобильные устройства. Речь идёт о так называемых «дмп-ф...

10:00, 13 Май Разработчики GrapheneOS обвинили Google и Apple в «усложнении жизни» конкурентов Проект GrapheneOS заявил, что Google и Apple намеренно усложняют жизнь другим разработчикам и устройствам. По словам команды, создающий альтернативну...

10:00, 13 Май Google впервые раскрыла хакеров, использующих ИИ для обнаружения опасной уязвимости Google сообщила, что впервые обнаружила хакерскую группу, которая, вероятно, применяла ИИ для поиска уязвимостей нулевого дня. Это ошибка в программе...

01:00, 25 Апр По соцсетям разошёлся скриншот Google Карт со змееподобным объектом у побережья Судя по соцсетям, в океане происходит что-то неладное. То у берегов Франции находят 130-метровый скелет доисторического змея, то мифический Левиафан ...

03:00, 11 Май Google ekranı olmayan Fitbit Air fitness-bilərziyini təqdim etdi Google yeni Fitbit Air fitness-bilərziyini təqdim edib. Ekransız dizayna sahib olan cihazın Whoop və Oura kimi məhsullara rəqib olacağı gözlənilir. F...

05:00, 06 Май От Google до Alibaba: умные очки с дополненной реальностью становятся массовыми Важнейшим трендом MWC 2026, помимо смартфонов, стало массовое появление умных очков и устройств дополненной реальности. Сразу несколько технологическ...

23:00, 30 Апр Виртуальная примерка и многое другое: в «Google Фото» появился цифровой ИИ-гардероб Функция станет доступна летом 2026 года сначала на устройствах с Android, а затем на iOSКомпания Google представила новую функцию для Google Photos (...

15:00, 05 Май Основатель Google Сергей Брин и его девушка надели значки с иранским флагом на Met Gala Основатель Google Сергей Брин и его девушка, блогерша Джерелин Гилберт-Сото, появились на ковровой дорожке Met Gala с необычными значками: на них был...

15:00, 08 Май Google выпустила фитнес-браслет без экрана за $99 — и он умеет то, чего не может Apple Watch Google показала Fitbit Air — фитнес-браслет без дисплея, который ставит на длительную автономность и пассивный мониторинг здоровья. Цена — $99, старт...

04:00, 10 Май Запросы, связанные с Днём Победы, лидируют на Украине сегодня, — данные сервиса Google Trends 9 мая 2026 года, несмотря на все попытки официального Киева переписать историю и календарь, украинский сегмент интернета взорвался поисковыми запроса...

23:00, 30 Апр Google Pixel 11 опять не будет тянуть игры. Появились новые подробности о чипе Tensor G6 В сети появились подробности о чипе Tensor G6, который, по слухам, станет основой линейки Google Pixel 11. Согласно утечке, процессор получит необычн...

14:00, 02 Май Пентагон не договорился с Anthropic: военные будут использовать решения SpaceX, OpenAI, Google, Nvidia, Reflection AI, Microsoft и Amazon Web Services Anthropic пока за бортомПентагон заявил в пятницу, 1 мая, что достиг соглашений с семью компаниями, занимающимися искусственным интеллектом, о развер...

23:00, 18 Апр «Если вы не используете iPhone или Google Pixel, разблокировка по лицу может представлять риск». Авторы Which раскрыли масштаб проблемы с этой технологией Обычная камера зачастую не обеспечивает безопасностьАвторы портала Which опубликовали статью, где рассказали о том, что большинство Android-смартфоно...

08:00, 09 Май Google анонсировала Fitbit Air — фитнес-трекер без экрана Fitbit Air за $99 Google официально представила Fitbit Air — компактный фитнес-трекер без дисплея, ориентированный на круглосуточный мониторинг физической активности и...

19:00, 18 Апр Дефицит процессоров уже более остро выражен, чем дефицит памяти. Алгоритм Google TurboQuant потенциально может лишь усугубить катастрофу Техпроцесс Intel 18A может облегчить проблему, но не решит еёПохоже, следующей проблемой рынка ПК станут процессоры. Как сообщает ресурс DigiTimes, д...

23:00, 30 Апр Немцы представили нетипичные смартфоны Volla Phone Plinius и Volla Phone Plinius Plus: съемная батарея 5300 мА·ч, прочный корпус, защита IP68 и Android без сервисов Google Съемная батарея в современном смартфоне встречается крайне редкоНемецкая компания Volla анонсировала два новых смартфона — Volla Phone Plinius и Voll...