Copilot из Microsoft теперь может просматривать веб-сайты и выполнять действия за вас

В честь своего 50-летия Microsoft обучает своего чат-бота Copilot на основе искусственного интеллекта нескольким новым трюкам.

Copilot теперь может действовать на \"большинстве веб-сайтов\", говорит Microsoft, что позволяет ему бронировать билеты, резервировать рестораны и многое другое. Бот получил возможность запоминать определенные вещи о вас, аналогично ChatGPT от OpenAI, такие как ваша любимая еда и фильмы. Теперь он также может анализировать видео в реальном времени с вашего телефона, отвечая на вопросы в контексте того, что он \"видит\".

Обновления происходят в то время, как, по сообщениям, Microsoft размышляет о пересмотре Copilot, который исторически работал на основе моделей искусственного интеллекта от OpenAI, с большим количеством его собственных технологий. Copilot часто отставал от конкурентов, таких как ChatGPT и Gemini от Google, которые в последние месяцы только увеличивали темп выпуска новых функций.

С начала пятницы Copilot может выполнять задачи в Интернете вроде \"агентных\" инструментов, таких как Operator от OpenAI. Microsoft говорит, что заключил партнерство с 1-800-Flowers.com, Booking.com, Expedia, Kayak, OpenTable, Priceline, Tripadvisor, Skyscanner, Viator и Vrbo для совместимости с первого дня. Введите запрос - например, \"отправить букет моему партнеру\", - и Copilot попытается отметить этот конкретный пункт из вашего списка дел.

По примеру поисковой системы Perplexity, Copilot теперь также может отслеживать интернет-сделки для вас. Скажите боту следить за падениями цен и распродажами на товар, и он уведомит вас, когда они произойдут, и предложит вам ссылку для покупки.

То, насколько хорошо Copilot выполняет различные задачи, не ясно. Microsoft дала немного подробностей о том, как работает возможность, и, в отличие от некоторых его конкурентов, не опубликовала данные, указывающие на области, где Copilot может испытывать трудности или понадобиться вмешательство человека.

Вероятно, веб-сайты также могут заблокировать Copilot, так же как они могут заблокировать Operator от OpenAI. Компания может сделать это, если она беспокоится, например, что меньшее количество посетителей, переходящих в ее приложение напрямую, может навредить ее рекламным доходам.

К счастью, другие новые функции Copilot менее неопределенные и потенциально спорные.

Улучшенный Copilot теперь может создавать \"подкасты\" вроде аудио-обзоров в NotebookLM от Google. Получив веб-сайт, материал для изучения или какой-либо другой источник, Copilot создаст диалог между двумя синтетическими ведущими. Как и в случае с аудио-обзорами, вы можете перебивать ведущих в любой момент, чтобы задать вопрос, и они учтут это и ответят.

На Android и iOS Copilot теперь может видеть, что находится в поле зрения камеры вашего телефона или в вашей фотогалерее, и отвечать на вопросы об этом (например, \"Что это за странный цветок?\"). И на Windows, обновленное приложение Copilot может просматривать то, что на экране вашего компьютера, искать, изменять настройки, организовывать файлы и т. д. Оно будет сначала доступно для участников программы Windows Insider начиная со следующей недели.

Этот репортаж надеется, что имеются разумные меры для предотвращения Copilot от чтения частных файлов или совершения ошибок, связанных с нарушением работы рабочего стола. Но информации было трудно найти перед сроком сдачи.

Кроме того, Copilot получила новую функцию объединения проектов Pages, которая основана на Canvas от ChatGPT и инструменте Claude Artifacts от Anthropic. Pages помещает заметки и исследования на холст, который Copilot может помочь организовать и превратить в документ.

Комплементарно страницам, новая функция глубоких исследований Copilot находит, анализирует и объединяет информацию из онлайн-источников, документов и изображений для ответа на более сложные запросы, как глубокие исследования от ChatGPT и Deep Research от Gemini.

Наконец, как уже упоминалось ранее, Copilot теперь может запомнить больше о вас. Microsoft говорит, что бот будет запоминать ваши предпочтения по мере взаимодействия с вами, предлагая \"индивидуальные решения\", \"предложения по улучшению\" и напоминания.

Если перспектива чат-бота, запоминающего интимные детали ваших прошлых разговоров, вас беспокоит, есть способ удалить отдельные \"воспоминания\" или полностью отказаться, отмечает Microsoft.

\"Copilot [дает] вам контроль через пользовательскую панель и возможность выбора того, какую информацию он запоминает о вас или полного отказа\", - написал Microsoft в блоге, предоставленном TechCrunch.