- втори пилот Визията пристига в Android и ви позволява да взаимодействате с околната среда, използвайки мобилната камера.
- Новата функция интегрира визуален анализ в реално време и четене на екранно съдържание.
- Copilot Vision е част от набор от осем основни актуализации на асистента на Microsoft.
- Предлага се в приложението Copilot за Android и IOS, с разширени функции в Windows.
Microsoft представи нова визуална функция в своя асистент изкуствен интелект Copilot, наречен Copilot Vision, който вече може да се използва на устройства с Android. Тази функция позволява на асистента да интерпретира това, което потребителят вижда през камерата или това, което се появява на екрана на мобилния телефон, като по този начин разширява възможности за взаимодействие с технологията по по-естествен и интуитивен начин.
С тази реализация Copilot се привежда в съответствие с тенденцията на дигиталните асистенти, които надхвърлят клавиатурата., въвеждайки мултимодални възможности, които позволяват интерпретация на изображения, видеоклипове и визуално съдържание на живо. Тази функция не само бележи важна стъпка за IA Microsoft mobile, но също така се конкурира директно с подобни предложения на компании като Google, особено със своята система Близнаци На живо. За да научите повече за това, можете да се консултирате със статията за Джулс, AI на Google.
Какво е Copilot Vision и как работи?
Copilot Vision е функция, която позволява на асистента на Microsoft да наблюдава през камерата на телефона или интерпретирайте това, което се показва на екрана, за да предоставите контекстуална помощ в реално време. От анализиране на съхранени изображения до интерпретиране на видео на живо, Copilot вече може да взаимодейства с визуалната среда на потребителя по по-директен начин.
Например, потребителят може да фокусира камерата си върху растение и Copilot ще може да идентифицира неговия вид и да предложи препоръки за грижата за него.. Възможно е също така да посочите стая в къщата и да получите предложения за декорация, което превръща асистента в полезен инструмент за множество ежедневни дейности. Това се допълва от подобренията на Copilot за персонализиране на предложенията, както е описано подробно в Персонализирайте предложения с GitHub Copilot.
На устройства с операционна система Android функцията е достъпна чрез официалното приложение Copilot, въпреки че пълният достъп засега е ограничен до абонати на Copilot Pro в определени страни. Въпреки това технологията вече е постепенно активирана в няколко устройства и се очаква нейното прилагане да продължи. обхватът е разширен скоро.
Визуално изживяване и на Windows
Освен мобилните устройства, Copilot Vision е интегрирана и в Windows като част от новото вградено приложение Copilot.. Тази версия на асистента може да чете какво се появява на екрана, докато потребителят работи с различни приложения или документи.
Функционалността открива активни прозорци, интерпретира уеб съдържание или отворени документи и ви позволява да взаимодействате директно с тях.. Така че, независимо дали редактирате презентация или навигирате в сложна уеб страница, Copilot може да ви помогне да разберете графиките, да пренаредите съдържанието или дори да изпълнявате задачи, без да се налага промяна на прозореца. Възможностите за анализ на Copilot са подобни на новите Copilot Vision, който революционизира сърфирането в мрежата.
За бърз достъп до тази функция на компютри, просто натиснете клавишната комбинация Alt + интервал.. В допълнение, опцията за гласово взаимодействие, със същата клавишна комбинация, задържана за две секунди.
Vision на втория пилот и конкуренцията: Визуален AI в реално време
Пристигането на Copilot Vision на Android съвпада с пускането на подобни функции в асистенти от други големи технологични компании.. Google, например, наскоро представи Gemini Live, който също позволява анализ в реално време на това, което се вижда през камерата на устройството.
И двете предложения се ангажират с мултимодално изживяване в подвижен, но Microsoft се отличава с подхода си с директна интеграция в Windows и консолидирана екосистема около Copilot. Стратегията се стреми да превърне асистента в централна ос за производителност, организация и ежедневна помощ, както се споменава в анализа на предстоящата промяна в начина, по който търсим информация.
От сърфиране в уеб съдържание до помощ при ежедневни визуални задачи, Copilot Vision има за цел да покрие широк спектър от приложения, премахвайки бариерите между дигитален и физически свят.
Други функции на Copilot са подобрени с актуализацията
Актуализацията, представяща Copilot Vision, е част от по-широк набор от подобрения, които Microsoft наскоро добави към своя AI асистент.. Общо Copilot получи осем ключови функции, които разширяват ежедневната му полезност:
- памет: позволява на Copilot да запомни предпочитания, навици или важни дати, винаги с опция за това персонализирайте нивото на поверителност.
- Действия: AI може да изпълнява задачи вместо вас, като закупуване на билети, правене на резервации или изпращане на подаръци.
- Pages: инструмент за създаване на организирани и визуални работни пространства, където можете да изразявате идеи или да управлявате проекти.
- Podcasts: генерира аудио съдържание въз основа на интереси или теми, избрани от потребителя.
- Дълбоко изследване: позволява ви да извършвате комплексни изследвания, анализирайки документи и онлайн източници.
- Пазаруване: помага ви да сравнявате продукти, да проследявате цените и автоматично да откривате сделки.
- Търсене: Подобрено изживяване при търсене в Bing с генеративни отговори и ясни препратки.
Тези инструменти позиционират Copilot като универсална платформа за помощ., освен обикновен гласов или текстов разговор. С Vision като визуално допълнение, екосистемата е завършена с a по-богат и по-свързан интерфейс с реалната среда. За да се задълбочите във възможностите на Copilot, ви каня да прочетете статията за Microsoft Security Copilot и AI агенти.
Поверителност, контрол и наличност
Microsoft подчерта значението на поверителността в тези нови функции., като се гарантира, че потребителите имат пълен контрол върху това каква информация се съхранява или запомня. Чрез панел с настройки можете да активирате, ограничите или деактивирате функции като Памет, както и да управлявате разрешенията за достъп до камерата и визуалното съдържание.
В случая на Copilot Vision достъпът до камерата не е постоянен., но се активира само когато потребителят изрично го разреши. По този начин компанията се стреми да избегне недоразумения с други функции като Recall - в бета фаза -, които изпълнява автоматични заснемания за по-късна употреба.
Copilot Vision първоначално е достъпен за потребители на Android и iOS, използващи мобилното приложение Copilot.. В Windows функцията трябва да се инсталира ръчно или да се изчака постепенното внедряване в канала Insider. Microsoft потвърди, че ще го активира до региони, нива на абонамент и платформи.
С интегрирането на компютърно зрение и четене на екрана, Copilot прави още една стъпка в превръщането си в наистина всеобхватен дигитален асистент.. Неговият потенциал не се ограничава до отговаряне на въпроси или изпълнение команди просто, но по-скоро започва да интерпретира света така, както го прави потребителят.
От идентифициране на предмети от ежедневието, помощ при академични проекти или придружаващи професионални задачи, предложението се стреми да доближи AI до по-лични и функционални контексти на употреба.. Всичко това с ясни контроли за поверителност, опции за персонализиране и внедряване, което е в съответствие с екосистемата на Microsoft.
Появата на Copilot Vision на Android не само добавя още един визуален инструмент към подслона на ежедневния AI: той предефинира начина, по който взаимодействаме с нашите устройства и физическия свят, включвайки технологична перспектива, която интерпретира, подпомага и учи в реално време.
Страстен писател за света на байтовете и технологиите като цяло. Обичам да споделям знанията си чрез писане и това е, което ще направя в този блог, ще ви покажа всички най-интересни неща за джаджи, софтуер, хардуер, технологични тенденции и много други. Моята цел е да ви помогна да се ориентирате в дигиталния свят по лесен и забавен начин.