- Secondo pilota La visione arriva a Android e consente di interagire con l'ambiente tramite la telecamera del cellulare.
- La nuova funzionalità integra l'analisi visiva in tempo reale e la lettura dei contenuti sullo schermo.
- Copilot Vision fa parte di una serie di otto importanti aggiornamenti dell'assistente di Microsoft.
- Disponibile nell'app Copilot per Android e iOS, con funzioni espanse in Windows.
Microsoft ha introdotto una nuova funzionalità visiva nel suo assistente AI Copilot, chiamata Copilot Vision, ora disponibile sui dispositivi Android . Questa funzione consente all'assistente di interpretare ciò che l'utente vede attraverso la fotocamera o ciò che appare sullo schermo del telefono, ampliando così le possibilità di interagire con la tecnologia in modo più naturale e intuitivo.
Con questa implementazione, Copilot si allinea al trend degli assistenti digitali che vanno oltre la tastiera , introducendo funzionalità multimodali che gli consentono di interpretare immagini, video e contenuti visivi in tempo reale. Questa caratteristica non solo rappresenta un passo importante per l'intelligenza artificiale mobile di Microsoft , ma si pone anche in diretta concorrenza con offerte simili di aziende come Google , in particolare con il suo sistema Gemini Live. Per saperne di più, potete consultare l'articolo su Jules, l'IA di Google.
Cos'è Copilot Vision e come funziona?
Copilot Vision è una funzionalità che consente all'assistente di Microsoft di osservare attraverso la fotocamera del telefono o di interpretare ciò che viene visualizzato sullo schermo, fornendo assistenza contestuale in tempo reale . Dall'analisi delle immagini memorizzate all'interpretazione di video in diretta, Copilot può ora interagire con l'ambiente visivo dell'utente in modo più diretto.
Ad esempio, un utente può puntare la fotocamera verso una pianta e Copilot sarà in grado di identificarne la specie e offrire consigli per la sua cura . È anche possibile puntare la fotocamera verso una stanza della casa e ricevere suggerimenti di arredamento, rendendo l'assistente uno strumento utile per molte attività quotidiane. Questo è ulteriormente migliorato dalla personalizzazione dei suggerimenti di Copilot, come descritto in Personalizzazione dei suggerimenti con GitHub Copilot.
Sui dispositivi Android, la funzionalità è disponibile tramite l'app ufficiale Copilot , sebbene l'accesso completo sia attualmente limitato agli abbonati a Copilot Pro in alcuni paesi. Tuttavia, la tecnologia è già stata progressivamente attivata su diversi dispositivi e si prevede che la sua disponibilità si estenderà presto.
Un'esperienza visiva anche su Windows
Oltre ai dispositivi mobili, Copilot Vision è stato integrato anche in Windows come parte della nuova applicazione nativa Copilot . Questa versione dell'assistente è in grado di leggere il contenuto dello schermo mentre l'utente lavora con diverse applicazioni o documenti.
Questa funzionalità rileva le finestre attive, interpreta i contenuti web o i documenti aperti e consente di interagire direttamente con essi . Quindi, se stai modificando una presentazione o navigando in una pagina web complessa, Copilot può aiutarti a comprendere la grafica, riorganizzare i contenuti o persino eseguire attività senza cambiare finestra . Le capacità analitiche di Copilot sono simili a quelle del nuovo Copilot Vision, che sta rivoluzionando la navigazione web.
Per accedere rapidamente a questa funzione sui computer, è sufficiente premere la combinazione di tasti Alt + Spazio . È disponibile anche l'interazione vocale tenendo premuta la stessa combinazione di tasti per due secondi.
Copilot Vision e la concorrenza: intelligenza artificiale visiva in tempo reale
L'arrivo di Copilot Vision su Android coincide con il lancio di funzionalità simili negli assistenti virtuali di altre importanti aziende tecnologiche . Google, ad esempio, ha recentemente presentato Gemini Live, che consente anch'esso l'analisi in tempo reale di ciò che viene ripreso dalla fotocamera del dispositivo.
Entrambe le proposte si concentrano su un'esperienza multimodale su dispositivi mobili , ma Microsoft si distingue per la sua integrazione diretta in Windows e per un ecosistema consolidato attorno a Copilot. La strategia mira a rendere l'assistente un hub centrale per la produttività, l'organizzazione e il supporto quotidiano, come menzionato nell'analisi dell'imminente cambiamento nelle modalità di ricerca delle informazioni.
Dalla consulenza sui contenuti web all'assistenza nelle attività visive quotidiane , Copilot Vision si propone di coprire un'ampia gamma di utilizzi, eliminando le barriere tra il mondo digitale e quello fisico.
Altre funzionalità di Copilot migliorate con l'aggiornamento
L'aggiornamento che introduce Copilot Vision fa parte di una serie più ampia di miglioramenti che Microsoft ha recentemente aggiunto al suo assistente basato sull'intelligenza artificiale . In totale, Copilot ha ricevuto otto funzionalità chiave che ne ampliano l'utilità quotidiana:
- Memorie: consente a Copilot di ricordare preferenze, abitudini o date importanti, sempre con la possibilità di personalizzare il livello di privacy.
- Azione: L'intelligenza artificiale può svolgere compiti per te, come acquistare biglietti, effettuare prenotazioni o inviare regali.
- Pagine: uno strumento per creare spazi di lavoro organizzati e visivi in cui esprimere idee o gestire progetti.
- Podcast: genera contenuti audio in base agli interessi o agli argomenti selezionati dall'utente.
- Ricerca approfondita: consente di effettuare ricerche complesse, analizzando documenti e fonti online.
- Shopping: ti aiuta a confrontare i prodotti, monitorare i prezzi e individuare automaticamente le offerte.
- Cerca: Un'esperienza di ricerca migliorata su Bing con risposte generative e riferimenti chiari.
Questi strumenti posizionano Copilot come una piattaforma di assistenza versatile , che va oltre la semplice conversazione vocale o testuale. Con Vision come complemento visivo, l'ecosistema si completa con un'interfaccia più ricca e maggiormente connessa all'ambiente del mondo reale. Per saperne di più sulle funzionalità di Copilot, vi invito a leggere l'articolo su Microsoft Security Copilot e gli agenti AI.
Privacy, controllo e disponibilità
Microsoft ha sottolineato l'importanza della privacy in queste nuove funzionalità , assicurando agli utenti il pieno controllo sulle informazioni archiviate o memorizzate. Tramite un pannello delle impostazioni, gli utenti possono abilitare, limitare o disabilitare funzionalità come Memoria, nonché gestire le autorizzazioni di accesso alla fotocamera e ai contenuti visivi.
Nel caso di Copilot Vision, l'accesso alla fotocamera non è costante ; si attiva solo quando l'utente lo autorizza esplicitamente. In questo modo, l'azienda mira a evitare confusione con altre funzionalità come Recall, attualmente in versione beta, che scatta automaticamente foto per un utilizzo successivo.
Attualmente, Copilot Vision è disponibile nella sua fase iniziale per gli utenti Android e iOS che utilizzano l'app mobile Copilot . Su Windows, la funzionalità deve essere installata manualmente oppure gli utenti devono attendere il rilascio graduale nel canale Insider. Microsoft ha confermato che l'attivazione avverrà in base alla regione, al livello di abbonamento e alla piattaforma.
Con l'integrazione della visione artificiale e della lettura dello schermo, Copilot compie un ulteriore passo nella sua trasformazione in un assistente digitale davvero completo . Il suo potenziale non si limita a rispondere a domande o a eseguire semplici comandi ; inizia a interpretare il mondo come lo interpreta l'utente.
Dall'identificazione di oggetti di uso quotidiano all'assistenza in progetti accademici, fino al supporto in attività professionali, la proposta mira a estendere l'utilizzo dell'intelligenza artificiale a una più ampia gamma di applicazioni personali e funzionali . Il tutto con chiari controlli sulla privacy, opzioni di personalizzazione e un'implementazione che si integra perfettamente con l'ecosistema Microsoft.
L'arrivo di Copilot Vision su Android non solo aggiunge un ulteriore strumento visivo al rifugio dell'intelligenza artificiale quotidiana: ridefinisce anche il modo in cui interagiamo con i nostri dispositivi e con il mondo fisico, incorporando una prospettiva tecnologica che interpreta, assiste e apprende in tempo reale.
Scrittore appassionato del mondo dei byte e della tecnologia in generale. Adoro condividere le mie conoscenze attraverso la scrittura, ed è quello che farò in questo blog, mostrarti tutte le cose più interessanti su gadget, software, hardware, tendenze tecnologiche e altro ancora. Il mio obiettivo è aiutarti a navigare nel mondo digitale in modo semplice e divertente.