- Implementacija full-duplex arhitekture za prirodne razgovore s prekidima u stvarnom vremenu.
- Mogućnost kontrole agenata i korištenje računala za automatizaciju višekoračnih zadataka u operativnom sustavu.
- Napredna integracija s Codex CLI-jem za programere putem terminalnih naredbi i upravljanja repozitorijima.
- Podrška za vizualni kontekst putem Appshotsa na macOS-u i multimodalni tokovi putem APIMarta.
Zamislite da možete upravljati cijelim radnim procesom na računalu jednostavnim govorom, bez potrebe da spustite miš ili tipkate beskrajne upute? Pa, dolazak GPT-Livea i novih agentnih mogućnosti ChatGPT Desktopa pretvorili su ono što se nekada činilo kao znanstvena fantastika u svakodnevni alat. Više se ne radi samo o čavrljanju s umjetnom inteligencijom, već o tome da imate asistenta koji vidi što radite, kontrolira vaše aplikacije i orkestrira složene zadatke dok se vi usredotočujete na ono što je važno.
Ova evolucija predstavlja kvantni skok u produktivnosti, posebno za one koji se stalno prebacuju između e-pošte, koda i sastanaka. Integracijom full-duplex glasovnog mehanizma i mogućnošću interakcije s operativnim sustavom, OpenAI je eliminirao one male uske grla koja nam svakodnevno kradu vrijeme. Udubit ćemo se u to kako ovaj ekosustav funkcionira, od tehničkih naredbi u Codexu do vizualnih značajki ekskluzivnih za Mac, kako biste mogli maksimalno iskoristiti ovu moć, slično kao što integrirate ChatGPT u svoju dnevnu rutinu kako biste optimizirali svoje vrijeme.
GPT-Live: Revolucija prirodnog glasa
Srce ovog ažuriranja je GPT-Live, sustav koji koristi full-duplex arhitekturu . Za razliku od starog glasovnog načina rada, koji je radio poput walkie-talkieja (vi ste govorili, umjetna inteligencija je obrađivala, a zatim odgovarala), GPT-Live sluša i govori istovremeno. To znači da možete prekinuti umjetnu inteligenciju usred rečenice , a ona će odmah reagirati, detektirajući vaše pauze, ton glasa, pa čak i oklijevanje, čineći razgovor tečnim i ljudskim.
Ovaj engine je implementiran na iOS-u, Androidu i webu, ali zaista blista u desktop verziji. Za korisnike macOS-a postoji dragulj pod nazivom Appshots , koji omogućuje umjetnoj inteligenciji vizualni kontekst aktivnog prozora. U osnovi, glas "vidi" što gledate, eliminirajući zamornu potrebu za opisivanjem zaslona kako bi vam mogao pomoći s određenim informacijama.
Poboljšanje radne površine agentskom kontrolom i korištenjem računala
Najmoćnija značajka desktop verzije nije sam glas, već ono što može učiniti dok govorite. Zahvaljujući kontroli agenata , možete delegirati višekoračne tijekove rada. Na primjer, možete ga zamoliti da prikupi račune razasute po mapi i organizira ih u proračunsku tablicu ili da analizira istraživačke bilješke kako bi napisao strukturirano izvješće bez vaše intervencije u svakom koraku.
Nadalje, podrška za korištenje računala omogućuje ChatGPT-u izravnu interakciju s vašim računalnim sučeljem, otvaranje aplikacija i navigaciju datotekama. Za tehnički naprednije korisnike, integracija s Chatom, Workom i Codexom omogućuje vam koordinaciju zadataka u ova tri okruženja jednom glasovnom naredbom, pojednostavljujući stvaranje zahtjeva za povlačenjem ili ispravljanje pogrešaka koda u stvarnom vremenu dok držite ruke na tipkovnici.
Savladavanje Codex CLI-ja i naprednih naredbi
Za one koji preferiraju terminal, Codex CLI nudi kiruršku razinu kontrole. Korištenjem naredbi s kosom crtom naprijed, kao što je /model za promjenu umjetne inteligencije Za ulazak u način planiranja, razvojem softvera možete upravljati neinteraktivno pomoću /plan. Također možete pokrenuti preglede koda pomoću codex review ili komunicirati s oblakom putem codex cloudomogućujući umjetnoj inteligenciji da izravno primjenjuje razlike na lokalni repozitorij.
Unutar TUI-ja (terminalnog sučelja) postoje prečaci koji pojednostavljuju tijek rada, kao što je korištenje @ za pretraživanje datoteka u radnom prostoru ili ! za izvršavanje lokalnih naredbi ljuske. Mogućnost stvaranja sesija s /fork omogućuje vam istraživanje različitih pristupa rješenju bez gubitka traga izvornog razgovora - što je ključno u složenim programskim projektima, posebno ako želite izvesti lokalno zaključivanje umjetne inteligencije na macOS- u radi povećanja brzine.
Upravljanje zdravljem i dobrobiti računala
ChatGPT Desktop se također etablirao kao osobni organizator zdravlja. Iako nije zamjena za medicinsku dijagnozu , nevjerojatno je koristan za praćenje simptoma ili održavanje vremenske crte dobrobiti. Možete prenijeti PDF-ove kliničkih analiza i zatražiti od njega da objasni pojmove jednostavnim jezikom ili koristiti glasovne naredbe za brzo bilježenje simptoma bez tipkanja.
Privatnost je ovdje ključno pitanje. Za osjetljive podatke toplo preporučujemo korištenje privremenog chata , koji sprječava spremanje informacija u povijest ili korištenje za treniranje modela. Važno je zapamtiti da chatovi nisu šifrirani od početka do kraja, stoga bi oprez s osobnim podacima trebao biti norma.
Vanjske integracije i APIMart
Kako bi se tijek rada podigao na višu razinu, APIMart dolazi do izražaja, djelujući kao most prema preko 500 različitih modela putem jedne krajnje točke . To omogućuje da se zahtjev snimljen glasom na radnoj površini transformira u složeni multimodalni izlaz, poput filmskih videoisječaka, pomoću Kling V3 Omni ili Sora 2.
Ovaj ekosustav omogućuje da rad započne izgovorenom idejom, napreduje kroz orkestraciju ChatGPT agenta i kulminira asinkronim renderiranjem videa koje se izvodi u pozadini. To je savršena kombinacija jednostavnog glasovnog unosa i snažnog izlaza najnaprednijih API-ja na tržištu.
Vodič za dostupnost i konfiguraciju
- Planovi: Potpuno dupleksni glas je besplatan, ali za kontrolu agenata, korištenje računala i Appshots potrebne su pretplate. Plus, Pro, Business, Edu ili Enterprise.
- dozvole: Na Windowsima i Macu bitno je omogućiti pristup mikrofonu, a u slučaju korištenja računala, dopuštenja za pristup sustavu.
- platforme: Iako je glas univerzalan, Appshots je dostupan isključivo za macOS Zasad ovo prisiljava korisnike Windowsa da vizualno opisuju svoje prozore.
Integracija GPT-Livea i mogućnosti potpune kontrole nad računalom transformiraju računalo u produžetak našeg razmišljanja, gdje je barijera između namjere i izvršenja minimizirana zahvaljujući orkestraciji agenata i tečnosti glasa u stvarnom vremenu.
Strastveni pisac o svijetu bajtova i tehnologije općenito. Volim dijeliti svoje znanje pisanjem, a to je ono što ću učiniti na ovom blogu, pokazati vam sve najzanimljivije stvari o gadgetima, softveru, hardveru, tehnološkim trendovima i još mnogo toga. Moj cilj je pomoći vam da se snađete u digitalnom svijetu na jednostavan i zabavan način.