- Teljes duplex architektúra megvalósítása a természetes beszélgetésekhez valós idejű megszakításokkal.
- Ügynökvezérlési képesség és számítógép-használat többlépéses feladatok automatizálására az operációs rendszerben.
- Fejlett integráció a Codex CLI-vel programozók számára terminálparancsokon és adattár-kezelésen keresztül.
- Vizuális kontextus támogatás macOS rendszeren az Appshots és az APIMart multimodális folyamatai segítségével.
Képzelje el, hogy a teljes számítógépes munkafolyamatát egyszerűen beszéddel kezelheti anélkül, hogy le kellene tennie az egeret vagy végtelen számú parancsot kellene begépelnie? Nos, a GPT-Live érkezése és a ChatGPT Desktop új ügynöki képességei mindennapi eszközzé tették azt, ami egykor sci-finek tűnt. Már nem csak arról van szó, hogy egy mesterséges intelligenciával csevegjen, hanem arról, hogy van egy asszisztense, aki látja, mit csinál, irányítja az alkalmazásait, és összetett feladatokat irányít, miközben Ön a fontos dolgokra koncentrálhat.
Ez az evolúció kvantumugrást jelent a termelékenységben, különösen azok számára, akik folyamatosan váltogatnak az e-mailek, a kód és a megbeszélések között. A teljes duplex hangmotor integrálásával és az operációs rendszerrel való interakció képességével az OpenAI kiküszöbölte azokat a kisebb szűk keresztmetszeteket, amelyek nap mint nap rabolják az időnket. Elmélyedünk abban, hogyan működik ez az ökoszisztéma, a Codex technikai parancsaitól kezdve a Mac-exkluzív vizuális funkciókig, hogy a legtöbbet hozhasd ki ebből az erőből, hasonlóan ahhoz, hogyan integrálhatod a ChatGPT-t a napi rutinodba az időd optimalizálása érdekében.
GPT-Live: A természetes hang forradalma
A frissítés lelke a GPT-Live, egy full-duplex architektúrát használó rendszer . A régi hangvezérlési móddal ellentétben, amely egy walkie-talkie-hoz hasonlóan működött (te beszéltél, a mesterséges intelligencia feldolgozta, majd válaszolt), a GPT-Live egyszerre figyel és beszél. Ez azt jelenti, hogy félbeszakíthatod a mesterséges intelligenciát mondat közben , és az azonnal reagál, érzékeli a szüneteket, a hangszínt, sőt még a habozást is, így a beszélgetés gördülékenyebb és emberibb lesz.
Ez a motor már iOS-en, Androidon és weben is fut, de igazán az asztali verzióban ragyog. A macOS felhasználók számára létezik egy Appshots nevű gyöngyszem , amely lehetővé teszi a mesterséges intelligencia számára, hogy vizuálisan lássa az aktív ablak kontextusát. Lényegében a hang "látja", amit nézel, így nem kell fárasztóan leírnod neki a képernyőt, hogy konkrét információkkal segíthessen.
Az asztali környezet fejlesztése ügynöki vezérléssel és számítógép-használattal
Az asztali verzió legerősebb funkciója nem maga a hang, hanem az, hogy mit tud tenni, miközben beszélsz. Az ügynökvezérlésnek köszönhetően többlépéses munkafolyamatokat delegálhatsz. Például megkérheted, hogy gyűjtsön össze egy mappában szétszórt nyugtákat, és rendezze azokat egy táblázatba, vagy elemezze a kutatási jegyzeteket egy strukturált jelentés megírásához anélkül, hogy minden lépésnél be kellene avatkoznod.
Továbbá a Számítógépes Használat támogatása lehetővé teszi a ChatGPT számára, hogy közvetlenül kommunikáljon a számítógép kezelőfelületével, alkalmazásokat nyisson meg és fájlok között navigáljon. A technikailag igényesebb felhasználók számára a Chat, Work és Codex integrációja lehetővé teszi a feladatok koordinálását e három környezetben egyetlen hangparanccsal, egyszerűsítve a pull requestek létrehozását vagy a valós idejű kódhiba-keresést, miközben a billentyűzeten maradhat a keze.
Codex CLI és haladó parancsok elsajátítása
Azok számára, akik a terminált részesítik előnyben, a Codex CLI sebészi szintű vezérlést kínál. Perjelparancsok, például /model a mesterséges intelligencia megváltoztatásához A tervezési módba való belépéshez a szoftverfejlesztést nem interaktív módon kezelheti a /plan kapcsolóval. Kódáttekintéseket is futtathat a következővel: codex review vagy lépjen kapcsolatba a felhővel a codex cloudlehetővé téve a mesterséges intelligencia számára, hogy a különbségeket közvetlenül a helyi adattárra alkalmazza.
A TUI-n (terminálfelületen) belül olyan gyorsbillentyűk találhatók, amelyek egyszerűsítik a munkafolyamatokat, például a @ jellel fájlokat kereshetünk a munkaterületen, vagy a ! jellel helyi shellparancsokat hajthatunk végre. A /fork kapcsolóval munkamenetek elágaztatásának lehetősége lehetővé teszi, hogy a megoldáshoz különböző megközelítéseket fedezzünk fel anélkül, hogy elveszítenénk az eredeti beszélgetés fonalát – ez létfontosságú az összetett programozási projektekben, különösen akkor, ha helyi AI-következtetést szeretnénk végrehajtani macOS rendszeren a nagyobb sebesség érdekében.
Asztali egészség- és wellnessmenedzsment
A ChatGPT Desktop személyes egészségszervezőként is elismertté vált. Bár nem helyettesíti az orvosi diagnózist , hihetetlenül hasznos a tünetek nyomon követésében vagy az egészségi állapot idővonalának vezetésében. Feltölthet klinikai elemzéseket PDF formátumban, és kérheti, hogy egyszerű nyelven magyarázza el a kifejezéseket, vagy hangutasításokkal gyorsan feljegyezheti a tüneteket gépelés nélkül.
Az adatvédelem kritikus fontosságú kérdés. Érzékeny adatok esetén határozottan javasoljuk az Ideiglenes csevegés használatát , amely megakadályozza, hogy az információkat az előzményekbe mentsék, illetve modellek betanításához használják. Fontos megjegyezni, hogy a csevegések nincsenek végponttól végpontig titkosítva, ezért a személyes adatokkal való óvatosságnak kell lennie.
Külső integrációk és APIMart
A munkafolyamat következő szintre emeléséhez az APIMart jön képbe, amely egyetlen végponton keresztül hidat képez több mint 500 különböző modellhez . Ez lehetővé teszi, hogy az asztali gépen rögzített hangkérések komplex multimodális kimenetté, például filmes videoklipekké alakíthatók át a Kling V3 Omni vagy a Sora 2 segítségével.
Ez az ökoszisztéma lehetővé teszi, hogy a munka egy szóbeli ötlettel kezdődjön, egy ChatGPT ágens vezénylésén keresztül haladjon, és a háttérben futó aszinkron videó rendereléssel csúcsosodjon ki . Ez a könnyű hangbevitel és a piacon elérhető legfejlettebb API-k hatékony kimenetének tökéletes kombinációja.
Elérhetőségi és konfigurációs útmutató
- Repülők: A teljes duplex hangátvitel ingyenes, de az ügynökvezérléshez, a számítógéphasználathoz és az Appshotshoz előfizetés szükséges. Plus, Pro, Business, Edu vagy Enterprise.
- engedélyek: Windows és Mac rendszeren elengedhetetlen a mikrofon-hozzáférés engedélyezése, számítógépes használat esetén pedig a rendszer akadálymentesítési engedélyek.
- platformok: Míg a hang egyetemes, Az Appshots kizárólag a macOS-ben érhető el. Egyelőre ez arra kényszeríti a Windows-felhasználókat, hogy vizuálisan írják le az ablakaikat.
A GPT-Live integrációja és a PC feletti teljes kontrollképesség a számítógépet gondolkodásunk kiterjesztésévé alakítja, ahol az ágens-vezérelt hangvezérlésnek és a valós idejű hangfolyamatosságnak köszönhetően minimalizálódik a szándék és a végrehajtás közötti akadály.
Szenvedélyes író a bájtok és általában a technológia világáról. Szeretem megosztani tudásomat írásban, és ezt fogom tenni ebben a blogban, megmutatom a legérdekesebb dolgokat a kütyükről, szoftverekről, hardverekről, technológiai trendekről stb. Célom, hogy egyszerű és szórakoztató módon segítsek eligazodni a digitális világban.