- Implementering af fuld-duplex-arkitektur til naturlige samtaler med afbrydelser i realtid.
- Agentkontrolfunktion og computerbrug til at automatisere flertrinsopgaver i operativsystemet.
- Avanceret integration med Codex CLI til programmører via terminalkommandoer og repository-administration.
- Visuel kontekstunderstøttelse via Appshots på macOS og multimodale flows via APIMart.
Forestil dig at kunne styre hele din computers arbejdsgang blot ved at tale, uden at skulle lægge musen fra dig eller skrive endeløse prompts? Med GPT-Live og de nye agentfunktioner i ChatGPT Desktop har det, der engang lignede science fiction, forvandlet det, der engang lignede science fiction, til et hverdagsværktøj. Det handler ikke længere bare om at chatte med en AI, men om at have en assistent, der ser, hvad du laver, styrer dine applikationer og orkestrerer komplekse opgaver, mens du fokuserer på det, der betyder noget.
Denne udvikling repræsenterer et kvantespring i produktivitet, især for dem, der konstant skifter mellem e-mails, kode og møder. Ved at integrere en full-duplex stemmemotor og muligheden for at interagere med operativsystemet har OpenAI elimineret de små flaskehalse, der stjæler vores tid hver dag. Vi vil dykke ned i, hvordan dette økosystem fungerer, fra tekniske Codex-kommandoer til Mac-eksklusive visuelle funktioner, så du kan få mest muligt ud af denne kraft, ligesom du integrerer ChatGPT i din daglige rutine for at optimere din tid.
GPT-Live: Den naturlige stemmerevolution
Kernen i denne opdatering er GPT-Live, et system, der bruger en fuld-duplex-arkitektur . I modsætning til den gamle stemmetilstand, der fungerede som en walkie-talkie (du talte, AI'en behandlede og svarede derefter), lytter og taler GPT-Live samtidigt. Det betyder, at du kan afbryde AI'en midt i en sætning , og den vil reagere øjeblikkeligt ved at registrere dine pauser, tonefald og endda tøven, hvilket får samtalen til at føles flydende og menneskelig.
Denne motor er blevet implementeret på iOS, Android og internettet, men den skinner virkelig i desktopversionen. For macOS-brugere er der en perle kaldet Appshots , som giver AI'en mulighed for at få visuel kontekst af det aktive vindue. I bund og grund "ser" stemmen, hvad du ser på, hvilket eliminerer det kedelige behov for at beskrive skærmen for den, så den kan hjælpe dig med specifikke oplysninger.
Forbedring af skrivebordet med agentkontrol og computerbrug
Den mest kraftfulde funktion i desktopversionen er ikke selve stemmen, men hvad den kan gøre, mens du taler. Takket være agentkontrol kan du delegere arbejdsgange med flere trin. For eksempel kan du bede den om at indsamle kvitteringer spredt ud over en mappe og organisere dem i et regneark eller analysere forskningsnotater for at skrive en struktureret rapport uden at du behøver at gribe ind i hvert trin.
Derudover giver understøttelse af computerbrug ChatGPT mulighed for at interagere direkte med din computers brugerflade, åbne programmer og navigere i filer. For mere tekniske brugere giver integration med Chat, Work og Codex dig mulighed for at koordinere opgaver på tværs af disse tre miljøer med en enkelt stemmekommando, hvilket strømliner oprettelse af pull requests eller fejlfinding af kode i realtid, mens du holder hænderne på tastaturet.
Mestring af Codex CLI og avancerede kommandoer
For dem, der foretrækker terminalen, tilbyder Codex CLI et kirurgisk kontrolniveau. Brug af skråstregkommandoer, f.eks. /model for at ændre AI'en For at gå ind i planlægningstilstand kan du administrere softwareudvikling ikke-interaktivt ved hjælp af /plan. Du kan også køre kodegennemgange med codex review eller interagere med skyen via codex cloudtillader AI at anvende diffs direkte på det lokale arkiv.
I TUI'en (terminalgrænsefladen) findes der genveje, der strømliner arbejdsgangen, f.eks. ved at bruge @ til at søge efter filer i arbejdsområdet eller ! til at udføre lokale shell-kommandoer. Muligheden for at forke sessioner med /fork giver dig mulighed for at udforske forskellige tilgange til en løsning uden at miste overblikket over den oprindelige samtale – afgørende i komplekse programmeringsprojekter, især hvis du ønsker at udføre lokal AI-inferens på macOS for at øge hastigheden.
Administration af sundhed og velvære på skrivebordet
ChatGPT Desktop har også etableret sig som en personlig sundhedsorganisator. Selvom det ikke er en erstatning for medicinsk diagnose , er det utroligt nyttigt til at spore symptomer eller vedligeholde en wellness-tidslinje. Du kan uploade PDF'er med kliniske analyser og bede den om at forklare termer i et enkelt sprog eller bruge stemmekommandoer til hurtigt at notere symptomer uden at skrive.
Privatliv er et kritisk punkt her. For følsomme data anbefaler vi kraftigt at bruge Midlertidig Chat , som forhindrer, at oplysninger gemmes i historikken eller bruges til at træne modeller. Det er vigtigt at huske, at chats ikke er end-to-end-krypterede, så forsigtighed med personlige data bør være normen.
Eksterne integrationer og APIMart
For at tage arbejdsgangen til det næste niveau kommer APIMart i spil og fungerer som en bro til over 500 forskellige modeller gennem et enkelt slutpunkt . Dette gør det muligt at transformere en stemmeoptaget anmodning på skrivebordet til kompleks multimodal output, såsom filmiske videoklip, ved hjælp af Kling V3 Omni eller Sora 2.
Dette økosystem gør det muligt for arbejdet at starte med en udtalt idé, fortsætte gennem orkestrering af en ChatGPT-agent og kulminere i asynkron videogengivelse , der kører i baggrunden. Det er den perfekte kombination af nem stemmeinput og det kraftfulde output fra de mest avancerede API'er på markedet.
Tilgængeligheds- og konfigurationsvejledning
- Planer: Fuld duplex-stemme er gratis, men agentkontrol, computerbrug og Appshots kræver abonnementer. Plus, Pro, Business, Edu eller Enterprise.
- tilladelser: På Windows og Mac er det vigtigt at aktivere adgang til mikrofonen, og i tilfælde af computerbrug er det systemadgangstilladelser.
- platforme: Selvom stemmen er universel, Appshots er eksklusivt til macOS For tiden tvinger dette Windows-brugere til visuelt at beskrive deres vinduer.
Integrationen af GPT-Live og de samlede kontrolfunktioner over pc'en forvandler computeren til en forlængelse af vores tænkning, hvor barrieren mellem intention og udførelse minimeres takket være agentorkestrering og taleflydende realtidsoplæsning.
Passioneret forfatter om bytes-verdenen og teknologien generelt. Jeg elsker at dele min viden gennem skrivning, og det er det, jeg vil gøre i denne blog, vise dig alle de mest interessante ting om gadgets, software, hardware, teknologiske trends og mere. Mit mål er at hjælpe dig med at navigere i den digitale verden på en enkel og underholdende måde.