- Implementatie van een full-duplex architectuur voor natuurlijke gesprekken met realtime onderbrekingen.
- Agentbesturingsmogelijkheden en computergebruik om taken met meerdere stappen in het besturingssysteem te automatiseren.
- Geavanceerde integratie met Codex CLI voor programmeurs via terminalopdrachten en repositorybeheer.
- Visuele contextondersteuning via Appshots op macOS en multimodale workflows via APIMart.
Stel je voor dat je je hele computerworkflow kunt beheren door simpelweg te praten, zonder de muis neer te leggen of eindeloos commando's in te typen? De komst van GPT-Live en de nieuwe agentfuncties van ChatGPT Desktop hebben van wat ooit sciencefiction leek, een alledaags hulpmiddel gemaakt. Het gaat niet langer alleen om chatten met een AI, maar om een assistent die ziet wat je doet, je applicaties bestuurt en complexe taken coördineert, zodat jij je kunt concentreren op wat belangrijk is.
Deze evolutie betekent een enorme sprong voorwaarts in productiviteit, vooral voor mensen die constant schakelen tussen e-mails, code en vergaderingen. Door een full-duplex spraakengine te integreren en interactie met het besturingssysteem mogelijk te maken, heeft OpenAI die kleine knelpunten weggenomen die ons dagelijks tijd kosten. We gaan dieper in op hoe dit ecosysteem werkt, van de technische commando's in Codex tot de exclusieve visuele functies voor Mac, zodat u optimaal van deze mogelijkheden kunt profiteren, net zoals u ChatGPT in uw dagelijkse routine kunt integreren om uw tijd te optimaliseren.
GPT-Live: De revolutie van de natuurlijke stem
De kern van deze update is GPT-Live, een systeem dat gebruikmaakt van een full-duplex architectuur . In tegenstelling tot de oude spraakmodus, die werkte als een walkie-talkie (je sprak, de AI verwerkte het en reageerde vervolgens), luistert en spreekt GPT-Live gelijktijdig. Dit betekent dat je de AI midden in een zin kunt onderbreken en dat deze direct reageert door je pauzes, toonhoogte en zelfs aarzelingen te detecteren, waardoor het gesprek vloeiend en menselijk aanvoelt.
Deze engine is beschikbaar voor iOS, Android en het web, maar komt pas echt tot zijn recht in de desktopversie. Voor macOS-gebruikers is er een pareltje genaamd Appshots , waarmee de AI de visuele context van het actieve venster kan zien. In feite "ziet" de spraakassistent wat je bekijkt, waardoor je niet langer de omslachtige taak hebt om het scherm te beschrijven zodat de assistent je van specifieke informatie kan voorzien.
Het bureaublad verbeteren met agentbesturing en computergebruik.
De krachtigste functie van de desktopversie is niet de spraak zelf, maar wat deze kan doen terwijl u spreekt. Dankzij agentbesturing kunt u workflows met meerdere stappen delegeren. U kunt de app bijvoorbeeld vragen om bonnetjes die verspreid over een map liggen te verzamelen en in een spreadsheet te ordenen, of om onderzoeksnotities te analyseren en een gestructureerd rapport te schrijven zonder dat u bij elke stap hoeft in te grijpen.
Bovendien maakt de ondersteuning voor computergebruik het mogelijk dat ChatGPT rechtstreeks met de interface van uw computer communiceert, waardoor applicaties kunnen worden geopend en bestanden kunnen worden doorzocht. Voor meer technisch onderlegde gebruikers biedt de integratie met Chat, Work en Codex de mogelijkheid om taken in deze drie omgevingen te coördineren met één spraakopdracht. Dit stroomlijnt het aanmaken van pull requests of het debuggen van code in realtime, terwijl u uw handen aan het toetsenbord kunt houden.
De Codex CLI en geavanceerde commando's onder de knie krijgen
Voor degenen die de voorkeur geven aan de terminal, biedt Codex CLI een zeer nauwkeurige controle. Met behulp van commando's met een schuine streep, zoals /model om de AI te veranderen Om de planningsmodus te activeren, kunt u de softwareontwikkeling niet-interactief beheren met /plan. U kunt ook codebeoordelingen uitvoeren met codex review of communiceer met de cloud via codex cloudwaardoor AI de verschillen direct op de lokale repository kan toepassen.
Binnen de TUI (terminalinterface) zijn er sneltoetsen die de workflow stroomlijnen, zoals het gebruik van @ om naar bestanden in de werkruimte te zoeken of ! om lokale shell-opdrachten uit te voeren. De mogelijkheid om sessies te forken met /fork stelt je in staat om verschillende benaderingen van een oplossing te verkennen zonder het oorspronkelijke gesprek uit het oog te verliezen – essentieel bij complexe programmeerprojecten, vooral als je lokale AI-inferentie op macOS wilt uitvoeren voor meer snelheid.
Gezondheids- en welzijnsbeheer op de desktop
ChatGPT Desktop heeft zich ook bewezen als een handige tool voor het bijhouden van je persoonlijke gezondheid. Hoewel het geen vervanging is voor een medische diagnose , is het ontzettend nuttig voor het registreren van symptomen of het bijhouden van je gezondheidstraject. Je kunt pdf's van medische analyses uploaden en de tool vragen om termen in eenvoudige taal uit te leggen, of spraakopdrachten gebruiken om snel symptomen te noteren zonder te hoeven typen.
Privacy is hier een cruciaal aspect. Voor gevoelige gegevens raden we ten zeerste aan om Tijdelijke Chat te gebruiken . Dit voorkomt dat informatie in de chatgeschiedenis wordt opgeslagen of gebruikt wordt om modellen te trainen. Het is belangrijk om te onthouden dat chats niet end-to-end versleuteld zijn, dus voorzichtigheid met persoonlijke gegevens is geboden.
Externe integraties en APIMart
Om de workflow naar een hoger niveau te tillen, komt APIMart in beeld. Het fungeert als een brug naar meer dan 500 verschillende modellen via één enkel eindpunt . Hierdoor kan een spraakopname op de desktop worden omgezet in complexe multimodale output, zoals cinematische videoclips, met behulp van Kling V3 Omni of Sora 2.
Dit ecosysteem maakt het mogelijk om te beginnen met een gesproken idee, vervolgens een ChatGPT-agent in te zetten en uiteindelijk asynchrone videoweergave op de achtergrond te realiseren. Het is de perfecte combinatie van eenvoudige spraakinvoer en de krachtige output van de meest geavanceerde API's op de markt.
Beschikbaarheids- en configuratiehandleiding
- Vliegtuigen: Full-duplex spraak is gratis, maar voor agentbeheer, computergebruik en appshots zijn abonnementen vereist. Plus, Pro, Business, Edu of Enterprise.
- machtigingen: Op Windows en Mac is het essentieel om microfoontoegang in te schakelen, en in het geval van computergebruik is dat ook nodig. systeemtoegangsrechten.
- platforms: Hoewel de stem universeel is, Appshots is exclusief voor macOS. Voorlopig dwingt dit Windows-gebruikers ertoe hun vensters visueel te beschrijven.
De integratie van GPT-Live en de volledige controle over de pc transformeren de computer tot een verlengstuk van ons denken, waarbij de kloof tussen intentie en uitvoering minimaal is dankzij agentorkestratie en realtime spraakverwerking.
Gepassioneerd schrijver over de wereld van bytes en technologie in het algemeen. Ik deel mijn kennis graag door te schrijven, en dat is wat ik in deze blog ga doen: je de meest interessante dingen laten zien over gadgets, software, hardware, technologische trends en meer. Mijn doel is om u te helpen op een eenvoudige en onderhoudende manier door de digitale wereld te navigeren.