- Claude'as gali valdyti „macOS“ kaip žmogus, derindamas tiesiogines integracijas, naršyklės automatizavimą ir vizualinį darbalaukio valdymą.
- Kompiuterio naudojimo, bendradarbiavimo, kodo ir siuntimo funkcijos peržiūros versijoje pasiekiamos tik „Claude Pro“ ir „Max“ prenumeratoriams, turintiems įjungtą ir prijungtą „Mac“ kompiuterį.
- „Anthropic“ teikia pirmenybę saugumui, suteikdama aiškius leidimus, izoliuodama virtualias mašinas ir rekomenduodama nenaudoti jautrių duomenų profiliuojant technologiją.
- Etaloniniuose testuose našumas pagerėjo beveik iki žmogaus lygio, tačiau sudėtingose užduotyse jis vis dar turi trūkumų ir išlieka eksperimentinėje fazėje.
Atvykimas Claude'as kaip agentas, galintis valdyti „Mac“ kompiuterį Tai žymi lūžio tašką, kaip mes naudojame dirbtinį intelektą kasdieniame gyvenime. Tai nebėra tik pokalbis su modeliu, kuris atsako į klausimus, bet tiesiogine prasme leidžiame jam „rankomis“ spustelėti, rašyti, atidaryti programas ir atlikti užduotis, kol jūs darote ką nors kita arba net nesate prie kompiuterio.
Su deriniu Claude'o kompiuterio naudojimas, Claude'o bendradarbis, Claude'o kodas ir dispečerinė funkcija„Anthropic“ testuoja ekosistemą, kurioje dirbtinis intelektas (DI) atlieka realias užduotis „macOS“ sistemoje: nuo failų klasifikavimo ir ataskaitų rengimo iki el. laiškų tvarkymo ir susitikimų koordinavimo. Visa tai yra tyrimų peržiūros etape, turint daug galimybių, bet ir aiškių apribojimų, ypač susijusių su saugumu, patikimumu ir duomenų apsauga.
Kas yra „Claude Computer Use“ ir kaip ji valdo jūsų „Mac“?
Šios naujos funkcijos pagrindas yra Claude'o kompiuterio naudojimas, modelio gebėjimas naudotis kompiuteriu taip, kaip naudotųsi žmogusUžuot apsiribojęs API integracijomis su konkrečiomis paslaugomis, Claude'as gali peržiūrėti „Mac“ ekraną per nufilmuotus vaizdus, interpretuoti tai, kas rodoma, ir paversti tai pelės judesiais, paspaudimais ir klavišų paspaudimais, kad atliktų užduotį.
Tai reiškia, kad DI Tai ne tik atsako į pranešimus pokalbių langebet tai atidaro programas, naršyti meniuJis sąveikauja su mygtukais, pildo formas ir perkelia failus tarp aplankų, kai nėra tiesioginės integracijos su reikiamu įrankiu. Jei yra ryšys su tokiomis paslaugomis kaip „Gmail“, „Google“ diskas, „Slack“ ar kalendorius, Claude'as pirmiausia bando jį panaudoti; jei ne, jis naudojasi vizualiu darbalaukio valdymu kaip paskutine priemone.
Techniniu požiūriu, Claude'as sujungia sąsajos vizualinis suvokimas ir erdvinis mąstymasModelis analizuoja nuoseklias ekrano kopijas, apskaičiuoja pikselių pozicijas, kad žymeklis būtų perkeltas virš konkrečių elementų, ir žingsnis po žingsnio vykdo veiksmus. Tai ne paprastas, griežtas scenarijus, o agentas, kuris supranta sąsajos struktūrą ir kiekvieną akimirką nusprendžia, ką daryti.
Šis metodas yra pokytis nuo klasikinės automatizacijos, kur bet koks paraiškos dizaino pakeitimas Tai galėtų visiškai sutrikdyti srautą. Čia dirbtinis intelektas gali prisitaikyti prie mygtukų, kurie keičia padėtį, netikėtų iššokančių langų ar dialogų, kurie pasirodo be įspėjimo, nors „Anthropic“ pripažįsta, kad sudėtinguose srautuose vis dar pasitaiko klaidų ir nepatikimo elgesio.
Praktiškai funkcija vartotojui pateikiama per darbalaukio programas. Claude'as Coworkas ir Claude'as Code'askur galite pateikti tokius prašymus kaip: „atidarykite projektą, sugeneruokite mėnesinę ataskaitą, eksportuokite ją į PDF ir pridėkite prie kito komandos susitikimo“. Claude'as tvarko naršymą „macOS“ ir jos programose, kad atliktų kiekvieną žingsnį.
Kaip veikia sąveika: integracijos, naršyklės ir darbalaukio valdymas
Antropic sukūrė Claude'o elgesį po to, kai integracijos lygių hierarchija siekiant sumažinti klaidas ir sumažinti saugumo riziką. Tikslas – kad visiška darbalaukio kontrolė būtų paskutinė, o ne pirmoji priemonė.
Pirmame lygyje, Claude'as bando naudoti tiesiogines integracijas Su prijungtomis paslaugomis: „Gmail“, „Google“ disku, „Slack“, kalendoriaus įrankiais, „Notion“, „GitHub“ ir kitomis palaikomomis platformomis. Jei šios paskyros susietos, dirbtinis intelektas gali skaityti el. laiškus, siųsti atsakymus, kurti įvykius, atnaujinti dokumentus arba tvarkyti problemas tiesiogiai nenaudodamas „Mac“ grafinės sąsajos.
Jei nėra konkrečios integracijos, Claude'as pereina į antrą lygį ir griebiasi automatizavimas per naršyklęPavyzdžiui, naudojant „Chrome“ plėtinį. Šiuo režimu jis manipuliuoja tinklalapiais, pildo formas ir naršo internetinėse paslaugose taip, lyg būtumėte priešais naršyklę, tačiau sutelkia dėmesį tik į tą aplinką.
Antropinis metodas leidžia tik tada, kai abu keliai neveikia arba neegzistuoja. Claude, gaukite visišką „macOS“ vizualinį valdymąČia agentas judina pelę, spusteli darbalaukio piktogramas, atidaro programas iš doko, naršo sistemos meniu, fiksuoja ekraną arba vilka failus tarp aplankų – visa tai pagal tai, ką mato kiekvienoje ekrano kopijoje.
Ši laiptuota konstrukcija padaro sistemą tvirtesnę: Naršyklių integracijos ir automatizavimas yra greitesni ir patikimesni.Nors darbalaukio naudojimas yra lankstus „viskas apimantis“ sprendimas, kai nėra kitos alternatyvos, kompromisas yra tas, kad kadangi jis remiasi nuosekliais fiksavimais, o ne nuolatiniu vaizdo srautu, trumpalaikiai pranešimai ar labai greiti sąsajos pakeitimai vis tiek gali būti praleisti.
Remiantis vidiniais testais ir lyginamaisiais rodikliais, tokiais kaip „OSWorld Verified“, „Claude Sonnet 4.6“ pasiekia apie 72,5 % tikslumą Atliekant kompiuterines užduotis, „Opus 4.6“ surenka apie 72,7 % balų, artėdamas prie apskaičiuoto žmogaus našumo tame pačiame teste (apie 70–75 %). Tačiau realiose situacijose našumas gali sumažėti, ypač kai dalyvauja netikėti dialogai ar neįprastos programos.
Siuntimas: valdykite „Mac“ nuotoliniu būdu iš „iPhone“
Kita didelė dėlionės dalis yra „Dispatch“ – funkcija, leidžianti siųsti užduotis Claude'ui iš savo mobiliojo telefono. ir leiskite dirbtiniam intelektui juos valdyti nuotoliniu būdu jūsų „Mac“ kompiuteryje. Tai panašu į virtualų asistentą, dirbantį jūsų darbalaukyje, kol esate metro, susitikime ar net ne namie.
Dispečerinė integracija su Claude'as Coworkas „macOS“ sistemoje ir su atitinkama mobiliąja programėle. Po to Susiekite „iPhone“ su „Mac“ Naudojant QR kodą, sukuriamas nuolatinis seansas, kurio metu galite siųsti instrukcijas Claude'ui: pranešimas siunčiamas jūsų kompiuteryje veikiančiam agentui, ir jis pradeda dirbti su vietinėmis programomis.
Svarbus privalumas yra tas, kad Visas apdorojimas atliekamas lokaliai „Mac“ kompiuteryjeIzoliuotoje aplinkoje (virtualioje mašinoje) sistema sumažina neteisėtos prieigos prie kitų jūsų kompiuterio dalių riziką. „iPhone“ veikia kaip nuotolinio valdymo pultas ir ryšio kanalas, tačiau sunkų darbą atlieka jūsų kompiuteris.
Antropo žanras, pavyzdžiui, parodo, kaip Claude'as gali Eksportuokite pateiktį į PDF formatą ir pridėkite ją prie kalendoriaus kvietimo be vartotojo buvimo vietoje. Taip pat buvo pastebėti darbo eigos, kai agentas peržiūri el. laiškus, pažymi svarbiausius ir parengia atsakymus, kuriuos galite peržiūrėti vėliau, arba kai jis tvarko projekto failus į konkrečius aplankus.
Ši idėja tiesiogiai kyla iš ankstesnio „Vercept“ ir jo agento „Vy“ darbo, kuris jau veikė kaip Išmanus nuotolinio valdymo pultas „Mac“ kompiuteriams debesyje„Anthropic“ įsigijus startuolį, komanda buvo integruota ir, anot jos įkūrėjų, per mažiau nei keturias bendradarbiavimo savaites sugebėjo pristatyti šias pradines galimybes.
Kas gali naudoti Claude'ą „Mac“ valdymui ir kokiomis sąlygomis?
Kol kas visa ši ekosistema Claude'o kompiuterių naudojimas, bendradarbiavimas, kodas ir dispečerinė veikla toli gražu nėra masinė.„Anthropic“ laiko jį „tyrimo peržiūros“ etape, t. y. peržiūroje, skirtoje tyrimams ir pažengusiems vartotojams, aiškiai įspėjant, kad vis dar bus klaidų, vykdymo laiko gedimų ir netikėto elgesio.
Įmonė riboja prieigą prie mokamų planų „Claude Pro“ ir „Claude Max“ abonentaiIr ji galima tik „macOS“ kompiuteriuose. Šiuo metu nėra oficialaus palaikymo „Windows“ ar „Linux“, o konkreti išleidimo data kitoms platformoms nepaskelbta.
Kalbant apie kainas, informacija šiek tiek skiriasi priklausomai nuo šaltinio ir laiko, tačiau struktūrą galima apibendrinti taip: „Claude Pro“ kainuoja apie 17–20 USD per mėnesįPriklausomai nuo regiono ir plano, kaina skiriasi, o „Claude Max“ kainuoja apie 100 USD per mėnesį. Yra „Max“ variantų su didesnėmis galimybėmis (pavyzdžiui, pakopos, kurios penkis ar dvidešimt kartų padidina „Pro“ plano naudojimą), skirtų intensyviam arba profesionaliam naudojimui.
Tik tie, kurie turi vieną iš šių prenumeratų, ir turėti įjungtą bei prie interneto prijungtą „Mac“ kompiuterįJie gali aktyvuoti darbalaukio valdymą ir siuntimo funkciją. „Cowork“ atveju virtuali mašina, kurioje vykdomi veiksmai, turi toliau veikti, kad Claude'as galėtų tęsti darbą, o tai reiškia nuolatinį išteklių ir energijos vartojimą.
Antropomorfas taip pat aiškiai pasakė, kad Šis pradinis etapas skirtas eksperimentuoti ir rinkti atsiliepimusJame aiškiai rekomenduojama netvarkyti pernelyg jautrios informacijos ar nenaudoti ypač svarbių trečiųjų šalių programų, kol jos tobulina saugumo sistemas ir apsaugos nuo netinkamo naudojimo priemones.
Saugumas, privatumas ir naudotojų kontrolė
Suteikiant dirbtiniam intelektui galią judinkite pelę ir rašykite kompiuteryje Saugumo požiūriu tai ne juokas. „Anthropic“ tai žino ir įdiegė kelis apsaugos lygius rizikai sušvelninti, nors pripažįsta, kad problema išlieka „atvira“ ir vystosi.
Norėdami pradėti su, Claude'as gali valdyti tik tas programas, kurias vartotojas aiškiai patvirtina.Kai tik dirbtinis intelektas nori dirbti su nauja programėle, sistema rodo leidimo užklausą; jei jos nesuteiksite, ji negalės pasiekti programėlės. Be to, aktyvios sesijos metu visada turite galimybę nedelsdami sustabdyti valdymą, jei pastebėsite ką nors neįprasto arba tiesiog norėsite atgauti valdymą.
Kitas svarbus aspektas yra tas Claude'as analizuoja ekrano kopijas, kad suprastų kontekstą ir padėtų aptikti įtartiną veiklą „macOS“ sistemoje.Tai reiškia, kad modelis gali perskaityti bet kokį ekrane matomą turinį: atidarytus dokumentus, pokalbius, el. laiškus, administratoriaus skydelius ir kt. Todėl „Anthropic“ rekomenduoja naudojant darbalaukio valdymą uždaryti langus su konfidencialiais duomenimis ir neleisti dirbtiniam intelektui sąveikauti su bankų sąsajomis, kriptovaliutomis ar kita ypač jautria informacija.
Įmonės vidinis tyrimas nustatė, kad ekrano pranešimų injekcija kaip vienas iš pagrindinių atakų paviršių: tai yra, kenkėjiškos instrukcijos, įterptos į tinklalapį, dokumentą ar programą, kuriomis bandoma apgauti DI, kad jis veiktų prieš vartotojo pirminį ketinimą. Naujesnės „Claude“ versijos (pvz., „Sonnet 4.6“) pasižymi žymiai didesniu atsparumu tokio tipo manipuliacijoms, palyginti su ankstesnėmis versijomis.
Nepaisant to, „Anthropic“ tvirtina, kad Technologija dar nėra paruošta itin kritinėms aplinkomsYra patikimumo apribojimų (sudėtingos užduotys, reikalaujančios daugkartinių bandymų, ilgi darbo eigos, kurios nutrūksta, jei sistemoje kas nors pasikeičia), ir vis dar kyla abejonių, kaip bus tvarkomi galimi pažeidžiamumai, kai išoriniai tyrėjai pradės sistemingai analizuoti sistemą.
Sprendimas Visą darbalaukio valdymą naudokite tik kaip atsarginę kopijąIr ne tik kaip pagrindinis būdas, bet ir sprendžia šias problemas: sumažina klaidų ir atsitiktinės prieigos prie duomenų riziką, nors ir apriboja Claude'o galimybių apimtį, palyginti su visiškai autonominiu darbalaukio agentu, kuris viską kontroliuoja nuo pat pradžių.
Faktinis našumas, naudojimo atvejai ir dabartiniai apribojimai
Be įspūdingų demonstracinių versijų, daugelį vartotojų domina ir tai, Kaip gerai tai veikia realiame pasaulyje?Pirmieji vieši specializuotos žiniasklaidos bandymai pateikia niuansuotą požiūrį: potencialas yra milžiniškas, bet kol kas tai nėra magija.
„Apple“ ekosistemai skirtų svetainių atliktuose bandymuose Claude'o darbalaukio valdymas parodė labai geri rezultatai atliekant paprastas arba vidutiniškai sudėtingas užduotispavyzdžiui, failų paieška, dokumentų grupavimas, el. laiškų santraukų rengimas „Gmail“, užrašų tvarkymas „Notion“ arba užduočių atnaujinimas projektų valdymo įrankiuose.
Tačiau kai reikia sąveikauti su „Safari“, tvarkyti sudėtingus skirtukus arba vykdyti terminalo komandasTačiau elgesys buvo gerokai nestabilesnis. Kai kurie analitikai apskaičiavo, kad sudėtingesniuose darbo eigose sėkmės rodiklis siekia apie 50 %, kai pakartotiniai nesėkmingi bandymai įvyksta dėl klaidų, langai neatsiranda ten, kur tikėtasi, arba komandos, kurių rezultatai keičiasi priklausomai nuo konteksto.
Šis netaisyklingas simbolis yra būdingas tyrimų peržiūros etapas„Anthropic“ tai laiko proceso dalimi: sistema mokosi iš naudojimo atvejų, komanda renka gedimų žurnalus, koreguojami tiek modeliai, tiek infrastruktūra, valdanti darbalaukio valdymą.
Nepaisant to, jie jau identifikuojami Labai perspektyvūs naudojimo atvejai startuoliams, MVĮ ir nepriklausomiems specialistamsPavyzdžiui: periodinių ataskaitų iš skaičiuoklių ir el. laiškų automatizavimas, el. laiškų peržiūra ir klasifikavimas pagal prioritetą, atsakymų juodraščių rengimas, vidinių duomenų bazių ar senų sistemų be API atnaujinimas ir netgi nedidelių kokybės užtikrinimo procedūrų atlikimas žiniatinklio programose.
Programinės įrangos kūrimo srityje yra „Claude Code“ leidžia deleguoti užduotis dirbtiniam intelektui, pvz., atidaryti IDE, atlikti testus, tikrinti žurnalus ir ieškoti sprendimų internete. ir pritaikyti pakeitimus konkretiems failams. Programuotojas gali paprašyti agento surasti pasikartojančią klaidą sistemos žurnaluose, peržiūrėti išteklius tokiose svetainėse kaip „Stack Overflow“ ir grįžti į redaktorių, kad pasiūlytų pataisą – visa tai vartotojui nereikės rankiniu būdu koordinuoti kiekvieno žingsnio.
„Vercept“, etalonai ir lenktynės dėl darbalaukio agentų
Už šios naujos galimybių bangos slypi reikšmingas ankstesnis darbas. įsigijo startuolį „Vercept AI“Sietle įsikūrusi „Vercept“ sukūrė „Vy“ – debesijos pagrindu veikiančią kompiuterių valdymo priemonę, skirtą „Mac“ kompiuteriams. Įkurta buvusių Alleno dirbtinio intelekto instituto tyrėjų, „Vercept“ prieš sandorį buvo pritraukusi apie 16 mln. dolerių.
„Vercept“ komanda prisijungė prie „Anthropic“ ir, remiantis jų pareiškimais, Jie pristatė savo pirmąjį bendrą produktą per mažiau nei keturias savaites.„Anthropic“ aiškiai įvardijo „Dispatch“ kaip tiesioginę savo pradinių idėjų evoliuciją. „Anthropic“ įspėjo „Vy“ naudotojus prieš mėnesį, prieš nutraukdama paslaugos teikimą ir perkeldama savo technologijas bei talentus į naują platformą.
Nuo tada Claude'o užduočių atlikimas Kompiuterių naudojimas labai pagerėjoPirmą kartą pasirodžius 2024 m. pabaigoje, „Sonnet“ modeliai vos peržengė 15 % „OSWorld Verified“ vertinime – lyginamajame teste, skirtame matuoti dirbtinio intelekto modelių gebėjimą valdyti tikrą kompiuterį. 4.6 versijoje balai gerokai viršija 72 % ir artėja prie vidutinio žmogaus našumo tame pačiame teste.
Tuo pačiu metu konkurencinė aplinka yra įtempta. „OpenAI“, „Google“, „Meta“ ir keli specializuoti startuoliai Jie kuria savo darbalaukio agentus ir atvirojo kodo sistemas, tokias kaip „OpenClaw“ ir „NemoClaw“, galinčias veikti su tokiomis programomis kaip „WhatsApp“, „Telegram“, žiniatinklio naršyklėmis ir failų tvarkyklėmis. Tačiau daugeliui šių projektų reikalingos sudėtingos konfigūracijos ir aukštas techninių žinių lygis iš vartotojo.
Antropinis požiūris skiriasi tuo, kad siekia labiau kontroliuojamas ir į saugumą orientuotas požiūrisTurėdama gana uždarą ekosistemą, aiškius leidimus ir pradinį dėmesį skirdama tik „macOS“, ji nesiekia atskleisti vartotojui scenarijų ir konfigūracijų džiunglių, o siūlo kuo labiau valdomą patirtį, nors kol kas ji pasiekiama tik mokamiems prenumeratoriams.
Svarbiausias klausimas yra, ar šie dirbtinio intelekto agentai sugebės pereinant nuo efektingų demonstracijų prie stabilių diegimų gamybinėje aplinkojeLyginamųjų testų šuolis yra įspūdingas, tačiau realiame gyvenime „Mac“ kompiuteryje iškyla iššokantys dialogo langai, nuolatiniai programų atnaujinimai, langai, kurie keičia savo vietą, ir tūkstantis smulkių detalių, kurių joks testas iki galo neužfiksuoja.
Bet kuriuo atveju, tai, ką jau galime matyti, yra aiškus pokytis: Dirbtinis intelektas nustoja būti tik pokalbiu ir tampa deleguotu darbuClaude'as ne tik pataria, ką daryti, bet ir padaro tai už jus, neviršydamas jūsų nustatytų ribų ir leidimų, ir ši idėja puikiai dera su „nematomos“ automatizacijos tendencija, kai daugeliui įprastų užduočių vos paliečiate pelę.
Visas šis judėjimas aplink Claude'ą, jo gebėjimas naudotis kompiuteriu, integracija su „Dispatch“ ir dėmesys „macOS“ piešia vaizdą, kuriame „Mac“ tampa savotišku autonominiu asistentu, kuris dirba toliau, kol jūs darote ką nors kita.Dar reikia daug nuveikti saugumo, tikslumo ir stabilumo srityse, tačiau visiems, kurie tikrai nori sujungti savo darbalaukį su dirbtiniu intelektu, „Anthropic“ pasirinkta kryptis su Claude'u pradeda atrodyti daug žadanti ir nusipelno būti atidžiai stebima.
Aistringas rašytojas apie baitų pasaulį ir technologijas apskritai. Man patinka dalytis savo žiniomis rašydamas, būtent tai ir darysiu šiame tinklaraštyje, parodysiu jums įdomiausius dalykus apie programėles, programinę įrangą, techninę įrangą, technologijų tendencijas ir kt. Mano tikslas – padėti jums paprastai ir smagiai naršyti skaitmeniniame pasaulyje.