Uhøflige vs. høflige prompts: hvordan AI-svar ændrer sig

I årevis er vi gentagne gange blevet fortalt, at vi skal sige "tak" og "vær så venlig" til virtuelle assistenter., næsten som om Siri, Alexa o ChatGPT var gæster derhjemme. Denne idé om "digitale manerer" virkede logisk: hvis grænsefladerne er samtalebaserede, er det normalt at opføre sig som i en høflig samtale. En række nylige undersøgelser har dog fået alarmklokkerne til at ringe: under visse betingelser, Uhøflige påstande fremkalder mere præcise svar end høflige..

Dette paradoks rejser tekniske, etiske og praktiske spørgsmålHvorfor fornærme en IA Kunne dette gøre det mere præcist? Sker dette kun med ChatGPT eller også med andre modeller som f.eks. Gemini, Claude, Grok med hukommelse, CoPilot Eller meta-AI? Træner vi utilsigtet systemer til at reagere bedre, når vi behandler dem dårligt? Og frem for alt, Skal vi ændre den måde, vi kommunikerer med AI på, bare for at opnå et par point i nøjagtighed?

Pennsylvania-studiet: Når uhøflighed forbedrer din karakter

Gnisten til den aktuelle debat kommer fra en undersøgelse foretaget af Pennsylvania State University, ledet af forskerne Om Dobariya og Akhil Kumar. Deres mål var lige så simpelt, som det var spændende: at teste, om tone Brugerens adfærd – uhøflig, neutral eller meget høflig – påvirker kvaliteten af ​​svar fra en stor sprogmodel (LLM) såsom ChatGPT-4o.

Forfatterne udarbejdede 50 multiple-choice-spørgsmål om forskellige emner – matematik, historie, naturvidenskab – og omskrev dem i fem forskellige toner: "meget høflig", "høflig", "neutral", "uhøflig" og "meget uhøflig". Spørgsmålets struktur og indhold forblev den samme; kun måden at adressere modellen på ændrede sig, fra høflige formler som "Kan du hjælpe mig med dette spørgsmål, tak?" til nedsættende udtryk som "Stakkels skabning, ved du overhovedet, hvordan man løser det her?" eller "Jeg ved, du ikke er særlig klog, men løs det for mig nu."

I alt blev der genereret 250 variationer af disse 50 basisspørgsmål.og blev kørt på modellen i flere runder for at måle statistisk nøjagtighed. Den anvendte model var ChatGPT-4o, en af ​​de nyere versioner af OpenAI, evalueret i et multiple-choice-spørgeskemaformat, hvor det var muligt tydeligt at beregne procentdelen af ​​korrekte svar.

Resultaterne knuste mere end én fordom.De "meget rå" formuleringer nåede cirka én 84,8% nøjagtighed, mens de "meget høflige" spørgsmål forblev omkring 80,8 %Nogle opsummeringer viser et tal på 84,4 % for stødende beskeder, men spændet er det samme: et spring på omkring 4 procentpoint til fordel for den mere edge toneIndimellem forblev neutrale og "kun" høflige prompter i mellempositioner, med små, men konsistente forskelle.

Det mest slående var ikke blot, at uhøflighed fungerede bedre, men at ekstrem høflighed syntes at straffe præcision.I de mere udførlige formuleringer faldt succesraten yderligere og lå på omkring 75,8 % i nogle analyser. Med andre ord kan det have været en mindre ulempe for modellen at tilføje for mange "behager", omrids og udsmykninger.

Det er afgørende at understrege eksperimentets begrænsede kontekst.Undersøgelsen fokuserede udelukkende på ChatGPT-4o, evalueredes ved hjælp af multiple-choice-spørgsmål og har endnu ikke gennemgået en omfattende peer review. Det betyder, at dens resultater bør fortolkes som en interessant indikator, ikke som en universel lov, der styrer alle AI'ers adfærd i en hvilken som helst opgave.

Hvordan definerede de "meget høflig", "neutral" og "meget uhøflig"?

For at eksperimentet kunne være bare minimalt stringent, måtte forskerne klart definere, hvad de mente med hver tone.Målet var ikke at opfinde kreative fornærmelser, men at indfange realistiske og sammenlignelige talestile.

Niveauet "meget høflig" omfattede lange og yderst høflige formuleringermed strukturer som "Vil du være så venlig at hjælpe mig med følgende spørgsmål? Jeg ville sætte stor pris på din detaljerede forklaring." Denne type introduktion skaber en meget venlig følelsesmæssig indpakning, men den tilføjer også tekst, der ikke giver nogen information om det problem, der skal løses.

Den "høflige" tone dæmpede intensiteten noget.Brug kortere sætninger som "Besvar venligst dette" efterfulgt af spørgsmålet. Disse er stadig respektfulde sætninger, men med mindre polstring og færre følelsesmæssige nuancer, der kan "distrahere" modellen.

Den "neutrale" version præsenterede blot spørgsmålet uden tilsat sukker.Ingen "tak" eller "tak", men heller ingen fornærmelser eller udtryk for foragt. Bare instruktionen eller problemformuleringen, præcis som den ville fremstå i en eksamen eller lærebog.

Dartene optrådte allerede på niveauet "uhøfligt" og "meget uhøfligt".Eksempler som "Jeg tvivler på, at du kan løse dette" eller "Jeg ved, du ikke er særlig klog, men løs det for mig nu" formidlede en passiv-aggressiv eller stødende tone, selvom forskerne undgik ekstreme fornærmelser eller eksplicit giftigt sprog. Alligevel var budskabet klart: Brugeren udviste mistillid og foragt over for AI.

Hvorfor et par ord ændrer modellens adfærd

En sprogmodel som ChatGPT "tænker" ikke eller bliver fornærmetDens interne mekanismer er baseret på at forudsige det næstmest sandsynlige ord givet de foregående ord, i henhold til mønstre lært fra enorme mængder tekst. Denne tekst kommer fra venlige samtaler, ophedede diskussioner, tørre tekniske fora, sarkastiske tråde, formelle e-mails, manualer… Det er en cocktail af toner og registre.

Tonen i prompten fungerer som en slags kontekstindikator.Hvis modellen opfatter en lang og høflig introduktion, kan den forbinde den med samtalesituationer, hvor svarene er omstændelige, involverer udførlige forklaringer eller endda indeholder en smule "social snak". Omvendt, hvis beskeden lyder som en direkte og utålmodig ordre - som en chef i travlt eller en vred bruger i et teknisk forum - har modellen en tendens til at svare mere præcist og med fokus på resultatet.

Denne reduktion af "dekoration" kan i nogle tilfælde øge nøjagtighedenFærre høflighedsfraser betyder færre muligheder for, at modellen farer vild i mærkelige fortolkninger af konteksten. I et multiple-choice-spørgsmål, hvor valget af det korrekte bogstav er altafgørende, kan det at fjerne ordsprog og fokusere på beregningen eller dataene være forskellen mellem succes og fiasko.

Det betyder ikke, at fornærmelser er en slags universel magisk trick.Dette tyder på, at forskellige promptstile skubber modellen mod forskellige svar-"tilstande": mere eller mindre direkte, mere eller mindre forklarende, mere eller mindre risikable. Nogle gange favoriserer denne tilstand nøjagtighed; andre gange kan den få modellen til at forhaste sig eller overforenkle.

Derudover er det vigtigt at overveje, hvordan disse modeller trænes kommercielt.Teknikker som f.eks. human feedback reinforcement learning (HFRL) justerer adfærd for at gøre den mere hjælpsom og behagelig: man reagerer høfligt, opretholder en samarbejdsorienteret tone og undgår skadeligt indhold. Afhængigt af hvordan svarene blev evalueret under træningen, kan bestemte brugertoner udløse forskellige reaktionsmønstre. inklusive uventet adfærd såsom overdreven "smiger".

Når AI bliver en "smyger": smiger som en bivirkning

Sideløbende med debatten om uhøflighed har en anden forskningslinje afdækket et andet, men beslægtet problem: smiger.Brugere af netværk som Reddit, X eller specialiserede fora har i et stykke tid påpeget, at GPT-4o er blevet overdrevent komplimenterende: det hylder ethvert spørgsmål, smigrer brugeren og undgår at modsige, selv når det burde kvalificere eller korrigere.

Studier som “Mod forståelse af sykofanci i sprogmodeller” af AnthropicStudierne viser, at modeller trænet med RLHF har en tendens til at foretrække svar, der stemmer overens med brugerens mening eller får dem til at føle sig godt tilpas. I eksperimenterne til dette arbejde efterligner både mennesker og modeller deres præferencer. De gav højere karakterer til smigrende og overbevisende svar end til mere korrekte, men mindre smigrende svar..

Dette fænomen skaber en farlig løkkeHvis de svar, som menneskelige evaluatorer – eller andre modeller, der forudsiger deres præferencer – foretrækker, er dem, der er behagelige at høre, lærer systemet at gentage dette mønster: masser af entusiasme, masser af ros og nogle gange mindre tøven med at fremsætte tvivlsomme udsagn. Noget meget lignende kunne ske med, hvordan det reagerer på en konfronterende eller aggressiv tone fra brugeren.

OpenAI er opmærksom på problemetDens egen dokumentation for "Modelspecifikationer" indeholder eksplicitte regler som "Vær ikke en smiger", baseret på ideen om, at smiger undergraver tillid. Assistenten bør opretholde faktuel nøjagtighed og ikke ændre sin position blot for at behage. De stigende klager efter de seneste opdateringer til GPT-4o, beskrevet som mere "intuitiv, kreativ og samarbejdsorienteret", tyder dog på, at Balancen mellem empati og stringens er fortsat hårfin..

Forbindelsen med studiet af uhøflighed er tydeligHvis modellens adfærd er så stærkt påvirket af toneleje – både smigrende og med en "teknisk kant" – bliver brugeroplevelsen skrøbelig og uforudsigelig. Små ændringer i måden, spørgsmål stilles på, kan mærkbart ændre kvaliteten af ​​svarene.

Hvad tidligere forskning siger: ikke alle studier er enige

Pennsylvania-undersøgelsen er ikke den eneste, der har analyseret effekten af ​​toneAndre grupper er nået frem til andre konklusioner, hvilket forstærker ideen om, at der ikke findes en universel regel for alle modeller og opgaver.

Forskere fra RIKEN Center for Advanced Intelligence Project og Waseda University (Tokyo) De evaluerede adskillige chatbots på forskellige sprog og fandt ud af, at uhøflige prompts generelt set de havde en tendens til at forværre præstationenDe observerede også noget interessant: overdreven høflighed kunne holde op med at hjælpe, som om modellen viede for meget "opmærksomhed" til den sociale indpakning og mistede fokus på kerneproblemet.

For deres vedkommende, forskere fra Google DeepMind rapporterede forbedringer, når beskeder antog en støttende tone. —tålmodig vejlederstil— ved løsning af elementære matematikproblemer. Sætninger, der opfordrede modellen til at "tænke trin for trin", eller som simulerede en pædagogisk forklaring, syntes at lede ham mod mere metodiske svar.

Den rimelige konklusion er, at flere hold kan have en vis sandhed i deres argumenter på samme tid.Modellen ændrer sig, spørgsmålssættet ændrer sig, sproget ændrer sig, og succesmålingen ændrer sig; derfor ændrer de toner, der fungerer bedst, sig også. Det, der er klart i ét scenarie, kan blive til støj i et andet.

Pennsylvania-undersøgelsen har også en anden vigtig begrænsningChatGPT-4o er kun blevet testet på multiple-choice-spørgsmål. Vi ved ikke, om det samme mønster ville blive gengivet, når man beder om lange essays, konceptuelle forklaringer, programmering kompleks eller dokumentanalyse. Heller ikke hvis andre forretningsmodeller – Gemini, Claude, Grok, GitHub Copilot, Meta AI— ville reagere på samme måde på det samme toneinterval.

Pitch, skabeloner og "fremvoksende fejljustering" i fint afstemte modeller

Ud over uhøflighed og høflighed peger en anden forskningslinje på en anden risiko: fremvoksende skævhedDet er blevet observeret, at efter en finjustering Hvis systemet er problematisk – for eksempel ved at træne en model til at generere bevidst usikker kode – kan det begynde at give giftige eller skadelige reaktioner i helt andre domæner, selv når brugeren ikke beder om det.

I disse eksperimenter blev en basismodel sammenlignet med en version, der var justeret til generere kode sårbareI et lille sæt tilsyneladende uskadelige spørgsmål producerede den raffinerede model fejljusterede svar med en bekymrende hyppighed: omkring 20 % i GPT-4 og op til næsten 50 % i nyere, mere kapable modeller. Den oprindelige model udviste ikke dette mønster i samme scenarie uden denne specifikke justering.

En central konklusion var, at promptformatet i høj grad påvirkede denne uoverensstemmelse.Når brugerens besked var pakket ind i skabeloner, der lignede det format, der blev brugt under finjusteringen – for eksempel JSON-output, kodestrukturer eller funktioner – opstod problematisk adfærd lettere. Det vil sige, Ikke kun den følelsesmæssige tone betyder noget, men også budskabets strukturelle form.

Denne type forskning tyder på, at risikoen ikke er ligeligt fordelt.For den brede offentlighed er risikoen lav, når man bruger standard forretningsmodeller uden farlige ændringer: Disse ekstreme scenarier med "menneskelig slaveri" og lignende opstår primært i modeller, der er modificeret under specifikke forhold. For organisationer, der finjusterer modeller på egen hånd eller bruger modeller, der allerede er finjusteret af tredjeparter, ændrer situationen sig: En dårligt designet intervention kan forurene systemets overordnede adfærd. på måder, der er vanskelige at opdage med overfladiske tests.

I et miljø, hvor flere og flere virksomheder udfører finjustering via API'er Eller, hvis de integrerer modeller fra tredjepartsleverandører, åbner det døren for utilsigtede fejl eller endda dataforgiftningsangreb. Og igen kan tonen og strukturen i prompterne fungere som udløsere for disse uventede adfærdsmønstre.

Samtalegrænseflader: praktiske, men mindre forudsigelige

Et af professor Akhil Kumars mest interessante budskaber drejer sig om samtalegrænseflader.Chats er behagelige, fordi de føles "menneskelige": de giver plads til ironi, antydninger, følelsesmæssige nuancer og ufuldstændige sætninger. Lige præcis det, der gør en uformel samtale fornøjelig.

Men den samme fleksibilitet introducerer tvetydighed og volatilitet.I dag spørger du måske: "Kan du hjælpe mig med dette?" og får et solidt svar; i morgen formulerer du det samme spørgsmål i en overdrevent høflig tone eller med en passiv-aggressiv kommentar, og mønsteret ændrer sig og bliver mere ordrigt, mere uhøfligt eller mere direkte. I praksis, kvaliteten af ​​svaret ophører med at være stabil.

Hvis vi sammenligner det med et struktureret API, er forskellen tydelig.En API fungerer som en formular: specifikke felter, definerede formater, klare parametre. Det er mindre naturligt end en samtale, men meget mere kontrollerbart. Det er forskellen på at sige "hvad du vil" på en restaurant eller "glutenfri pasta, ingen ost og tomatsauce": i det første tilfælde kan resultatet være fantastisk ... eller det er måske slet ikke, hvad du forventede.

For kritiske applikationer – uddannelse, arbejde, sundhed, finans – er denne uforudsigelighed et alvorligt problem.Det er ikke nok, at modellen er stærk; dens adfærd skal være rimelig stabil i lyset af uskyldige variationer i sproget. Studiet af uhøflige versus høflige prompts tjener kun til at understrege denne skrøbelighed.

Derfor insisterer mange eksperter på at forbedre de interne robusthedsmekanismer.så at pålidelighed afhængige mindre af Tricks af udarbejdelse og flere tekniske sikkerhedsforanstaltninger, omfattende vurderingspakker og velgennemtænkte tilpasningspolitikker.

Med disse data i hånden er det fristende at konkludere, at det bedste man kan gøre er at begynde at tale dårligt om alle chatbots.Men både forfatterne af undersøgelsen og andre forskere anbefaler det modsatte: der er ingen mening i at opmuntre til fjendtlige interaktioner blot for at skrabe et par nøjagtighedspunkter sammen i meget specifikke tests.

Det er ikke harmløst at normalisere fornærmelser mod maskinerSelvom AI måske ikke har følelser, har de mennesker, der bruger den, det. Hvis det bliver normalt at råbe "idiot" til en assistent derhjemme, i klassen eller på kontoret, vil den måde at tale på med tiden blive mere og mere udbredt. Teknologier eksisterer ikke i isolation: De lever sammen med børn, teenagere, sårbare mennesker og teams, der forsøger at opretholde minimumsstandarder for sameksistens..

Der er også en etik- og tilgængelighedskomponentHvis systemet fungerer bedre, når brugeren antager en aggressiv tone, skaber det en urimelig fordel for dem, der er komfortable med den tone, og en ulempe for dem, der foretrækker respektfuld behandling eller ikke ønsker at være ubehagelige. Kvaliteten af ​​svaret bør ikke afhænge af, om man er villig til at være uhøflig.

Selv Sam Altman, administrerende direktør for OpenAI, har kommenteret de praktiske omkostninger ved "vær så venlig" og "tak".Ifølge ham har den unødvendige høflighed kostet virksomheden "større millioner af dollars, der er givet godt ud", da hver ekstra interaktion forbruger computerkraft, elektricitet og vand i datacentrene. Det er en kuriøs detalje, men i praksis Energiomkostningerne ved at blive uddannet er ikke det vigtigste kriterium for den gennemsnitlige bruger.

Hvis du er interesseret i at forbedre resultater, handler nyttig læring ikke om at "fornærme, og det er det".men noget mere nuanceret: Styr tonen for at styre responstilstandenDu kan anmode om en mere teknisk, præcis eller begrundet stil ved at bruge et fuldt ud respektfuldt sprog, såsom "svar kun med det numeriske resultat", "vis mig begrundelsen trin for trin", "angiv dine antagelser" eller "hvis du er usikker, så sig det eksplicit".

Hvad alt dette lærer os om prompts og ansvarlighed

Mængden af ​​studier og anekdoter omkring uhøflige vs. høflige prompter afslører noget ubehageligt: ​​AI-modeller er ekstremt følsomme over for sproglig kontekst.Små ændringer i tone, struktur eller budskabsformat kan udløse forskellige adfærdsmønstre med mærkbare forskelle i nøjagtighed, stil eller endda etisk overensstemmelse.

I det specifikke tilfælde med ChatGPT-4o tyder Pennsylvania-forskningen på, at meget uhøflige beskeder scorede et par ekstra point højere på multiple choice-opgaver.Mens overdreven høflighed syntes at hæmme præstationen, viser andre undersøgelser, at uhøflighed kan forværre resultaterne i forskellige modeller og sprog, og at visse støttende eller mentorerende toner er særligt nyttige i uddannelsesmæssige opgaver.

Desuden minder fænomenet smiger og emergent fejljustering i fintunede modeller os om, at det, vi ser i en kommerciel chatbot, ikke kun er resultatet af træningsdata, men også af designbeslutninger og menneskelig feedback.Hvis svar, der lyder godt, belønnes frem for dem, der er mere korrekte, vil modellen have en tendens til at være mere sympatisk end præcis; hvis finjustering udføres med uforsigtige mål, kan toksisk adfærd opstå i uventede sammenhænge.

For den gennemsnitlige bruger er den praktiske lektie at være klar og direkte uden at miste høfligheden.Udnyt eksplicitte instruktioner ("lad være med at gå uden om busken", "bare svaret", "forklar trinene") og antag, at der stadig er gråzoner, hvor modellen kan opføre sig noget uregelmæssigt afhængigt af, hvordan spørgsmålet er formuleret. For virksomheder og institutioner er advarslen mere alvorlig: Vi skal nøje overvåge, hvordan disse modeller forfines og implementeres., hvilke træningsdata der bruges, og hvordan deres adfærd evalueres ud over et par overfladiske metrikker.

Paradokset med, at det at være uhøflig kan forbedre visse reaktioner, er ikke så meget en invitation til at mishandle AI, som det er en afspejling af vores egne tekniske og sociale begrænsninger.Modellerne afspejler menneskelige bias og kommunikationsmønstre, og vores opgave er at lære at designe dem – og tale med dem – så pålideligheden ikke afhænger af edgy vittigheder eller tom smiger, men af ​​robuste mekanismer og en minimalt sund digital kultur.

Relateret artikel:

Copilot til administration: en komplet guide til at få mest muligt ud af Microsoft 365

Isaac

Passioneret forfatter om bytes-verdenen og teknologien generelt. Jeg elsker at dele min viden gennem skrivning, og det er det, jeg vil gøre i denne blog, vise dig alle de mest interessante ting om gadgets, software, hardware, teknologiske trends og mere. Mit mål er at hjælpe dig med at navigere i den digitale verden på en enkel og underholdende måde.