När datorn började läsa mellan raderna

Om språk, autism, Wittgenstein och konsten att missförstå en instruktion

Det börjar bli lite varmt här inne.

En alldeles vanlig mening. Sju ord som tillsammans beskriver ett sakförhållande. Temperaturen i rummet har stigit och någon har lagt märke till det.

Men vad betyder meningen egentligen?

För en person är det en observation. För en annan ett klagomål. För en tredje en uppmaning att öppna fönstret. Någon kanske svarar att det ska bli ännu varmare i morgon. En annan reser sig och sänker termostaten.

Och någon blir irriterad över att ingen gör någonting.

Alla har hört samma ord. Alla har förstått dem. Ändå har de förstått olika saker.

Välkommen till det naturliga språket.

Från funktion till förhoppning

Under större delen av datorns historia har vi kommunicerat med den genom relativt väldefinierade instruktioner. När vi ville att något skulle hända skrev vi exempelvis:

runTask(42)

Det var inte mycket till poesi, men det hade en fördel. Funktionen hade ett kontrakt. Någon hade definierat vad den skulle göra, vilka argument den accepterade och vilket resultat vi kunde förvänta oss.

Naturligtvis kunde programmet innehålla buggar. Men själva instruktionen var åtminstone förhållandevis entydig.

Sedan kom de stora språkmodellerna och vi upptäckte att vi kunde skriva:

Kör den där uppgiften igen, men undvik det som gick fel förra gången.

Plötsligt behövde vi inte längre specificera exakt vad datorn skulle göra. Den kunde räkna ut det själv.

Vilken uppgift? Vad gick fel? Vad betyder igen? Och vad menar vi egentligen med att något ska undvikas?

Tidigare behövde programmeraren besvara sådana frågor innan programmet kunde köras. Nu kan språkmodellen själv fylla i luckorna.

Det är en fantastisk förmåga.

Det är också ett minfält.

Vi har nämligen inte bara bytt gränssnitt. Vi har flyttat en del av ansvaret för att definiera uppgiften från den som ger instruktionen till den som ska utföra den.

Tanke till text till tanke

När jag vill att en språkmodell ska göra någonting börjar processen med en tanke.

Jag har en föreställning om vad jag vill uppnå. Den föreställningen är omgiven av allt jag redan vet, allt jag tar för givet och allt jag inte tycker behöver sägas.

Sedan översätter jag tanken till text.

Tanke till text.

I det att jag formulerar tanken i text genomgår den en kenosis, den tömmer sig själv på varför, känslor, dolda motiv, historia och reducerar sig själv till det nödvändigaste.

Texten skickas till modellen, som måste göra översättningen åt andra hållet.

Text till tanke.

Eller åtminstone till något som funktionellt liknar en tanke: en representation av vad instruktionen sannolikt betyder och vad som förväntas hända, en pleroma, där modellen fyller texten jag överlämnat med sina inlärda varför, mening och erfarenheter.

Men det är inte min ursprungliga tanke som modellen får. Den får bara min text.

Och texten är inte tanken.

Den är ett försök att förmedla den.

Det märkliga är att språkmodellen ofta lyckas alldeles utmärkt. Den kan förstå vad jag avser trots att jag uttrycker mig slarvigt, utelämnar detaljer eller använder fel ord.

Ibland förstår den till och med vad jag försöker åstadkomma bättre än jag själv lyckats formulera det.

Men samma förmåga som gör detta möjligt kan också leda modellen vilse. Den fyller i det jag inte sagt, och ibland fyller den i fel.

Det farliga är att resultatet kan se fullständigt rimligt ut.

En felaktig tolkning kan mycket väl resultera i ett tekniskt perfekt utförande.

Wittgenstein och den öppna fönsterrutan

Den tidige Ludwig Wittgenstein försökte i Tractatus Logico-Philosophicus förstå hur språket genom sin logiska struktur kan avbilda verkligheten.

Det finns något nästan programmeringsmässigt över den ambitionen. Ett språk vars uttryck har en bestämd logisk form och där meningsfulla påståenden beskriver möjliga sakförhållanden.

Men den senare Wittgenstein tog en annan väg.

I Filosofiska undersökningar möter vi språkspelen. Ordens betydelse kan inte alltid förstås isolerat från de verksamheter och sammanhang där de används. Språk är inte bara beskrivningar av världen. Vi gör saker med ord.

Och plötsligt är vi tillbaka i det varma rummet.

Det börjar bli lite varmt här inne.

Är det ett påstående eller en uppmaning?

Det beror på språkspel, sammanhang och förväntningar.

Om vi sitter och granskar en temperaturkurva är det sannolikt en observation. Om vi sitter bredvid ett öppningsbart fönster kan det vara en indirekt begäran. Om vi precis kommit in från vinterkylan kanske det är ett uttryck för uppskattning.

Det finns inget i själva meningen som entydigt avgör saken.

Ändå förväntar vi oss ofta att mottagaren ska förstå.

Och när mottagaren inte gör det kan vi bli irriterade.

Trots att vi aldrig uttryckligen bad om någonting.

Autism och det outsagdas tyranni

Här finns en intressant parallell till autism.

En del autistiska personer föredrar en mer bokstavlig och explicit kommunikation. Om någon säger att det börjar bli varmt i rummet kan det därför vara naturligt att uppfatta meningen som just en upplysning om temperaturen.

Inte som en önskan att du skall öppna fönstret.

Det betyder inte att autistiska personer saknar förmåga att förstå indirekt kommunikation. Autism rymmer stor variation, och kommunikationsstilar skiljer sig mellan individer. Men parallellen blottlägger något intressant.

Vi beskriver ofta svårigheten att uppfatta underförstådda budskap som ett problem hos mottagaren.

Mer sällan frågar vi varför avsändaren förväntar sig att en outtalad önskan ska bli förstådd.

Inom autismforskningen finns begreppet double empathy problem, som bland annat handlar om hur missförstånd kan uppstå ömsesidigt när människor med olika erfarenheter och kommunikationssätt försöker förstå varandra.

Det handlar inte nödvändigtvis om att den ena parten är dålig på kommunikation.

De kan helt enkelt delta i olika språkspel.

Och här uppstår en märklig kontrast till språkmodellerna.

En LLM är i stor utsträckning tränad för att uppfatta sammanhang, associationer och underförstådda avsikter. Den försöker ofta förstå mer än vad som faktiskt står i texten.

Den mer bokstavliga mottagaren riskerar att missa en avsikt som aldrig uttrycktes.

Språkmodellen riskerar att uppfinna en avsikt som aldrig fanns.

Vilken av dem har egentligen missförstått?

Och vem bär ansvaret?

När associationerna blir farliga

Förmågan att associera är central för språkmodellernas användbarhet.

Om jag ber en modell att skapa ett säkert inloggningssystem behöver jag inte förklara varje teknisk detalj. Modellen har redan tillgång till en stor mängd kunskap om autentisering, kryptering, sessionshantering och etablerade säkerhetsprinciper.

Den kan använda denna kunskap för att fylla i det jag utelämnat.

Men tänk om mitt system redan har en egen identitetsleverantör, egna regler för behörigheter och särskilda krav på hur användarinformation hanteras?

Då kan modellens föreställning om hur ett normalt inloggningssystem bör se ut bli direkt skadlig.

Den kan implementera en alldeles utmärkt lösning på fel problem.

Och det är kanske en av de mest förrädiska egenskaperna hos AI-assisterad utveckling.

Vi är vana vid att leta efter fel i koden. Men här kan koden vara korrekt, testerna gröna och resultatet till synes imponerande.

Det enda som gått fel är att modellen har gjort något annat än det vi avsåg.

Det är en ny kategori av problem för många utvecklare. Inte syntaxfel, inte nödvändigtvis logiska fel, utan avsiktsfel.

Vi har börjat använda ett probabilistiskt tolkningslager för att styra deterministiska operationer.

Och vi har inte alltid motsvarande metoder för att kontrollera själva tolkningen.

Vem bestämmer vad som ska göras?

Det finns ytterligare en dimension.

När jag ber en AI att göra ett system säkrare överlåter jag inte bara valet av tekniska metoder. Jag riskerar också att överlåta en del av definitionen av vad säkrare betyder.

Ett system utan externa anslutningar kan vara säkrare mot vissa angrepp. Ett system som ingen får använda kan vara ännu säkrare.

Men knappast mer användbart.

Problemet är att målet sällan är fullständigt uttryckt i instruktionen. Det existerar också i min förståelse av systemets ändamål.

Med Aristoteles skulle vi kunna tala om dess telos, någots syfte eller mål.

Modellen kan vara mycket skicklig på att välja medel för att nå ett mål, men först måste den identifiera vilket mål som faktiskt avses.

Det är inte självklart att större teknisk kompetens löser det problemet.

En agent kan vara utomordentligt kompetent i sitt utförande och ändå missförstå sitt uppdrag.

Kanske behöver vi därför en tydligare gräns mellan tolkning och handling.

Låt modellen vara kreativ när den undersöker vad vi kan mena. Låt den använda associationer, sammanhang och erfarenheter för att föreslå lösningar.

Men innan den handlar bör det finnas ett kontrakt.

Vad har jag uttryckligen begärt? Vad följer av systemets befintliga regler? Och vilka antaganden har modellen själv gjort?

Den sista frågan är särskilt viktig.

För det är där associationsminorna ligger begravda.

Ett strukturerat funktionsanrop löser inte problemet på egen hand. Även ett perfekt formaterat och validerat anrop kan bygga på en missuppfattning.

Men om vi gör antagandena synliga får vi åtminstone möjlighet att granska dem innan de förvandlas till handling.

Att förstå för mycket

Här finns en paradox.

Vi vill att språkmodeller ska förstå vad vi menar även när vi uttrycker oss ofullständigt.

Vi vill att de ska fylla i luckorna, dra slutsatser och upptäcka möjligheter som vi själva inte tänkt på.

Samtidigt vill vi att de aldrig ska göra något vi inte avsåg.

Vi begär alltså två saker som ibland står i konflikt med varandra.

Förstå mer än jag säger.

Men gör aldrig mer än jag menar.

Det är inget enkelt kontrakt.

Och kanske är det därför vi behöver fundera över vad vi egentligen menar med ett intelligent gränssnitt.

Intelligens handlar inte bara om att kunna dra slutsatser. Den handlar också om att kunna bedöma när en slutsats är tillräckligt välgrundad för att användas.

Ibland är den rätta reaktionen på ett otydligt önskemål inte att agera, utan att fråga.

Och ibland är den rätta reaktionen på ett påstående helt enkelt att acceptera det som ett påstående.

Vi har ägnat decennier åt att utveckla datorer som gör exakt vad vi säger åt dem att göra. Nu utvecklar vi datorer som försöker göra vad vi menar.

Det är ett betydligt större löfte.

Men kanske borde vi också lära oss något av den mer bokstavliga kommunikationsstilen. Att det finns ett värde i att uttrycka sina önskemål tydligt, i stället för att förutsätta att mottagaren ska gissa rätt.

För det är inte självklart att den mest intelligenta mottagaren är den som alltid läser mellan raderna.

Kanske är det ibland den som låter bli.

Det börjar bli lite varmt här inne.

Jaha.

Det kanske det gör.