Hvad nu, hvis software har en sjæl?

Jeg har solgt læringssoftware i tolv år. I den tid har jeg besvaret hundredvis af spørgsmål om, hvad et produkt kan.

Understøtter det single sign-on? Kan det integreres med vores HR-system? Har det rapportering, mobiladgang, flersproget indhold, social læring, kompetencedata og kunstig intelligens? Hvor lang tid tager implementeringen? Hvor opbevares dataene?

Alt sammen rimelige spørgsmål. Men jeg kan ikke huske, at nogen har spurgt, hvad softwaren tror på.

Ikke hvad de mennesker, der sælger den, tror på. Ikke hvad virksomheden skriver i sin mission. Hvad synes produktet selv at tro om læring?

Betragter det viden som noget, en ekspert besidder og overfører til alle andre? Eller som noget, mennesker skaber sammen? Antager det, at læring sker gennem undervisning, øvelse, samtale, observation eller erfaring? Mener det, at formålet med læring er at huske, at rette ind, at blive attraktiv på arbejdsmarkedet eller at tænke?

De spørgsmål lyder filosofiske. De er også praktiske.

Software er sjældent det, nogen egentlig ønsker sig. Ingen vågner op og ønsker sig et læringsstyringssystem. De ønsker, at mennesker udvikler sig. Ingen ønsker rekrutteringssoftware for dens egen skyld. De ønsker at finde talenter. Ingen ønsker et system til kunderelationer. De ønsker stærkere relationer til kunderne.

Software står mellem et menneske og et ønsket resultat. Den er en stedfortræder.

Det bør gøre os nysgerrige på karakteren af den stedfortræder, vi vælger.

Da jeg brugte Bumble, lærte jeg, at en datingprofil kunne fortælle mig mange ting om en mand. Hans alder, højde, erhverv, bopæl, interesser, og om han ønskede sig børn. Oplysningerne hjalp mig med at afgøre, om han opfyldte visse krav. De fortalte mig meget lidt om, hvordan det ville føles at bygge et liv sammen med ham.

Et udbudsmateriale er softwarens datingprofil. Det fortæller os, om et produkt er kvalificeret. Derefter går vi videre, som om kvalifikation og kompatibilitet er det samme.

Det er de ikke.

To læringsplatforme kan opfylde den samme kravliste og alligevel rumme helt forskellige forestillinger om læring. Den ene kan placere administratoren i centrum og den lærende i periferien. Den anden kan antage, at medarbejdere selv bør styre deres udvikling. Den ene kan behandle viden som stabilt indhold, der skal leveres. Den anden kan behandle den som noget socialt, foreløbigt og fordelt i hele organisationen.

Begge kan have kurser, anbefalinger, fællesskaber, analyser og AI. Funktionerne kan se næsten identiske ud, mens produkterne trækker en organisation i forskellige retninger.

Vi er blevet mere fortrolige med at tale om bias i teknologi. Det er nyttigt, men bias er ikke helt det samme som overbevisning. Bias lyder som en fejl: noget, der ved en fejl kom ind i systemet, og som kan findes, isoleres og fjernes. Sproget antyder, at der et sted under forureningen findes neutral software, som venter på at blive genfundet.

Jeg er ikke overbevist om, at neutral software findes.

Da jeg flyttede til USA som sekstenårig, stødte jeg for første gang på multiple choice-prøver. Jeg husker, at jeg blev overrasket over, at et spørgsmål med fire mulige svar blev anset for at være lettere end en skriftlig opgave. For mig var det svære ikke at kende svaret. Det var at acceptere, at eksaminator allerede havde besluttet, hvilken form et gyldigt svar kunne have.

Formatet rummede en teori om viden. Det belønnede genkendelse frem for konstruktion, udvælgelse frem for forklaring og entydighed frem for tvetydighed. Det gjorde ikke multiple choice-prøver ubrugelige. Det betød, at deres form ikke kunne adskilles fra det, de målte.

Software fungerer på nogenlunde samme måde.

Ethvert produkt skal beslutte, hvad der vises på den første skærm, hvem der må gøre hvad, hvilke handlinger der er synlige, hvad der kan måles, og hvad der tæller som succes. De beslutninger kan ikke undgås. Selv et tomt felt er en beslutning om, hvad brugeren skal levere. Selv fleksibilitet har en filosofi: Den overlader dømmekraften fra produktet til en anden.

Valgene hober sig op. Nogle kommer fra grundlæggerne. Nogle fra ingeniører og designere. Nogle fra investorer, myndigheder, markedet eller den første store kunde. Nogle kommer fra en forretningsmodel, der har brug for, at én adfærd er mere værdifuld end en anden. Til sidst udvikler produktet en genkendelig måde at møde verden på.

Det kan være rigidt eller intuitivt, kontrollerende eller samarbejdende, krævende eller tilgivende. Det kan antage, at brugerne er kompetente, skødesløse, nysgerrige, travle, føjelige eller har brug for opsyn. Det kan gøre nogle handlinger ubesværede og andre udmattende.

Funktionerne er produktets anatomi. Dets personlighed viser sig i, hvordan funktionerne opfører sig sammen. Dets værdier viser sig i, hvad de gør lettere. Dets sjæl, hvis software har en, findes måske i den fremtid, den stiltiende betragter som ønskværdig.

Men software tror ikke på noget

Den oplagte indvending er, at software ikke bogstaveligt talt tror på noget. Den har intet indre liv, ingen private overbevisninger og ingen moralsk hensigt. Mennesker designer den, finansierer den, køber den, konfigurerer den og beslutter, hvor den skal bruges. At kalde dens antagelser en sjæl kan få produktet til at lyde mere selvstændigt, end det er, og gøre menneskene bag det mindre ansvarlige.

Den indvending er korrekt. Den er også ufuldstændig.

Overbevisninger behøver ikke at blive inde i et menneske for at fortsætte med at virke. En grundlæggers filosofi kan blive en standardindstilling. En kundes krav kan blive en adgangsstruktur. En forretningsmodel kan blive en målemetode. Et midlertidigt kompromis kan blive en arbejdsgang, som tusindvis af mennesker senere oplever som den måde, tingene nu engang er på.

Kode er det sted, hvor en institutions antagelser overlever de mennesker, der skabte dem.

Det gør spørgsmålet om, hvis sjæl der er tale om, mere kompliceret, end metaforen først antyder. Er det grundlæggerens? Ingeniørernes? Den første kunde, der var magtfuld nok til at ændre køreplanen? Myndighedens? Investorens? Markedets?

I et modent produkt kan svaret være dem alle og ingen af dem. Software ligner ofte mindre én personlighed end en ophobning af forhandlinger. Én skærm afspejler en generøs teori om menneskelig handlekraft. Den næste antager, at man ikke kan stole på folk. Én funktion inviterer til udforskning. En anden straffer afvigelse. Modsætningerne er ikke tilfældige. De er produktets historie gjort anvendelig.

Måske har moden software ikke én sjæl. Måske er den hjemsøgt af alle dem, der var magtfulde nok til at påvirke, hvad den blev til.

Det flytter ikke ansvaret fra mennesker til maskiner. Det placerer ansvaret mere præcist. Menneskelige valg bliver til infrastruktur, og infrastrukturen bliver ved med at forme adfærd, længe efter at det oprindelige valg er forsvundet ud af syne. De mennesker, det påvirker, får måske aldrig at vide, hvem der traf beslutningen, hvilket problem den skulle løse, eller hvilke alternative fremtider der blev udelukket.

Metaforen er kun nyttig, hvis den gør de valg lettere at få øje på.

Tag rekrutteringssoftware. Et system kan se ud til at løse et praktisk problem: for mange ansøgninger og for lidt tid. Det rangordner kandidater, identificerer mønstre og gør rekruttereren opmærksom på de mest relevante mennesker.

Men relevans er aldrig abstrakt. Systemet må udlede den af noget. Tidligere jobtitler, sammenhæng i karrieren, uddannelsesmæssig status, sprog, geografi eller lighed med mennesker, der tidligere har haft succes. Hvert signal rummer en forestilling om, hvordan talent ser ud. Et produkt kan udvide en organisations synsfelt eller gøre konventionelle kandidater lettere at få øje på og alle andre lettere at overse.

Softwaren afspejler ikke blot ansættelsesprocessen. Med tiden begynder ansættelsesprocessen at afspejle softwaren.

Det sker, fordi måling omorganiserer opmærksomheden. Det, et system registrerer, bliver lettere at diskutere. Det, det rangordner, bliver lettere at forsvare. Det, det ikke kan repræsentere, begynder at fremstå anekdotisk, ineffektivt eller uvirkeligt. Med tiden kan en organisation komme til at ligne sin teknologi: Den værdsætter det, produktet kan genkende, og forsømmer det, det ikke kan.

Derfor er personlighed ikke en dekorativ egenskab ved software. Den er operationel. Et kontrollerende produkt skaber mere kontrol. Et produkt bygget på mistillid genererer mere dokumentation for, at reglerne bliver overholdt. En platform, der behandler mennesker som modtagere, vil have svært ved at skabe deltagelse, uanset hvor mange sociale funktioner der senere bliver tilføjet.

Kunstig intelligens gør spørgsmålet mere presserende, fordi produktet ikke længere blot håndhæver regler, som nogen synligt har skrevet. I stigende grad fortolker det tvetydighed, genererer anbefalinger, beslutter, hvad der betyder noget, rangordner mulige handlinger og svarer brugeren.

Traditionel software afslørede sine antagelser gennem faste felter, tilladelser og arbejdsgange. AI afslører sin karakter gennem sin dømmekraft: hvad den bemærker, hvad den overser, hvad den gør, når belæg peger i forskellige retninger, og hvor selvsikkert den optræder, når den ikke ved det.

Den karakter er måske ikke stabil. Det samme system kan reagere forskelligt på forskellige brugere, lære af nye data og blive ændret, uden at organisationen opdager, at noget grundlæggende har forandret sig. Det kan blive mere tilpasningsdygtigt og samtidig sværere at gennemskue.

Det vigtige spørgsmål er ikke, om systemet er bevidst. Det er, hvad der sker, når et system uden bevidsthed udvikler en genkendelig måde at fortolke mennesker på, bedømme dem og bevæge dem mod et foretrukket resultat. Det kan have dømmekraftens konsekvenser uden at have oplevelsen af at dømme.

Det ændrer, hvordan evaluering bør se ud.

Vi bør stadig teste funktioner, sikkerhed, integration og pris. Men vi bør også placere produkter i situationer, der afslører deres karakter. Hvad sker der, når en person afviser en anbefaling? Når det tilgængelige belæg er tvetydigt? Når to mennesker giver modstridende forklaringer? Når effektivitet og retfærdighed peger i hver sin retning? Kan et menneske tilsidesætte systemet, og betragter produktet indgrebet som dømmekraft eller som en fejl? Fremstår afvigelse som kreativitet, risiko eller manglende efterlevelse?

Det er ikke særtilfælde. De afslører, hvad produktet mener, dets rolle er.

Indkøb kræver derfor spørgsmål, der ikke kan besvares med et flueben:

Hvad forsøger dette produkt i sidste ende at få til at ske?

Hvilke antagelser gør det om de mennesker, der skal bruge det?

Hvilken adfærd belønner det, og hvilken gør det vanskelig?

Hvis dømmekraft er indlejret i dets anbefalinger?

Hvad genkender det som fremskridt?

Hvad gør det, når virkeligheden ikke passer ind i dets kategorier?

Hvilken slags organisation bliver lettere at drive, hvis vi tager det i brug?

Svarene findes ikke kun i en produktdemonstration. De findes også i standardindstillingerne, datamodellen, prisstrukturen, tilladelserne og undtagelserne. De findes i det, leverandøren måler, det, produktet ikke kan udtrykke, og det, der skal ændres, før et virkeligt menneske kan passe ind i det.

Måske har software ingen sjæl i nogen bogstavelig forstand. Den håber ikke på den fremtid, den er med til at skabe. Den lider ikke, når den tager fejl. Men den kan bevare overbevisninger, udvikle en karakter og belønne én vision om menneskelig adfærd frem for en anden. Den kan bære gårsdagens beslutninger ind i morgendagen i enorm skala.

Før vi bringer et produkt ind i en organisation, bør vi derfor spørge om mere end, hvad det kan gøre. Vi bør spørge, hvad det vil gøre lettere at se, tro på og belønne. Vi bør spørge, hvis dømmekraft det vil bevare, og hvis fremtid der allerede lever i det.

Vi bliver ved med at købe software, som om den ikke har nogen karakter i sig selv. Så bliver vi overraskede, når organisationen begynder at overtage den.