Hur Intel gav Stephen Hawking en röst

Hawking hade varit för sjuk för att delta i sin egen födelsedagsfest, så Han träffade Intel-experterna några veckor senare på hans kontor i institutionen för tillämpad matematik och teoretisk fysik vid University of Cambridge. I teamet med fem ingår Horst Haussecker, chefen för Experience Technology Lab, Lama Nachman, chef för Anticipatory Computing Lab och projektledare, och Pete Denman, en interaktionsdesigner. ”Stephen har alltid varit inspirerande för mig”, säger Denman, som också använder rullstol. ”Efter att jag bröt nacken och blev förlamad, gav min mamma mig en kopia av A Brief History of Time, som just hade kommit ut. Hon berättade för mig att människor i rullstolar fortfarande kan göra fantastiska saker. När jag ser tillbaka ser jag hur profetiskt det är. var. ”

Efter att Intel-teamet presenterade sig tog Haussecker ledningen och förklarade varför de var där och vad deras planer var. Haussecker fortsatte att tala i 20 minuter, när Hawking plötsligt talade.

”Han välkomnade oss och uttryckte hur glad han var att vi var där, säger Denman. ”Han kände inte till att han hade skrivit hela tiden. Det tog honom 20 minuter att skriva en hälsning på cirka 30 ord. Det stoppade oss alla i våra spår. Det var gripande. Vi insåg nu att detta skulle bli mycket större problem än vi trodde. ”

Vid den tiden var Hawkings datorgränssnitt ett program som heter EZ Keys, en uppgradering från tidigare programvaror och designad av Words Plus. Det gav honom ett tangentbord på skärmen och en grundläggande ordförutsägelsealgoritm. En markör skannades automatiskt över tangentbordet efter rad eller kolumn och han kunde välja ett tecken genom att flytta kinden för att stoppa markören. EZ-tangenter tillät också Hawking att styra musen i Windows och använda andra applikationer i sin dator. Han surfade på webben med Firefox och skrev sina föreläsningar med Notepad. Han hade också en webbkamera som han använde med Skype.

Intel-teamet förutsåg en omvälvning av Hawkings arkaiska system, vilket skulle innebära införande av ny hårdvara. ”Justin tänkte att vi kunde använda teknik som ansikts-gestigenkänning, blickspårning och hjärn-dator-gränssnitt”, säger Nachman. ”Till en början matade vi honom mycket av dessa vilda idéer och försökte en hel del hylla-tekniker.” Dessa försök misslyckades oftare än inte. Gaze tracking kunde inte låsa fast vid Hawkings blick på grund av att ögonlocken hängde. Innan Intel-projektet hade Hawking testat EEG-lock som kunde läsa hans hjärnvågor och eventuellt överföra kommandon till hans dator. På något sätt kunde de inte få tillräckligt stark hjärnsignal. Vi skulle blinka bokstäver på skärmen och det skulle försöka välja rätt bokstav bara genom att registrera hjärnans svar, säger Wood. ”Det fungerade bra med mig, sedan försökte Stephen det och det fungerade inte bra. De kunde inte få tillräckligt stark signal-till-brus.

”The mer vi observerade honom och lyssnade på hans oro, desto mer gick det upp för oss att det han verkligen frågade, förutom att förbättra hur snabbt han kunde kommunicera, var för nya funktioner som skulle låta honom interagera bättre med sin dator, säger Nachman . Efter att ha återvänt till Intel Labs och efter månader av forskning förberedde Denman en 10-minuters video för att skicka till Hawking, med en beskrivning av vilka nya prototyper för användargränssnitt de ville implementera och begära hans feedback. ”Vi kom med ändringar som vi kände inte skulle förändra hur han använde sitt system drastiskt, men skulle ändå ha stor inverkan”, säger Denman. Ändringarna inkluderade tillägg som en ”tillbaka-knapp”, som Hawking inte bara kunde använda för att radera tecken utan för att navigera ett steg tillbaka i sitt användargränssnitt; en algoritm med prediktivt ord; och nästa ordsnavigering, som låter honom välja ord efter varandra i stället för att skriva dem.

Huvudförändringen, enligt Denmans uppfattning, var en prototyp som tacklade det största problemet som Hawking hade med sin användargränssnitt: missade tangenttryckningar. ”Stephen slog ofta fel tangent genom att slå bokstaven intill den han ville”, säger Denman. ”Han skulle sakna bokstaven, gå tillbaka, missa bokstaven igen, gå tillbaka. Det var outhärdligt långsamt och han skulle bli frustrerad. ”Det specifika problemet förstärktes av Hawkings perfektionism. ”Det är väldigt viktigt för honom att få sina tankar formulerade på exakt rätt sätt och för att interpunktionen ska vara helt rätt”, säger Nachman. ”Han lärde sig vara tålamod nog för att fortfarande kunna vara en perfektionist. Han är inte någon som bara vill förmedla budskapets kärnan. Han är någon som verkligen vill att det ska vara perfekt.”

För att ta itu med de missade tangentträffarna lade Intel-teamet till en prototyp som skulle tolka Hawking ”avsikter, snarare än hans faktiska inmatning, med en algoritm som liknar den som används i ordbehandling och mobiltelefoner. ”Det här är en tuff interaktion för att sätta din tro på”, förklarade videon. ”När iPhone först kom in på marknaden klagade folk på prediktiv text men snabbt misstro blev till glädje. Problemet är att det tar lite tid att vänja sig och du måste släppa kontrollen för att låta systemet göra jobbet. Tillägget av den här funktionen kan öka din hastighet och låta dig koncentrera dig på innehåll. ”

Videon drog slutsatsen:” Vad är din nivå av spänning eller oro? ”I juni samma år besökte Hawking Intel Labs, där Denman och hans team introducerade honom till det nya systemet, ursprungligen kallat ASTER (för ASsistive Text EditoR). ”Din nuvarande mjukvara är lite daterad,” sa Denman till honom. ”Tja, den är väldigt daterad, men du är väldigt daterad brukade använda det, så vi har ändrat metoden med vilken nästa ords förutsägelse fungerar och det kan ganska mycket plocka upp det rätta ordet varje gång, även om du ”är bokstäver borta från det.”

”Detta är en stor förbättring jämfört med den tidigare versionen”, svarade Hawking. ”Jag gillar det verkligen.”

De implementerade det nya användargränssnittet på Hawkings dator. Denman trodde att de var på rätt väg. I september började de få feedback: Hawking anpassade sig inte till det nya systemet. Det var för komplicerat. Prototyper som bakåtknappen och den som adresserade ”missade tangentträffar” visade sig vara förvirrande och måste skrotas. ”Han är en av de ljusaste killarna i världen, men vi kan inte glömma att han inte har utsatts för modern teknik”, säger Denman. ”Han hade aldrig möjlighet att använda en iPhone. Vi försökte lära världens mest kända och smartaste 72-åriga farfar att lära sig detta nya sätt att interagera med teknik.”

Denman och resten av teamet insåg att de var tvungna att börja tänka annorlunda om problemet. ”Vi trodde att vi designade programvara i traditionell mening, där man kastar ut ett enormt nät och försök att fånga så många fiskar du kan ”, säger Denman.” Vi insåg inte hur mycket designen skulle hänga på Stephen. Vi var tvungna att rikta en laser för att studera en individ. ”

På i slutet av 2012 inrättade Intel-teamet ett system som registrerade hur Hawking interagerade med sin dator. De spelade in tiotals timmar med video som omfattade en rad olika situationer: Stephen skriver, Stephen skriver när han är trött, Stephen använder musen, Stephen försöker få ett fönster i precis rätt storlek. ”Jag tittade på filmen om och om igen”, säger Denman.

”Ibland skulle jag springa det med fyra gånger så hög hastighet och ändå hitta något nytt. ”

I september 2013, nu med hjälp av Jonathan Wood, Hawkings examenassistent, implementerade de en ny iteration av användargränssnittet i Hawkings dator. ”Jag trodde att vi hade det, jag trodde att vi var klara”, säger Denman. Men nästa månad stod det klart att Hawking återigen hade problem med att anpassa sig. ”En av hans assistenter kallade det” ASTER-tortyr ”, påminner Denman. ”När de sa det skulle Stephen glina.”

Det tog många månader till innan Intel-teamet kom med en version som glädde Hawking. Till exempel använder Hawking nu en adaptiv ordförutsägare från Londons start SwiftKey som gör att han kan välja ett ord efter att ha skrivit en bokstav, medan Hawkings tidigare system krävde att han navigerade längst ner i sitt användargränssnitt och väljer ett ord från en lista ”Hans ordförutsägelsessystem var väldigt gammalt”, säger Nachman. ”Det nya systemet är mycket snabbare och effektivt, men vi var tvungna att träna Stephen att använda det. I början klagade han på det, och först senare insåg jag varför: Han visste redan vilka ord hans tidigare system skulle förutsäga. Han var van vid att förutsäga sin egen ordförutsägare. ”Intel arbetade med SwiftKey och införlivade många av Hawkings dokument i systemet, så att han i vissa fall inte längre behöver skriva ett tecken innan prediktorn gissar ordet baserat på sammanhang. ”Uttrycket” det svarta hålet ”kräver ingen typ”, säger Nachman. ”Om du väljer” förutspår ”automatiskt” svart ”. Att välja ”svart” förutsäger automatiskt ”hål”.”

Den nya versionen av Hawkings användargränssnitt (nu kallat ACAT, efter hjälpmedvetet kontextuellt medvetet Toolkit) innehåller kontextuella menyer som ger Hawking olika genvägar för att tala, söka eller e-posta; och en ny föreläsningschef, som ger honom kontroll över tidpunkten för hans leverans under samtal. Den har också en tyst knapp, en nyfiken funktion som gör att Hawking kan stänga av sin talsyntes. ”Eftersom han använder sin brytare med kinden, skapar han slumpmässigt resultat om han äter eller reser,” säger Wood. ”Men det finns tillfällen när han gillar att komma med slumpmässigt tal. Han gör det hela tiden och ibland är det helt olämpligt. Jag kommer ihåg att han en gång slumpmässigt skrev ”xxxx”, som, via sin talsyntes, lät som ”sex sex sex sex”. ”

Wood” s kontor ligger bredvid Hawkings. Det är mer en workshop än en studie. En vägg är full av elektronisk hårdvara och experimentella prototyper. På skrivbordet finns en kamera, en del av ett pågående projekt med Intel. ”Tanken är att ha en kamera riktad mot Stephen” s ansikte att plocka upp inte bara hans kindrörelser utan andra ansiktsrörelser, säger Wood. ”Han kunde flytta sin käft i sidled, upp och ner och köra en mus och till och med eventuellt köra rullstolen. Det här är coola idéer, men de kommer inte snart att slutföras.”

Ett annat experimentprojekt, som föreslagits av tillverkarna av Hawkings rullstol tidigare i år, är en joystick som fäster vid Hawkings haka och låter honom navigera i rullstolen självständigt. ”Det är något som Stephen är mycket angelägen om”, säger Wood. ”Frågan var kontakten mellan Stephen haka och joysticken. Eftersom han inte har norrörelser är det svårt att aktivera och koppla ur joysticken. Wood visar WIRED en video av en ny testversion av detta system. I den kan du se Hawking köra sin rullstol över ett tomt rum, i passform och start. ”Som du ser lyckades han köra den”, säger Wood. ”Tja, typ av.”

Trä visade WIRED en liten grå låda, som innehöll den enda kopian av Hawkings talsyntes. Det är en CallText 5010, en modell som Hawking gav 1988 när han besökte företaget som tillverkade det, Speech Plus. Kortet inuti synthesizern innehåller en processor som förvandlar text till tal, en enhet som också användes för automatiserade telefonsvarssystem på 1980-talet.

”Jag försöker skapa en mjukvaruversion av Stephen” s så att vi inte behöver lita på dessa gamla hårdvarukort, säger Wood. För att göra det var han tvungen att spåra det ursprungliga Speech Plus-teamet. 1990 såldes Speech Plus till Centigram Communications. Centigram förvärvades av Lernout och Hauspie Speech Products, som förvärvades av ScanSoft 2001. ScanSoft köptes av Nuance Communications, ett multinationellt företag med 35 kontor och 1 200 anställda. Wood kontaktade det. ”De hade mjukvara med Stephens röst från 1986”, säger Wood. ”Det ser ut som om vi kan ha hittat det på ett säkerhetskopieringsband på Nuance.”

Hawking är mycket knuten till hans röst: 1988, när Speech Plus gav honom den nya synthesizern, var rösten annorlunda så han bad dem ersätta den med originalet. Hans röst hade skapats i början av 80-talet av MIT-ingenjören Dennis Klatt, en pionjär inom algoritmer för text-till-tal. Han uppfann DECtalk, en av de första enheterna för att översätta text till tal. Han gjorde ursprungligen tre röster, från inspelningar av sin fru, dotter och sig själv. Kvinnans röst kallades ”Beautiful Betty”, barnets ”Kit the Kid” och den manliga rösten, baserad på sin egen, ”Perfect Paul.” ”Perfect Paul” är Hawkings röst.

Denna berättelse publicerades först i WIRED UK nummer 01.15