Hvordan Intel gav Stephen Hawking en stemme

Hawking havde været for syg til at deltage i sin egen fødselsdagsfest, så han mødte Intel-eksperterne nogle uger senere på hans kontor i afdelingen for anvendt matematik og teoretisk fysik ved University of Cambridge. Holdet på fem inkluderede Horst Haussecker, direktøren for Experience Technology Lab, Lama Nachman, direktøren for Anticipatory Computing Lab og projektleder og Pete Denman, en interaktionsdesigner. “Stephen har altid været inspirerende for mig,” siger Denman, der også bruger en kørestol. “Efter at jeg brækkede halsen og blev lammet, gav min mor mig en kopi af A Brief History of Time, som netop var kommet ud. Hun fortalte mig, at folk i kørestole stadig kan gøre fantastiske ting. Når jeg ser tilbage, ved jeg, hvor profetisk det var var. “

Efter at Intel-teamet havde introduceret sig, tog Haussecker føringen og forklarede, hvorfor de var der, og hvad deres planer var. Haussecker fortsatte med at tale i 20 minutter, da Hawking pludselig talte.

“Han bød os velkommen og udtrykte, hvor glad han var for, at vi var der, ”siger Denman. “Uden han vidste, havde han skrevet hele tiden. Det tog ham 20 minutter at skrive en hilsen på omkring 30 ord. Det stoppede os alle i vores spor. Det var gribende. Vi indså nu, at dette ville blive meget større problem end vi troede. “

På det tidspunkt var Hawkings computergrænseflade et program kaldet EZ Keys, en opgradering fra de tidligere software og også designet af Words Plus. Det forsynede ham med et tastatur på skærmen og en grundlæggende ordforudsigelsesalgoritme. En markør scannes automatisk over tastaturet efter række eller kolonne, og han kunne vælge et tegn ved at bevæge kinden for at stoppe markøren. EZ-taster tillod også Hawking at kontrollere musen i Windows og betjene andre applikationer på sin computer. Han surfede på nettet med Firefox og skrev sine forelæsninger ved hjælp af Notepad. Han havde også et webcam, som han brugte sammen med Skype.

Intel-teamet forestillede sig en omvæltning af Hawkings arkaiske system, hvilket ville indebære introduktion af ny hardware. “Justin tænkte, at vi kunne bruge teknologi som ansigtsgenkendelsesgenkendelse, bliksporing og hjerne-computer-grænseflader,” siger Nachman. “Oprindeligt fodrede vi ham med mange af disse vilde ideer og forsøgte mange teknologier, der ikke var på hylden.” Disse forsøg mislykkedes oftere end ikke. Gaze tracking kunne ikke låse sig fast på Hawkings blik på grund af hans hængende øjenlåg. Før Intel-projektet havde Hawking testet EEG-hætter, der kunne læse hans hjernebølger og potentielt sende kommandoer til hans computer. På en eller anden måde kunne de ikke få et stærkt nok hjernesignal. ”Vi blinkede bogstaver på skærmen, og det ville forsøge at vælge det rigtige bogstav bare ved at registrere hjernens svar,” siger Wood. “Det fungerede fint med mig, så prøvede Stephen det, og det fungerede ikke godt. De var ikke i stand til at få et stærkt nok signal til støj.

“The mere vi observerede ham og lyttede til hans bekymringer, jo mere gik det op for os, at hvad han virkelig spurgte, ud over at forbedre, hvor hurtigt han kunne kommunikere, var for nye funktioner, der gjorde det muligt for ham at interagere bedre med sin computer, ”siger Nachman . Efter at have vendt tilbage til Intel Labs og efter flere måneders forskning forberedte Denman en 10-minutters video, der skulle sendes til Hawking, hvor han afgrænsede, hvilke nye prototyper til brugergrænsefladen de ønskede at implementere og anmodede om hans feedback. “Vi kom med ændringer, som vi følte ikke ville ændre drastisk, hvordan han brugte sit system, men stadig ville have stor indflydelse,” siger Denman. Ændringerne omfattede tilføjelser såsom en “tilbage-knap”, som Hawking ikke kun kunne bruge til at slette tegn, men til at navigere et skridt tilbage i sin brugergrænseflade; en algoritme med forudsigelsesord; og næste-ordsnavigation, som ville lade ham vælge ord efter hinanden i stedet for at skrive dem.

Hovedændringen, efter Denmans opfattelse, var en prototype, der tacklede det største problem, som Hawking havde med sin brugergrænseflade: savnede nøgletreff. “Stephen ramte ofte den forkerte nøgle ved at trykke på brevet ved siden af det, han ønskede,” siger Denman. “Han ville savne brevet, gå tilbage, gå glip af brevet igen, gå tilbage. Det var uudholdeligt langsomt, og han ville blive frustreret. “Det særlige problem blev forstærket af Hawkings perfektionisme. ”Det er virkelig vigtigt for ham at få hans tanker formuleret nøjagtigt på den rigtige måde, og at tegnsætningen skal være helt rigtig,” siger Nachman. „Han lærte at være tålmodig nok til stadig at være en perfektionist. Han er ikke nogen, der bare vil bringe kernen i budskabet videre. Han er nogen, der virkelig ønsker, at det skal være perfekt.”

For at løse de savnede nøgletreff tilføjede Intel-teamet en prototype, der ville fortolke Hawking “intentioner, snarere end hans faktiske input, ved hjælp af en algoritme svarende til den, der bruges i tekstbehandling og mobiltelefoner. “Dette er en hård interaktion at sætte din tro i,” forklarede videoen. “Da iPhone første gang kom ind på markedet, klagede folk over forudsigelig tekst, men mistillid blev hurtigt til glæde. Problemet er, at det tager lidt tid at vænne sig til, og du er nødt til at frigive kontrol for at lade systemet udføre arbejdet. Tilføjelsen af denne funktion kunne øge din hastighed og lade dig koncentrere dig om indhold. “

Videoen konkluderede:” Hvad er dit niveau af spænding eller ængstelse? “I juni samme år besøgte Hawking Intel Labs, hvor Denman og hans team introducerede ham til det nye system, oprindeligt kaldet ASTER (for ASsistive Text EditoR). ”Dit nuværende stykke software er lidt dateret,” sagde Denman til ham. ”Nå, det er meget dateret, men du er meget brugt til at bruge det, så vi har ændret metoden, som din næste ords forudsigelse fungerer, og det kan stort set samle det rigtige ord hver eneste gang, selvom du “bogstaver væk fra det.”

“Dette er en stor forbedring i forhold til den tidligere version,” svarede Hawking. “Jeg kan virkelig godt lide det.”

De implementerede den nye brugergrænseflade på Hawkings computer. Denman troede, de var på den rette vej. I september begyndte de at få feedback: Hawking tilpassede sig ikke til det nye system. Det var for kompliceret. Prototyper som tilbageknappen og den, der adresserede “savnede nøglehits”, viste sig at være forvirrende og måtte skrottes. “Han er en af de lyseste fyre i verden, men vi kan ikke glemme, at han ikke har været udsat for moderne teknologi,” siger Denman. “Han havde aldrig muligheden for at bruge en iPhone. Vi prøvede at lære verdens mest berømte og smarteste 72-årige bedstefar at lære denne nye måde at interagere med teknologi på.”

Denman og resten af holdet indså, at de var nødt til at begynde at tænke anderledes om problemet. ”Vi troede, at vi designede software i traditionel forstand, hvor du kaster et enormt net ud og prøv at fange så mange fisk som muligt, “siger Denman.” Vi var ikke klar over, hvor meget designet ville hænge på Stephen. Vi var nødt til at rette en laser for at studere en person. “

På i slutningen af 2012 oprettede Intel-teamet et system, der registrerede, hvordan Hawking interagerede med sin computer. De optog ti timers video, der omfattede en række forskellige situationer: Stephen skriver, Stephen skriver, når han er træt, Stephen bruger musen, Stephen prøver at få et vindue i den helt rigtige størrelse. “Jeg så optagelserne igen og igen,” siger Denman.

“Nogle gange løb jeg det med fire gange hurtigere og stadig finde noget nyt. “

I september 2013, nu med hjælp fra Jonathan Wood, Hawkings kandidatassistent, implementerede de en anden iteration af brugergrænsefladen i Hawkings computer. “Jeg troede, vi havde det, jeg troede, vi var færdige,” siger Denman. Men den følgende måned blev det klart, at Hawking igen havde problemer med at tilpasse sig. “En af hans assistenter kaldte det” ASTER “tortur,” minder Denman om. “Da de sagde det, grinede Stephen.”

Det tog mange flere måneder, før Intel-teamet kom med en version, der glædede Hawking. For eksempel bruger Hawking nu en adaptiv ordforudsigelse fra Londons opstart SwiftKey, der giver ham mulighed for at vælge et ord efter at have skrevet et bogstav, mens Hawkings tidligere system krævede, at han skulle navigere til bunden af sin brugergrænseflade og vælge et ord fra en liste “” Hans ordforudsigelsessystem var meget gammelt, “siger Nachman.” Det nye system er meget hurtigere og effektivt, men vi var nødt til at træne Stephen til at bruge det. I starten klagede han over det, og først senere indså jeg hvorfor: Han vidste allerede hvilke ord hans tidligere systemer ville forudsige. Han var vant til at forudsige sin egen ordprædiktor. “Intel arbejdede med SwiftKey og integrerede mange af Hawkings dokumenter i systemet, så han i nogle tilfælde ikke længere har brug for at skrive et tegn, før forudsigeren gætter ordet baseret på sammenhæng. “Udtrykket” det sorte hul “kræver ikke nogen indtastning,” siger Nachman. “At vælge” det “forudsiger automatisk” sort “. Valg af “sort” forudsiger automatisk “hul”.”

Den nye version af Hawkings brugergrænseflade (nu kaldet ACAT, efter Assistive Contextually Aware Toolkit) inkluderer kontekstuelle menuer, der giver Hawking forskellige genveje til at tale, søge eller e-maile; og en ny forelæsningschef, der giver ham kontrol over tidspunktet for hans levering under samtaler. Det har også en lydløs knap, en nysgerrig funktion, der gør det muligt for Hawking at slukke for sin talesynthesizer. ”Fordi han betjener sin switch med kinden, skaber han tilfældig output, hvis han spiser eller rejser,” siger Wood. ”Men der er tidspunkter, hvor han kan lide at komme med tilfældig tale. Han gør det hele tiden, og nogle gange er det helt upassende. Jeg husker, at han engang tilfældigt skrev “xxxx”, som via sin talesynthesizer lød som “sex sex sex sex”. “

Træ” kontor ligger ved siden af Hawking. Det er mere en workshop end en undersøgelse. Den ene væg er fyldt med elektronisk hardware og eksperimentelle prototyper. Monteret på skrivebordet er et kamera, der er en del af et igangværende projekt med Intel. “Ideen er at få et kamera rettet mod Stephen” s ansigt til at opfange ikke kun kindbevægelserne, men også andre ansigtsbevægelser, ”siger Wood. “Han kunne bevæge sin kæbe sidelæns, op og ned og køre en mus og endda muligvis køre sin kørestol. Disse er seje ideer, men de vil ikke snart være færdige.”

Et andet eksperimentelt projekt, der blev foreslået af producenterne af Hawkings kørestol tidligere på året, er et joystick, der fastgøres til Hawkings hage og giver ham mulighed for at navigere uafhængigt af sin kørestol. “Det er noget, Stephen er meget interesseret i,” siger Wood. “Problemet var kontakten mellem Stephens hage og joysticket. Fordi han ikke har nakkebevægelse, er det svært at aktivere og frakoble joysticket. Wood viser WIRED en video af en nylig prøveversion af dette system. I det kan du se Hawking køre sin kørestol over et tomt rum, i anfald og start. ”Som du kan se, formåede han at køre det,” siger Wood. “Nå, slags.”

Træ viste WIRED en lille grå kasse, der indeholdt den eneste kopi af Hawkings talesynthesizer. Det er en CallText 5010, en model, der blev givet til Hawking i 1988, da han besøgte. det firma, der producerede det, Speech Plus. Kortet inde i synthesizeren indeholder en processor, der omdanner tekst til tale, en enhed, der også blev brugt til automatiserede telefonsvaresystemer i 1980erne.

“Jeg prøver at lave en softwareversion af Stephen” s stemme, så vi ikke behøver at stole på disse gamle hardwarekort, “siger Wood. For at gøre det måtte han spore det originale Speech Plus-team. I 1990 blev Speech Plus solgt til Centigram Communications. Centigram blev erhvervet af Lernout og Hauspie Speech Products, som blev købt af ScanSoft i 2001. ScanSoft blev købt af Nuance Communications, et multinationalt selskab med 35 kontorer og 1.200 ansatte. Wood kontaktede det. ”De havde software med Stephens stemme fra 1986,” siger Wood. “Det ser ud til, at vi muligvis har fundet det på et backupbånd i Nuance.”

Hawking er meget knyttet til hans stemme: i 1988, da Speech Plus gav ham den nye synthesizer, var stemmen anderledes, så han bad dem om at erstatte den med originalen. Hans stemme blev skabt i begyndelsen af 80erne af MIT-ingeniør Dennis Klatt, en pioner inden for tekst-til-tale-algoritmer. Han opfandt DECtalk, en af de første enheder til at oversætte tekst til tale. Han lavede oprindeligt tre stemmer fra optagelser af sin kone, datter og sig selv. Den kvindelige stemme blev kaldt “Smukke Betty”, barnets “Kit the Kid”, og den mandlige stemme, baseret på hans egen, “Perfekt Paul.” “Perfekt Paul” er Hawkings stemme.

Denne historie blev første gang offentliggjort i WIRED UK udgave 01.15