Hvordan Intel ga Stephen Hawking en stemme

Hawking hadde vært for syk til å delta på sin egen bursdagsfest, så han møtte Intel-ekspertene noen uker senere på kontoret sitt i avdelingen for anvendt matematikk og teoretisk fysikk ved University of Cambridge. Teamet på fem inkluderte Horst Haussecker, direktøren for Experience Technology Lab, Lama Nachman, direktøren for Anticipatory Computing Lab og prosjektleder, og Pete Denman, en interaksjonsdesigner. «Stephen har alltid vært inspirerende for meg,» sier Denman, som også bruker rullestol. «Etter at jeg brakk nakken og ble lammet, ga mor meg en kopi av A Brief History of Time, som nettopp hadde kommet ut. Hun fortalte meg at folk i rullestoler fremdeles kan gjøre fantastiske ting. Når jeg ser tilbake, skjønner jeg hvor profetisk det er. var. «

Etter at Intel-teamet presenterte seg, tok Haussecker ledelsen og forklarte hvorfor de var der og hva planene deres var. Haussecker fortsatte å snakke i 20 minutter, da Hawking plutselig snakket.

«Han ønsket oss velkommen og ga uttrykk for hvor glad han var for at vi var der, sier Denman. «Uten det han hadde kjent, hadde han skrevet hele tiden. Det tok ham 20 minutter å skrive en hilsen på rundt 30 ord. Det stoppet oss alle i sporene våre. Det var gripende. Vi innså nå at dette kom til å bli mye større problem enn vi trodde. «

På den tiden var Hawkings datamaskingrensesnitt et program kalt EZ Keys, en oppgradering fra de tidligere programvarene og også designet av Words Plus. Det ga ham et tastatur på skjermen og en grunnleggende ordforutsigelsesalgoritme. En markør skannes automatisk over tastaturet etter rad eller kolonne, og han kan velge et tegn ved å bevege kinnet for å stoppe markøren. EZ-tastene tillot også Hawking å kontrollere musen i Windows og betjene andre applikasjoner på datamaskinen. Han surfet på nettet med Firefox og skrev forelesningene sine ved hjelp av Notepad. Han hadde også et webkamera som han brukte sammen med Skype.

Intel-teamet så for seg en omveltning av Hawkings arkaiske system, som vil innebære å introdusere ny maskinvare. «Justin tenkte at vi kunne bruke teknologi som ansiktsgjenkjenning, blikksporing og hjerne-datamaskingrensesnitt,» sier Nachman. «Opprinnelig matet vi ham mange av disse ville ideene og prøvde mange hylle-teknologier.» Forsøkene mislyktes oftere enn ikke. Gaze tracking kunne ikke låse seg fast på Hawkings blikk på grunn av hengende øyelokk. Før Intel-prosjektet hadde Hawking testet EEG-caps som kunne lese hjernebølgene hans og potensielt overføre kommandoer til datamaskinen hans. På en eller annen måte kunne de ikke få et sterkt nok hjernesignal. Vi ville blinke bokstaver på skjermen, og det ville prøve å velge riktig bokstav bare ved å registrere hjernens svar, sier Wood. «Det fungerte bra med meg, så prøvde Stephen det, og det fungerte ikke bra. De klarte ikke å få et sterkt nok signal til støy.

«The mer vi observerte ham og lyttet til bekymringene hans, desto mer gikk det opp for oss at det han virkelig spurte, i tillegg til å forbedre hvor fort han kunne kommunisere, var for nye funksjoner som ville la ham kommunisere bedre med datamaskinen sin, sier Nachman . Etter å ha kommet tilbake til Intel Labs og etter flere måneder med forskning, utarbeidet Denman en 10-minutters video som skal sendes til Hawking, og beskriver hvilke nye prototyper for brukergrensesnitt de ønsket å implementere og ber om tilbakemeldinger. «Vi kom med endringer vi følte ikke ville endre drastisk hvordan han brukte systemet sitt, men fortsatt ville ha stor innvirkning,» sier Denman. Endringene inkluderte tillegg som en «tilbake-knapp», som Hawking ikke bare kunne bruke for å slette tegn, men for å navigere et skritt tilbake i brukergrensesnittet; en algoritme for prediktiv ord; og neste-ordsnavigering, som ville la ham velge ord etter hverandre i stedet for å skrive dem.

Hovedendringen, etter Denmans syn, var en prototype som taklet det største problemet Hawking hadde med sin brukergrensesnitt: savnede tastetreff. «Stephen traff ofte feil tast ved å trykke på brevet ved siden av den han ønsket,» sier Denman. «Han ville savne brevet, gå tilbake, savne brevet igjen, gå tilbake. Det var uutholdelig tregt, og han ville bli frustrert. «Det spesielle problemet ble forsterket av Hawkings perfeksjonisme. «Det er veldig viktig for ham å få tankene formulert på riktig måte og for at tegnsetting skal være helt riktig,» sier Nachman. «Han lærte å være tålmodig nok til å fremdeles kunne være en perfeksjonist. Han er ikke noen som bare ønsker å få kjernen i meldingen videre. Han er noen som virkelig vil at den skal være perfekt.»

For å adressere de tapte nøkkeltreffene, la Intel-teamet til en prototype som ville tolke Hawking «intensjoner, i stedet for hans faktiske innspill, ved hjelp av en algoritme som ligner den som brukes i tekstbehandling og mobiltelefoner. «Dette er et tøft samspill å sette din tro i,» forklarte videoen. «Da iPhone først kom inn på markedet, klaget folk på forutsigbar tekst, men mistilliten ble raskt til glede. Problemet er at det tar litt tid å bli vant til, og du må frigjøre kontrollen for å la systemet gjøre jobben. Tillegget av denne funksjonen kan øke hastigheten din og la deg konsentrere deg om innholdet. «

Videoen konkluderte med:» Hva er ditt spenningsnivå eller bekymring? «I juni samme år besøkte Hawking Intel Labs, hvor Denman og teamet hans introduserte ham for det nye systemet, opprinnelig kalt ASTER (for ASsistive Text EditoR). «Din nåværende programvare er litt datert,» sa Denman til ham. «Vel, den er veldig datert, men du er veldig datert pleide å bruke det, så vi har endret metoden som prediksjonen for neste ord fungerer på, og den kan ganske mye plukke opp det riktige ordet hver eneste gang, selv om du «ikke bokstaver vekk fra det.»

«Dette er en stor forbedring i forhold til forrige versjon,» svarte Hawking. «Jeg liker det veldig godt.»

De implementerte det nye brukergrensesnittet på Hawkings datamaskin. Denman trodde de var på rett vei. I september begynte de å få tilbakemeldinger: Hawking tilpasset seg ikke det nye systemet. Det var for komplisert. Prototyper som tilbakeknappen og den som adresserte «savnede nøkkelhits», viste seg å være forvirrende og måtte skrotes. «Han er en av de lyseste karene i verden, men vi kan ikke glemme at han ikke har blitt utsatt for moderne teknologi,» sier Denman. «Han hadde aldri muligheten til å bruke en iPhone. Vi prøvde å lære verdens mest berømte og smarteste 72 år gamle bestefar å lære denne nye måten å samhandle med teknologi på.»

Denman og resten av teamet innså at de måtte begynne å tenke annerledes på problemet. «Vi trodde vi designer programvare i tradisjonell forstand, hvor du kaster ut et stort nett og prøv å fange så mange fisk som mulig, «sier Denman.» Vi skjønte ikke hvor mye designet ville henge på Stephen. Vi måtte peke en laser for å studere en person. «

Ved på slutten av 2012 satte Intel-teamet opp et system som registrerte hvordan Hawking interagerte med datamaskinen sin. De spilte inn titalls timer med video som omfattet en rekke forskjellige situasjoner: Stephen skriver, Stephen skriver når han er trøtt, Stephen bruker musen, Stephen prøver å få et vindu i akkurat riktig størrelse. «Jeg så på opptakene om og om igjen,» sier Denman.

«Noen ganger løp jeg det med fire ganger hastigheten og fremdeles finne noe nytt. «

Innen september 2013, nå med bistand fra Jonathan Wood, Hawkings kandidatassistent, implementerte de en ny iterasjon av brukergrensesnittet i Hawking» s datamaskin. «Jeg trodde vi hadde det, jeg trodde vi var ferdige,» sier Denman. Men den neste måneden ble det klart at Hawking igjen hadde problemer med å tilpasse seg. «En av hans assistenter kalte det» ASTER «tortur,» minnes Denman. «Da de sa det, gled Stephen.»

Det gikk mange måneder til før Intel-teamet kom med en versjon som gledet Hawking. For eksempel bruker Hawking nå en adaptiv ord prediktor fra Londons oppstart SwiftKey som lar ham velge et ord etter å ha skrevet en bokstav, mens Hawkings forrige system krevde at han navigerte til bunnen av brukergrensesnittet og valgte et ord fra en liste «Hans ordforutsigelsessystem var veldig gammelt,» sier Nachman. «Det nye systemet er mye raskere og effektivt, men vi måtte trene Stephen til å bruke det. I begynnelsen klaget han på det, og først senere skjønte jeg hvorfor: Han visste allerede hvilke ord hans tidligere systemer ville forutsi. Han var vant til å forutsi sin egen ordforutsigende. «Intel jobbet med SwiftKey, og inkorporerte mange av Hawkings dokumenter i systemet, slik at han i noen tilfeller ikke lenger trenger å skrive et tegn før prediktoren gjetter ordet basert på kontekst. «Uttrykket» det sorte hullet «krever ikke noe å skrive,» sier Nachman. «Hvis du velger» det «forutsier det automatisk» svart «. Å velge «svart» forutsier automatisk «hull».»

Den nye versjonen av Hawkings brukergrensesnitt (nå kalt ACAT, etter Assistive Contextually Aware Toolkit) inkluderer kontekstuelle menyer som gir Hawking forskjellige snarveier for å snakke, søke eller sende e-post; og en ny forelesningssjef, som gir ham kontroll over tidspunktet for hans levering under samtaler. Den har også en dempeknapp, en nysgjerrig funksjon som gjør at Hawking kan slå av talesyntesen. «Fordi han spiser eller reiser, skaper han tilfeldig utgang,» sier Wood. «Men det er tider når han liker å komme med tilfeldig tale. Han gjør det hele tiden, og noen ganger er det helt upassende. Jeg husker at han en gang skrev tilfeldig «xxxx», som via talesyntesen hans hørtes ut som «sex sex sex sex». «

Wood» Kontoret ligger ved siden av Hawking. Det er mer et verksted enn en studie. Den ene veggen er fylt med elektronisk maskinvare og eksperimentelle prototyper. På kameraet er det montert et kamera, en del av et pågående prosjekt med Intel. «Ideen er å få et kamera rettet mot Stephen» s ansikt å plukke opp ikke bare kinnbevegelsene, men andre ansiktsbevegelser, sier Wood. «Han kunne bevege kjeven sidelengs, opp og ned og kjøre en mus og til og med potensielt kjøre rullestolen. Dette er kule ideer, men de vil ikke fullføres når som helst snart.»

Et annet eksperimentelt prosjekt, foreslått av produsentene av Hawkings rullestol tidligere i år, er et joystick som festes til Hawkings hake og lar ham navigere i rullestolen uavhengig. «Det er noe Stephen er veldig opptatt av,» sier Wood. «Problemet var kontakten mellom Stephens hake og styrespaken. Fordi han ikke har nakkebevegelse, er det vanskelig å aktivere og koble fra styrespaken. Wood viser WIRED en video av en nylig prøveversjon av dette systemet. I den kan du se Hawking kjøre rullestolen over et tomt rom, i anfall og start. «Som du ser klarte han å kjøre den,» sier Wood. «Vel, slags.»

Wood viste WIRED en liten grå boks, som inneholdt den eneste kopien av Hawkings talesynthesizer. Det er en CallText 5010, en modell som ble gitt til Hawking i 1988 da han besøkte. selskapet som produserte det, Speech Plus. Kortet inne i synthesizeren inneholder en prosessor som gjør tekst til tale, en enhet som også ble brukt til automatiserte telefonsvaresystemer på 1980-tallet.

«Jeg prøver å lage en programvareversjon av Stephen» s stemme slik at vi ikke trenger å stole på disse gamle maskinvarekortene, «sier Wood. For å gjøre det måtte han spore det originale Speech Plus-teamet. I 1990 ble Speech Plus solgt til Centigram Communications. Centigram ble kjøpt opp av Lernout og Hauspie Speech Products, som ble kjøpt opp av ScanSoft i 2001. ScanSoft ble kjøpt av Nuance Communications, en multinasjonal med 35 kontorer og 1 200 ansatte. Wood kontaktet det. «De hadde programvare med Stephens stemme fra 1986,» sier Wood. «Det ser ut til at vi kan ha funnet det på et sikkerhetskopibånd i Nuance.»

Hawking er veldig knyttet til stemmen hans: i 1988, da Speech Plus ga ham den nye synthesizeren, var stemmen en annen, så han ba dem erstatte den med originalen. Stemmen hans ble opprettet på begynnelsen av 80-tallet av MIT-ingeniør Dennis Klatt, en pioner innen tekst-til-tale-algoritmer. Han oppfant DECtalk, en av de første enhetene som oversatte tekst til tale. Han laget opprinnelig tre stemmer fra opptak. av sin kone, datter og seg selv. Den kvinnelige stemmen ble kalt «Vakre Betty», barnet «Kit the Kid», og den mannlige stemmen, basert på sin egen, «Perfect Paul.» «Perfect Paul» er Hawkings stemme.

Denne historien ble først publisert i WIRED UK utgave 01.15