Comment Intel a donné une voix à Stephen Hawking

Hawking était trop malade pour assister à sa propre fête danniversaire, alors il a rencontré les experts dIntel quelques semaines plus tard dans son bureau du département de mathématiques appliquées et de physique théorique de lUniversité de Cambridge. Léquipe de cinq personnes comprenait Horst Haussecker, le directeur du Experience Technology Lab, Lama Nachman, le directeur du Anticipatory Computing Lab et chef de projet, et Pete Denman, un concepteur dinteractions. «Stephen a toujours été une source dinspiration pour moi», déclare Denman, qui utilise également un fauteuil roulant. «Après mêtre cassé le cou et être devenu paralysé, ma mère ma donné un exemplaire de Une brève histoire du temps, qui venait de sortir. Elle ma dit que les personnes en fauteuil roulant peuvent encore faire des choses incroyables. Avec le recul, je réalise à quel point cela est prophétique. était. « 

Après que léquipe Intel se soit présentée, Haussecker a pris les devants, expliquant pourquoi ils étaient là et quels étaient leurs plans. Haussecker a continué à parler pendant 20 minutes, quand, soudain, Hawking a pris la parole.

« Il nous a accueillis et a exprimé à quel point il était heureux que nous soyons là », dit Denman. « À notre insu, il avait tapé tout ce temps. Il lui a fallu 20 minutes pour écrire une salutation denviron 30 mots. Cela nous a tous arrêtés dans notre élan. Cétait émouvant. Nous avons maintenant réalisé que cela allait être beaucoup plus gros problème que ce que nous pensions. « 

À lépoque, linterface informatique de Hawking était un programme appelé EZ Keys, une mise à jour des logiciels précédents et également conçu par Words Plus. Il lui fournissait un clavier sur lécran et un algorithme de base de prédiction de mots. Un curseur balayait automatiquement le clavier par ligne ou par colonne et il pouvait sélectionner un caractère en déplaçant sa joue pour arrêter le curseur. EZ Keys permettait également à Hawking de contrôler la souris dans Windows et de fonctionner dautres applications de son ordinateur. Il surfait sur le Web avec Firefox et rédigeait ses conférences à laide du Bloc-notes. Il avait également une webcam quil utilisait avec Skype.

Léquipe Intel envisageait un bouleversement du système archaïque de Hawking, ce qui impliquerait lintroduction dun nouveau matériel. «Justin pensait que nous pourrions utiliser des technologies telles que la reconnaissance des gestes du visage, le suivi du regard et les interfaces cerveau-ordinateur», explique Nachman. «Au départ, nous lui avons donné beaucoup de ces idées folles et avons essayé de nombreuses technologies prêtes à lemploi. Ces tentatives, le plus souvent, ont échoué. Le suivi du regard ne pouvait pas se verrouiller sur le regard de Hawking, à cause de laffaissement de ses paupières. Avant le projet Intel, Hawking avait testé des bouchons EEG capables de lire ses ondes cérébrales et de transmettre potentiellement des commandes à son ordinateur. Dune manière ou dune autre, ils ne pouvaient pas obtenir un signal cérébral assez fort. « Nous flasherions des lettres sur lécran et il essaierait de sélectionner la bonne lettre simplement en enregistrant la réponse du cerveau », explique Wood. «Cela a bien fonctionné avec moi, puis Stephen a essayé et cela na pas bien fonctionné. Ils n’ont pas été en mesure d’obtenir un signal sur bruit suffisamment puissant.

« Le Plus nous lavons observé et écouté ses inquiétudes, plus il nous est apparu que ce quil demandait vraiment, en plus daméliorer la rapidité avec laquelle il pouvait communiquer, était de nouvelles fonctionnalités qui lui permettraient de mieux interagir avec son ordinateur », explique Nachman . De retour chez Intel Labs et après des mois de recherche, Denman a préparé une vidéo de 10 minutes à envoyer à Hawking, décrivant les nouveaux prototypes dinterface utilisateur quils voulaient implémenter et sollicitant ses commentaires. «Nous avons proposé des changements qui, selon nous, ne changeraient pas radicalement la façon dont il utilisait son système, mais auraient tout de même un impact important», déclare Denman. Les changements comprenaient des ajouts tels quun « bouton de retour », que Hawking pouvait utiliser non seulement pour supprimer des caractères, mais aussi pour revenir en arrière dans son interface utilisateur; un algorithme de mots prédictifs; et la navigation par mot suivant, qui lui permettrait de choisir les mots les uns après les autres plutôt que de les taper.

Le principal changement, selon Denman, était un prototype qui résolvait le plus gros problème que Hawking avait avec son interface utilisateur: touches manquées. «Stephen frappait souvent la mauvaise touche en frappant la lettre adjacente à celle quil voulait», dit Denman. «Il manquait la lettre, revenait, manquait encore la lettre, revenait. Cétait insupportablement lent et il devenait frustré. «Ce problème particulier était aggravé par le perfectionnisme de Hawking. « Il » est vraiment important pour lui davoir ses pensées articulées exactement de la bonne manière et pour que la ponctuation soit absolument juste « , dit Nachman. » Il a appris à être suffisamment patient pour être encore en mesure dêtre perfectionniste. Ce nest pas quelquun qui veut juste faire passer lessentiel du message. Cest quelquun qui veut vraiment quil soit parfait. »

Pour remédier aux touches manquées, léquipe Intel a ajouté un prototype qui interpréterait Hawking les intentions de s, plutôt que son entrée réelle, en utilisant un algorithme similaire à celui utilisé dans le traitement de texte et les téléphones mobiles. «Cest une interaction difficile dans laquelle mettre votre foi», explique la vidéo. « Lorsque liPhone est entré sur le marché pour la première fois, les gens se sont plaints du texte prédictif, mais la méfiance sest rapidement transformée en plaisir. Le problème est quil faut un peu de temps pour sy habituer et quil faut relâcher le contrôle pour laisser le système faire le travail. Lajout de cette fonctionnalité pourrait augmenter votre vitesse et vous permettre de vous concentrer sur le contenu. « 

La vidéo conclut: » Quel est votre niveau dexcitation ou dappréhension? « En juin de cette année, Hawking a visité Intel Labs, où Denman et son équipe lui a présenté le nouveau système, initialement appelé ASTER (pour ASsistive Text EditoR). «Votre logiciel actuel est un peu daté», lui dit Denman. «Eh bien, il est très daté, mais vous êtes très lhabitude de lutiliser, donc nous « avons changé la méthode par laquelle votre prédiction du mot suivant fonctionne et il peut à peu près choisir le mot correct à chaque fois, même si vous » êtes des lettres loin de lui « .

« Cest une grande amélioration par rapport à la version précédente, » répondit Hawking. « Je laime vraiment. »

Ils ont implémenté la nouvelle interface utilisateur sur lordinateur de Hawking. Denman pensait quils étaient sur la bonne voie. En septembre, ils ont commencé à recevoir des commentaires: Hawking ne sadaptait pas au nouveau système. Cétait trop compliqué. Des prototypes tels que le bouton de retour et celui traitant des « touches manquées » se sont révélés déroutants et ont dû être abandonnés. «Cest lun des gars les plus brillants du monde, mais nous ne pouvons pas oublier quil na pas été exposé à la technologie moderne», déclare Denman. « Il na jamais eu loccasion dutiliser un iPhone. Nous essayions dapprendre au grand-père le plus célèbre et le plus intelligent du monde, âgé de 72 ans, à apprendre cette nouvelle façon dinteragir avec la technologie. »

Denman et le reste de léquipe ont réalisé quils devaient commencer à penser différemment au problème. « Nous pensions que nous concevions des logiciels au sens traditionnel du terme, où vous jetez un énorme filet et essayez de capturer autant de poissons que vous le pouvez », dit Denman.« Nous ne savions pas à quel point le dessin dépendrait de Stephen. Nous avons dû pointer un laser pour étudier un individu. »

À fin 2012, léquipe Intel a mis en place un système qui enregistrait comment Hawking interagissait avec son ordinateur. Ils ont enregistré des dizaines dheures de vidéo qui englobaient une gamme de situations différentes: Stephen tapant, Stephen tapant quand il était fatigué, Stephen utilisant la souris, Stephen essayant dobtenir une fenêtre à la bonne taille. « Jai regardé les images encore et encore », dit Denman.

« Parfois, je courais à quatre fois la vitesse et toujours trouver quelque chose de nouveau. « 

En septembre 2013, maintenant avec laide de Jonathan Wood, lassistant diplômé de Hawking, ils ont implémenté une autre itération de linterface utilisateur dans Hawking » s lordinateur. «Je pensais que nous lavions, je pensais que nous avions terminé», dit Denman. Cependant, le mois suivant, il est devenu clair que, encore une fois, Hawking avait du mal à sadapter. « Un de ses assistants a appelé cela de la torture » ASTER « , se souvient Denman. « Quand ils le disaient, Stephen souriait. »

Il fallut encore de nombreux mois avant que léquipe Intel ne propose une version qui plaira à Hawking. Par exemple, Hawking utilise maintenant un prédicteur de mot adaptatif de la startup londonienne SwiftKey qui lui permet de sélectionner un mot après avoir tapé une lettre, alors que le système précédent de Hawking lobligeait à naviguer vers le bas de son interface utilisateur et à sélectionner un mot dans une liste «Son système de prédiction de mots était très ancien», dit Nachman. «Le nouveau système est beaucoup plus rapide et efficace, mais nous avons dû former Stephen à lutiliser. Au début, il sen plaignait, et ce nest que plus tard que jai compris pourquoi: il savait déjà quels mots ses systèmes précédents prédiraient. Il était habitué à prédire son propre prédicteur de mots. « Intel a travaillé avec SwiftKey, incorporant de nombreux documents de Hawking dans le système, de sorte que, dans certains cas, il na plus besoin de taper un caractère avant que le prédicteur devine le mot en le contexte. « Lexpression » le trou noir « ne nécessite » aucune saisie « , dit Nachman. » Sélectionner « le » prédit automatiquement « noir ». La sélection de «noir» prédit automatiquement «trou». »

La nouvelle version de linterface utilisateur de Hawking (désormais appelée ACAT, après Assistive Contextually Aware Toolkit) comprend des menus contextuels qui fournissent à Hawking divers raccourcis pour parler, rechercher ou envoyer des e-mails; et un nouveau directeur de conférence, qui lui donne le contrôle du moment de sa prestation pendant les conférences. Il dispose également dun bouton muet, une fonctionnalité curieuse qui permet à Hawking déteindre son synthétiseur vocal. « Parce quil actionne son interrupteur avec sa joue, sil » mange ou voyage, il crée une sortie aléatoire « , dit Wood. » Mais il y a des moments où il aime trouver un discours aléatoire. Il le fait tout le temps et parfois cest totalement inapproprié. Je me souviens quune fois, il a tapé au hasard « xxxx », ce qui, via son synthétiseur vocal, ressemblait à « sex sex sex sex ». « 

Wood » Le bureau de s est à côté de Hawking « s. Cest plus un atelier quune étude. Un mur est rempli de matériel électronique et de prototypes expérimentaux. Une caméra est montée sur le bureau, faisant partie dun projet en cours avec Intel. « Lidée est davoir une caméra pointée sur Stephen » Le visage de s pour capter non seulement ses mouvements de joue, mais dautres mouvements du visage », explique Wood. « Il pouvait bouger sa mâchoire sur le côté, de haut en bas, et conduire une souris et même potentiellement conduire son fauteuil roulant. Ce sont des idées sympas mais elles » ne se termineront pas de si tôt. « 

Un autre projet expérimental, suggéré par les fabricants du fauteuil roulant de Hawking plus tôt cette année, est un joystick qui se fixe au menton de Hawking et lui permet de diriger son fauteuil roulant de manière autonome. «Cest quelque chose que Stephen aime beaucoup», dit Wood. «Le problème était le contact entre le menton de Stephen et le joystick. Parce quil na pas de mouvement du cou, il est difficile dengager et de désengager le joystick. Wood montre à WIRED une vidéo dun essai récent de ce système. Dans celui-ci, vous pouvez voir Hawking conduire son fauteuil roulant à travers une pièce vide, par à-coups. «Comme vous pouvez le voir, il a réussi à le conduire», explique Wood. « Eh bien, en quelque sorte. »

Wood a montré à WIRED une petite boîte grise, qui contenait la seule copie du synthétiseur vocal de Hawking. Cest un CallText 5010, un modèle donné à Hawking en 1988 lors de sa visite lentreprise qui la fabriqué, Speech Plus. La carte à lintérieur du synthétiseur contient un processeur qui transforme le texte en parole, un appareil qui était également utilisé pour les répondeurs téléphoniques automatisés dans les années 1980.

« Jessaye de créer une version logicielle de Stephen » s Voice afin que nous nayons pas à nous fier à ces anciennes cartes matérielles « , explique Wood. Pour ce faire, il a dû retrouver léquipe dorigine de Speech Plus. En 1990, Speech Plus a été vendu à Centigram Communications. Centigram a été acquis par Lernout et Hauspie Speech Products, qui a été acquis par ScanSoft en 2001. ScanSoft a été racheté par Nuance Communications, une multinationale de 35 bureaux et 1 200 employés. Wood la contactée. «Ils avaient un logiciel avec la voix de Stephen depuis 1986», explique Wood. « Il semble que nous layons trouvé sur une bande de sauvegarde chez Nuance. »

Hawking est très attaché à sa voix: en 1988, lorsque Speech Plus lui a donné le nouveau synthétiseur, la voix était différente alors il leur a demandé de le remplacer par loriginal. Sa voix avait été créée au début des années 80 par lingénieur du MIT Dennis Klatt, un pionnier des algorithmes de synthèse vocale. Il a inventé le DECtalk, lun des premiers dispositifs à traduire du texte en parole. Il a dabord fait trois voix, à partir denregistrements. de sa femme, de sa fille et de lui-même. La voix féminine sappelait «Beautiful Betty», «Kit the Kid» de lenfant, et la voix masculine, basée sur la sienne, «Perfect Paul». «Perfect Paul» est La voix de Hawking.

Cette histoire a été publiée pour la première fois dans le numéro 01.15 de WIRED UK