Jak firma Intel przekazała głos Stephenowi Hawkingowi

Stephen Hawking w Chicago, 1986.

AP

Hawking był zbyt chory, żeby wziąć udział w swoim przyjęciu urodzinowym, więc spotkał się z ekspertami Intela kilka tygodni później w swoim biurze na wydziale matematyki stosowanej i fizyki teoretycznej Uniwersytetu Cambridge. W pięcioosobowym zespole znaleźli się Horst Haussecker, dyrektor Experience Technology Lab, Lama Nachman, dyrektor Anticipatory Computing Lab i kierownik projektu oraz Pete Denman, projektant interakcji. „Stephen zawsze był dla mnie inspirujący” – mówi Denman, który również korzysta z wózka inwalidzkiego. „Po tym, jak złamałem kark i zostałem sparaliżowany, mama dała mi egzemplarz„ Krótkiej historii czasu ”, który właśnie się ukazał. Powiedziała mi, że ludzie na wózkach nadal potrafią robić niesamowite rzeczy. Patrząc wstecz, zdaję sobie sprawę, jak prorocze to był. ”

Po tym, jak zespół Intela przedstawił się, Haussecker objął prowadzenie, wyjaśniając, dlaczego tam byli i jakie są ich plany. Haussecker mówił dalej przez 20 minut, kiedy nagle Hawking przemówił.

„Powitał nas i wyraził, jak bardzo był szczęśliwy, że tam byliśmy ”- mówi Denman. „Bez naszej wiedzy, pisał przez cały czas. Napisanie pozdrowienia składającego się z około 30 słów zajęło mu 20 minut. Zatrzymało nas to wszystkich. To było przejmujące. Teraz zdaliśmy sobie sprawę, że to będzie dużo większy problem niż myśleliśmy. ”

W tamtym czasie interfejsem komputera Hawkinga był program o nazwie EZ Keys, uaktualnienie w stosunku do poprzedniego oprogramowania, również zaprojektowane przez Words Plus. Zapewnił mu on klawiaturę ekran i podstawowy algorytm przewidywania słów. Kursor automatycznie przeskanował klawiaturę po wierszu lub kolumnie i mógł wybrać znak, przesuwając policzek, aby zatrzymać kursor. EZ Keys umożliwiło również Hawkingowi sterowanie myszą w systemie Windows i operowanie inne aplikacje w swoim komputerze. Surfował po sieci za pomocą przeglądarki Firefox i pisał wykłady za pomocą Notatnika. Miał też kamerę internetową, której używał ze Skypeem.

Zespół Intela przewidział przewrót w archaicznym systemie Hawkinga, co wiązałoby się z wprowadzeniem nowego sprzętu. „Justin myślał, że moglibyśmy użyć technologii, takich jak rozpoznawanie gestów twarzy, śledzenie spojrzenia i interfejsy mózg-komputer” – mówi Nachman. „Początkowo karmiliśmy go wieloma szalonymi pomysłami i wypróbowaliśmy wiele gotowych technologii”. Te próby najczęściej kończyły się niepowodzeniem. Śledzenie spojrzeń nie mogło skupić się na spojrzeniu Hawkinga z powodu opadania powiek. Przed projektem Intela Hawking testował czapki EEG, które mogły odczytywać jego fale mózgowe i potencjalnie przekazywać polecenia do jego komputera. W jakiś sposób nie mogli uzyskać wystarczająco silnego sygnału mózgowego. „Błyskawiliśmy litery na ekranie i próbowaliśmy wybrać właściwą literę, rejestrując reakcję mózgu” – mówi Wood. „U mnie działało dobrze, a potem Stephen go wypróbował i nie działało dobrze. „Nie były w stanie uzyskać wystarczająco silnego stosunku sygnału do szumu”.

” więcej obserwowaliśmy go i słuchaliśmy jego obaw, tym bardziej dotarło do nas, że to, o co tak naprawdę prosił, oprócz poprawy szybkości komunikacji, dotyczyło nowych funkcji, które pozwoliłyby mu lepiej współdziałać z komputerem ”- mówi Nachman . Po powrocie do Intel Labs i miesiącach badań Denman przygotował 10-minutowy film, który przesłał do Hawkinga, opisując, które nowe prototypy interfejsu użytkownika chcieli wdrożyć, i prosząc o jego opinię. „Wymyśliliśmy zmiany, które według nas nie zmieniłyby drastycznie sposobu, w jaki używał swojego systemu, ale nadal miałyby duży wpływ” – mówi Denman. Zmiany obejmowały dodatki takie jak „przycisk Wstecz”, którego Hawking mógł używać nie tylko do usuwania znaków, ale także do nawigacji o krok wstecz w interfejsie użytkownika; algorytm słów predykcyjnych; i nawigacja po kolejnych słowach, która pozwoliłaby mu wybierać słowa jedno po drugim, zamiast je wpisywać.

Według Denmana główną zmianą był prototyp, który rozwiązał największy problem Hawkinga z jego interfejs użytkownika: chybione naciśnięcia klawiszy. „Stephen często naciskał niewłaściwy klawisz, uderzając literę sąsiadującą z tą, którą chciał” – mówi Denman. „Tęsknił za literą, wracał, ponownie tęsknił za literą i wracał. To było nieznośnie powolne i byłby sfrustrowany. ”Ten szczególny problem był spotęgowany przez perfekcjonizm Hawkinga. „To dla niego naprawdę ważne, aby jego myśli były artykułowane we właściwy sposób, a interpunkcja była absolutnie poprawna” – mówi Nachman. „Nauczył się być na tyle cierpliwy, aby nadal być perfekcjonistą. Nie jest kimś, kto chce tylko przekazać istotę przesłania. Jest kimś, kto naprawdę chce, aby była doskonała.”

Aby zająć się nieodebranymi naciśnięciami klawiszy, zespół Intela dodał prototyp, który zinterpretowałby Hawkinga „zamiary, a nie rzeczywisty wkład, przy użyciu algorytmu podobnego do używanego w edytorze tekstu i telefonach komórkowych. „To trudna interakcja, w którą można uwierzyć” – wyjaśnia film. „Kiedy iPhone po raz pierwszy wszedł na rynek, ludzie narzekali na przewidywanie tekstu, ale szybko nieufność przerodziła się w zachwyt. Problem polega na tym, że przyzwyczajenie się do tego zajmuje trochę czasu i trzeba zwolnić sterowanie, aby system wykonał pracę. tej funkcji może zwiększyć Twoją szybkość i pozwolić Ci skoncentrować się na treści. ”

Podsumowanie filmu:„ Jaki jest Twój poziom podniecenia lub lęku? ”W czerwcu tego roku Hawking odwiedził laboratoria Intel, gdzie Denman i jego zespół przedstawił mu nowy system, początkowo nazywany ASTER (od ASsistive Text EditoR). „Twoje obecne oprogramowanie jest trochę przestarzałe” – powiedział Denman. „Cóż, jest bardzo przestarzałe, ale Ty” jesteś bardzo zwykliśmy go używać, więc zmieniliśmy metodę, według której działa przewidywanie następnego słowa, i może ona niemal za każdym razem wybierać prawidłowe słowo, nawet jeśli nie ma od niego liter.

„To duża poprawa w stosunku do poprzedniej wersji” – odpowiedział Hawking. „Bardzo mi się podoba.”

Zaimplementowali nowy interfejs użytkownika na komputerze Hawkinga. Denman uważał, że są na dobrej drodze. We wrześniu zaczęli otrzymywać informacje zwrotne: Hawking nie dostosowywał się do nowego systemu. To było zbyt skomplikowane. Prototypy, takie jak przycisk Wstecz i ten dotyczący „nieudanych uderzeń w klawisz”, okazały się zagmatwane i musiały zostać wyrzucone. „Jest jednym z najzdolniejszych facetów na świecie, ale nie możemy zapomnieć, że nie miał styczności z nowoczesną technologią” – mówi Denman. „Nigdy nie miał okazji posługiwać się iPhonem. Próbowaliśmy nauczyć najsłynniejszego i najmądrzejszego 72-letniego dziadka świata, aby nauczył się nowego sposobu interakcji z technologią”.

Obudowa komputera i syntezatora mowy używana przez Stephena Hawkinga, 1999.

Science Museum Photo Studio / Getty Images

Denman i reszta zespołu zdali sobie sprawę, że musieli zacząć myśleć inaczej o problemie. „Myśleliśmy, że projektujemy oprogramowanie w tradycyjnym sensie, w którym wyrzucamy ogromną sieć i spróbuj złowić jak najwięcej ryb ”, mówi Denman.„ Nie zdawaliśmy sobie sprawy, jak bardzo projekt będzie zależał od Stephena. Musieliśmy wycelować laser, aby zbadać jedną osobę. ”

Na pod koniec 2012 roku zespół Intela stworzył system, który rejestrował interakcje Hawkinga z jego komputerem. Nagrali dziesiątki godzin wideo, które obejmowały szereg różnych sytuacji: pisanie przez Stephena, pisanie przez Stephena w stanie zmęczenia, Stephen za pomocą myszy, Stephen próbujący uzyskać okno we właściwym rozmiarze. „Oglądałem ten materiał w kółko” – mówi Denman.

„Czasami biegałem działa czterokrotnie szybciej i wciąż znajduje coś nowego. ”

Do września 2013 roku, teraz z pomocą Jonathana Wooda, asystenta absolwenta Hawkinga, wdrożyli kolejną iterację interfejsu użytkownika w Hawkings komputer. „Myślałem, że to zrobiliśmy, myślałem, że skończyliśmy” – mówi Denman. Jednak w następnym miesiącu stało się jasne, że Hawking znowu miał problemy z przystosowaniem się. „Jeden z jego asystentów nazwał to torturą„ ASTER ”- wspomina Denman. „Kiedy to powiedzieli, Stephen się uśmiechał”.

Zespół Intela wymyślił wersję, która zadowoliłaby Hawkinga jeszcze wiele miesięcy. Na przykład, Hawking używa teraz adaptacyjnego predyktora słów z londyńskiego startupu SwiftKey, który pozwala mu wybrać słowo po wpisaniu litery, podczas gdy poprzedni system Hawkinga wymagał od niego przejścia na dół interfejsu użytkownika i wybrania słowa z listy „Jego system przewidywania słów był bardzo stary” – mówi Nachman. „Nowy system jest znacznie szybszy i wydajniejszy, ale musieliśmy wyszkolić Stephena, aby go używać. Na początku narzekał na to, a dopiero później zdałem sobie sprawę, dlaczego: wiedział już, jakie słowa przewidywały jego poprzednie systemy. Był przyzwyczajony do przewidywania własnych słów. ”Intel współpracował ze SwiftKey, włączając do systemu wiele dokumentów Hawkinga, dzięki czemu w niektórych przypadkach nie musi już wpisywać znaku, zanim predyktor odgadnie słowo na podstawie kontekst. „Wyrażenie„ czarna dziura ”nie wymaga pisania” – mówi Nachman. „Wybranie„ automatycznie przewiduje „czarny”. Wybranie „czarnego” automatycznie przewiduje „dziurę”.”

Nowa wersja interfejsu użytkownika Hawkinga (obecnie nazywana ACAT, po Assistive Contextually Aware Toolkit) zawiera menu kontekstowe, które zapewniają Hawking różne skróty do mówienia, wyszukiwania lub wysyłania e-maili; oraz nowego kierownika wykładów, który daje mu kontrolę nad terminami jego wygłaszania podczas wykładów. Posiada również przycisk wyciszania, ciekawą funkcję, która pozwala Hawkingowi wyłączyć syntezator mowy. „Ponieważ obsługuje swój przełącznik policzkiem, jeśli je lub podróżuje, tworzy losowe wyjście” – mówi Wood. „Ale są chwile, kiedy lubi wymyślać przypadkową mowę. Robi to cały czas i czasami jest to całkowicie niewłaściwe. Pamiętam, jak przypadkowo wpisał „xxxx”, które przez jego syntezator mowy brzmiało jak „sex sex sex sex”.

Wood ” Biuro znajduje się obok siedziby Hawkinga. To bardziej warsztat niż gabinet. Jedna ściana jest wypełniona sprzętem elektronicznym i eksperymentalnymi prototypami. Na biurku zamontowana jest kamera, część trwającego projektu z Intelem. „Pomysł polega na skierowaniu kamery na Stephena”. twarz, aby uchwycić nie tylko ruchy jego policzków, ale także inne ruchy twarzy ”- mówi Wood. „Mógłby poruszać szczęką na boki, w górę iw dół, kierować myszą, a nawet potencjalnie kierować wózkiem inwalidzkim. To fajne pomysły, ale w najbliższym czasie nie zostaną ukończone”.

Inny projekt eksperymentalny, zasugerowany przez producentów wózka inwalidzkiego Hawkinga na początku tego roku, to joystick mocowany do brody Hawkinga i pozwala mu samodzielnie poruszać się na wózku inwalidzkim. „To coś, co Stephen bardzo lubi” – mówi Wood. „Problemem był kontakt między brodą Stephena a joystickiem. Ponieważ nie ma ruchu szyi, trudno jest włączyć i wyłączyć joystick. Wood pokazuje WIRED film z ostatniej próby testowej tego systemu. W nim widać, jak Hawking jedzie swoim wózkiem inwalidzkim po pustym pokoju, w pasjach i startach. „Jak widać, udało mu się nim jeździć” – mówi Wood. „Cóż, w pewnym sensie.”

Wood pokazał WIRED małe szare pudełko, które zawierało jedyną kopię syntezatora mowy Hawkinga. To CallText 5010, model przekazany Hawkingowi w 1988 roku, kiedy odwiedził firma, która go wyprodukowała, Speech Plus. Karta wewnątrz syntezatora zawiera procesor, który zamienia tekst na mowę, urządzenie, które było również używane w automatycznych systemach zgłoszeniowych w latach osiemdziesiątych.

„Próbuję” stworzyć wersję oprogramowania Stephena głos, abyśmy nie musieli polegać na tych starych kartach sprzętowych, mówi Wood. Aby to zrobić, musiał wyśledzić oryginalny zespół Speech Plus. W 1990 roku Speech Plus został sprzedany firmie Centigram Communications. Centigram został zakupiony przez Lernout and Hauspie Speech Products, który został przejęty przez ScanSoft w 2001 roku. ScanSoft został kupiony przez Nuance Communications, międzynarodową firmę z 35 biurami i 1200 pracownikami. Wood się z nią skontaktował. „Mieli oprogramowanie z głosem Stephena od 1986 roku” – mówi Wood. „Wygląda na to, że znaleźliśmy go na taśmie zapasowej w Nuance.”

Hawking jest bardzo przywiązany do swojego głosu: w 1988 roku, kiedy Speech Plus dał mu nowy syntezator, głos był inny, więc poprosił ich o zastąpienie go oryginalnym. Jego głos został stworzony na początku lat 80. przez inżyniera MIT Dennisa Klatta, pioniera algorytmów zamiany tekstu na mowę. Wynalazł DECtalk, jedno z pierwszych urządzeń do tłumaczenia tekstu na mowę. Początkowo stworzył trzy głosy z nagrań jego żony, córki i siebie samego. Kobiecy głos nazywał się „Piękna Betty”, dziecka „Kit the Kid”, a męski głos, oparty na jego własnym „Perfect Paul”. „Perfect Paul” to Głos Hawkinga.

Ta historia została po raz pierwszy opublikowana w wydaniu WIRED UK 01.15

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *