Шрифт:
Интервал:
Закладка:
Настоящим прорывом в его деятельности стала разновидность нейронной сети96, моделирующая зрительную кору, то есть ту часть головного мозга, которая управляет зрением. Вдохновленный исследованиями японского ученого-компьютерщика Кунихико Фукусимы, он назвал свое творение «сверточной нейронной сетью». Подобно тому, как разные отделы зрительной коры обрабатывают разные фрагменты изображения, воспринимаемого глазами, сверточная нейронная сеть разрезает изображение на клетки и анализирует каждую из них отдельно, находя в этих клетках маленькие паттерны и выстраивая их в большие паттерны по мере поступления информации через паутину (псевдо)нейронов. Эта идея стала стержневой в карьере Лекуна. «Если Джефф Хинтон – Лиса, тогда Ян Лекун – Еж, – говорит профессор из Беркли Джитендра Малик, заимствуя эту аналогию у философа Исайи Берлина. – Хинтон пузырится миллионами и миллиардами идей, которые скачут в разные стороны. Ян же более целеустремленный. Лиса знает много секретов, а Еж – один, но самый главный».
Первоначально Лекун разрабатывал свою идею, находясь рядом с Хинтоном в Торонто. По-настоящему эта идея расцвела, когда он перебрался в Bell Labs, где в его распоряжении были огромные массивы данных, необходимые для обучения лекуновой сверточной нейронной сети (тысячи не дошедших до адресата писем). Кроме того, там были более мощные компьютеры (новейшая рабочая станция Sun Microsystem), позволявшие с большой скоростью анализировать эти конверты. Он объяснил Хинтону, что перешел в Bell Labs, потому что там ему обещали собственную рабочую станцию, тогда как во время стажировки в Торонто ему приходилось делить машинное время с другими учеными. Через несколько недель после перехода в Bell Labs, используя тот же самый базовый алгоритм, он создал систему, способную распознавать написанные от руки цифры с точностью, которая превосходила все другие технологии, разрабатывающиеся в AT&T. Эта система работала так хорошо, что вскоре нашла коммерческое применение. Помимо Bell Labs, AT&T принадлежала компания NCR, которая продавала кассовые аппараты и другое оборудование для бизнеса, и к середине 1990-х годов AT&T стала продавать технологию Лекуна банкам как способ автоматического чтения рукописных чеков. В этот момент творение Лекуна прочитывало более 10 процентов всех чеков, которые выписывались в США.
Но он рассчитывал на большее. В стеклянных стенах комплекса Bell Labs в Холмделе, который называли «самым большим зеркалом в мире», Лекун и его коллеги разработали микрочип, получивший название ANNA. Это был акроним с акронимом внутри97. ANNA расшифровывалась как Analog Neural Network ALU (аналоговая нейронная сеть ALU), а ALU, в свою очередь, расшифровывалось как Arithmetic Logic Unit (арифметическая логическая единица). ALU – это особая микросхема, разработанная специально для математических расчетов, связанных с нейронными сетями. Вместо того чтобы запускать свои алгоритмы с использованием обычных микрочипов, применяемых для решения любых задач, компания Лекуна разработала микросхему для данной конкретной задачи. Благодаря этому расчеты выполнялись со скоростью около 4 миллиардов операций в секунду, что значительно превосходило стандарты того времени. Эта фундаментальная концепция – микросхема, созданная специально для нейронных сетей, – с течением времени привела к перестройке всей мировой индустрии микрочипов, хотя случилось это двадцатью годами позже.
Вскоре после того, как банковский сканер Лекуна вышел на коммерческий рынок, AT&T, бывшая общенациональная телекоммуникационная корпорация, которая уже не раз делилась на множество мелких компаний, разделилась снова. NCR и исследовательская группа Лекуна оказались по разные стороны, и проект с банковским сканером был аннулирован, что ввергло Лекуна в состояние разочарования и депрессии. Группа уже вот-вот подбиралась к технологиям с использованием всемирной паутины, которая еще только начинала разворачиваться в Америке, а его вообще лишили возможности работать над нейронными сетями. Когда компания начала увольнять ученых, Лекун понял, что тоже хочет уйти. «Я не хочу заниматься тем дерьмом, которое хочет навязать мне компания, – сказал он начальнику лаборатории. – Я работаю над компьютерным зрением». Удерживать его не стали.
В 1995 году двое исследователей Bell Labs98 – Владимир Вапник и Ларри Джекель – поспорили. Вапник говорил, что через десять лет «никто в здравом уме не будет использовать нейронные сети». Джекель принял сторону коннекционистов. Они поспорили на «дорогой обед», и Лекун выступил в качестве посредника. Они распечатали взаимные обязательства и подписались. Практически сразу ситуация повернулась так, что поражение Джекеля казалось неминуемым. Проходили месяцы, и в мире коннекционистов снова наступили заморозки. Да, фургон Померло мог ехать без водителя. Да, система NETtalk, разработанная Сейновски, могла читать вслух. А банковский сканер Лекуна мог читать рукописные чеки. Но было ясно, что этот фургон способен ездить лишь по прямой или там, где никого нет. Система NETtalk годится, скорее, как фокус для вечеринок. А для чтения чеков существовала масса других возможностей. Сверточные нейронные сети Лекуна не справлялись с анализом более сложных изображений, таких как фотографии собак, кошек и автомобилей. И было не ясно, есть ли у них вообще перспектива. В конечном счете Джекель одержал победу, но это была пустая победа. Через десять лет после их пари ученые все же продолжали пользоваться нейронными сетями, но технология за это время продвинулась немногим дальше системы Лекуна, способной читать рукописные цифры. «Я выиграл пари, потому что Ян не сдался, – говорит Джекель. – Научное сообщество фактически игнорировало его, но он не сдавался».
Примерно в то время, когда заключалось это пари, в Стэнфордском университете профессор по имени Эндрю Ын читал лекцию аспирантам о нейронных сетях. В лекции прозвучала такая фраза: «Ян Лекун – единственный человек, который по-настоящему сумел заставить их работать». Но даже сам Лекун не был уверен в будущем. На своем личном веб-сайте он описал свои исследования как нечто оставшееся в прошлом. Он описал кремниевые процессоры99, которые он разрабатывал в
- Необъятный мир: Как животные ощущают скрытую от нас реальность - Эд Йонг - Биология / Зарубежная образовательная литература / Природа и животные
- Главное и второстепенное - Александр Иванович Алтунин - Менеджмент и кадры / Публицистика / Науки: разное
- Ищу предка - Натан Яковлевич Эйдельман - Прочая документальная литература / Зарубежная образовательная литература
- Перестаньте угождать людям. Будьте ассертивным, перестаньте заботиться о том, что думают о вас другие, и избавьтесь от чувства вины - Патрик Кинг - Менеджмент и кадры / Психология / Самосовершенствование
- Марафон проработки детских травм. Создаем внутреннюю опору и исцеляем себя - Валентина Викторовна Корнева - Менеджмент и кадры
- Невидимая Вселенная. Темные секреты космоса - Йостейн Рисер Кристиансен - Науки о космосе / Зарубежная образовательная литература / Прочая научная литература / Физика
- Лидер у доски. Для тех, кто не хочет учить и учиться - Станислав Игоревич Логунов - Менеджмент и кадры / Маркетинг, PR, реклама / Психология
- Делай в два раза больше. Как работать быстрее и лучше, чтобы освободить время для себя - Брайан Трейси - Менеджмент и кадры
- Закон Клеменцо, или Делай бизнес быстро, приятно и легко - Александр Парфенович Аксёнов - Менеджмент и кадры
- Творчество Вечной Жизни. Часть Пятая - Святослав Игоревич Дубянский - Менеджмент и кадры / Эзотерика