В первой половине 2016 года мир услышал о множестве разработок в области нейронных сетей - свои алгоритмы демонстрировали Google (сеть-игрок в го AlphaGo), Microsoft (ряд сервисов для идентификации изображений), стартапы MSQRD, Prisma и другие.

В закладки

Редакция сайт рассказывает, что из себя представляют нейронные сети, для чего они нужны, почему захватили планету именно сейчас, а не годами раньше или позже, сколько на них можно заработать и кто является основными игроками рынка. Своими мнениями также поделились эксперты из МФТИ, «Яндекса», Mail.Ru Group и Microsoft.

Что собой представляют нейронные сети и какие задачи они могут решать

Нейронные сети - одно из направлений в разработке систем искусственного интеллекта. Идея заключается в том, чтобы максимально близко смоделировать работу человеческой нервной системы - а именно, её способности к обучению и исправлению ошибок. В этом состоит главная особенность любой нейронной сети - она способна самостоятельно обучаться и действовать на основании предыдущего опыта, с каждым разом делая всё меньше ошибок.

Нейросеть имитирует не только деятельность, но и структуру нервной системы человека. Такая сеть состоит из большого числа отдельных вычислительных элементов («нейронов»). В большинстве случаев каждый «нейрон» относится к определённому слою сети. Входные данные последовательно проходят обработку на всех слоях сети. Параметры каждого «нейрона» могут изменяться в зависимости от результатов, полученных на предыдущих наборах входных данных, изменяя таким образом и порядок работы всей системы.

Руководитель направления «Поиск Mail.ru» в Mail.Ru Group Андрей Калинин отмечает, что нейронные сети способны решать такие же задачи, как и другие алгоритмы машинного обучения, разница заключается лишь в подходе к обучению.

Все задачи, которые могут решать нейронные сети, так или иначе связаны с обучением. Среди основных областей применения нейронных сетей - прогнозирование, принятие решений, распознавание образов, оптимизация, анализ данных.

Директор программ технологического сотрудничества Microsoft в России Влад Шершульский замечает, что сейчас нейросети применяются повсеместно: «Например, многие крупные интернет-сайты используют их, чтобы сделать реакцию на поведение пользователей более естественной и полезной своей аудитории. Нейросети лежат в основе большинства современных систем распознавания и синтеза речи, а также распознавания и обработки изображений. Они применяются в некоторых системах навигации, будь то промышленные роботы или беспилотные автомобили. Алгоритмы на основе нейросетей защищают информационные системы от атак злоумышленников и помогают выявлять незаконный контент в сети».

В ближайшей перспективе (5-10 лет), полагает Шершульский, нейронные сети будут использоваться ещё шире:

Представьте себе сельскохозяйственный комбайн, исполнительные механизмы которого снабжены множеством видеокамер. Он делает пять тысяч снимков в минуту каждого растения в полосе своей траектории и, используя нейросеть, анализирует - не сорняк ли это, не поражено ли оно болезнью или вредителями. И обрабатывает каждое растение индивидуально. Фантастика? Уже не совсем. А через пять лет может стать нормой. - Влад Шершульский, Microsoft

Заведующий лабораторией нейронных систем и глубокого обучения Центра живых систем МФТИ Михаил Бурцев приводит предположительную карту развития нейронных сетей на 2016-2018 годы:

• системы распознавания и классификации объектов на изображениях;
• голосовые интерфейсы взаимодействия для интернета вещей;
• системы мониторинга качества обслуживания в колл-центрах;
• системы выявления неполадок (в том числе, предсказывающие время технического обслуживания), аномалий, кибер-физических угроз;
• системы интеллектуальной безопасности и мониторинга;
• замена ботами части функций операторов колл-центров;
• системы видеоаналитики;
• самообучающиеся системы, оптимизирующие управление материальными потоками или расположение объектов (на складах, транспорте);
• интеллектуальные, самообучающиеся системы управления производственными процессами и устройствами (в том числе, робототехнические);
• появление систем универсального перевода «на лету» для конференций и персонального использования;
• появление ботов-консультантов технической поддержки или персональных ассистентов, по функциям близким к человеку.

Директор по распространению технологий «Яндекса» Григорий Бакунов считает, что основой для распространения нейросетей в ближайшие пять лет станет способность таких систем к принятию различных решений: «Главное, что сейчас делают нейронные сети для человека, - избавляют его от излишнего принятия решений. Так что их можно использовать практически везде, где принимаются не слишком интеллектуальные решения живым человеком. В следующие пять лет будет эксплуатироваться именно этот навык, который заменит принятие решений человеком на простой автомат».

Почему нейронные сети стали так популярны именно сейчас

Учёные занимаются разработкой искусственных нейронных сетей более 70 лет. Первую попытку формализовать нейронную сеть относят к 1943 году, когда два американских учёных (Уоррен Мак-Каллок и Уолтер Питтс) представили статью о логическом исчислении человеческих идей и нервной активности.

Однако до недавнего времени, говорит Андрей Калинин из Mail.Ru Group, скорость работы нейросетей была слишком низкой, чтобы они могли получить широкое распространение, и поэтому такие системы в основном использовались в разработках, связанных с компьютерным зрением, а в остальных областях применялись другие алгоритмы машинного обучения.

Трудоёмкая и длительная часть процесса разработки нейронной сети - её обучение. Для того, чтобы нейронная сеть могла корректно решать поставленные задачи, требуется «прогнать» её работу на десятках миллионов наборов входных данных. Именно с появлением различных технологий ускоренного обучения и связывают распространение нейросетей Андрей Калинин и Григорий Бакунов.

Главное, что произошло сейчас, - появились разные уловки, которые позволяют делать нейронные сети, значительно меньше подверженные переобучению.- Григорий Бакунов, «Яндекс»

«Во-первых, появился большой и общедоступный массив размеченных картинок (ImageNet), на которых можно обучаться. Во-вторых, современные видеокарты позволяют в сотни раз быстрее обучать нейросети и их использовать. В-третьих, появились готовые, предобученные нейросети, распознающие образы, на основании которых можно делать свои приложения, не занимаясь длительной подготовкой нейросети к работе. Всё это обеспечивает очень мощное развитие нейросетей именно в области распознавания образов», - замечает Калинин.

Каковы объёмы рынка нейронных сетей

«Очень легко посчитать. Можно взять любую область, в которой используется низкоквалифицированный труд, - например, работу операторов колл-центров - и просто вычесть все людские ресурсы. Я бы сказал, что речь идет о многомиллиардном рынке даже в рамках отдельной страны. Какое количество людей в мире задействовано на низкоквалифицированной работе, можно легко понять. Так что даже очень абстрактно говоря, думаю, речь идет о стомиллиардном рынке во всем мире», - говорит директор по распространению технологий «Яндекса» Григорий Бакунов.

По некоторым оценкам, больше половины профессий будет автоматизировано – это и есть максимальный объём, на который может быть увеличен рынок алгоритмов машинного обучения (и нейронных сетей в частности).- Андрей Калинин, Mail.Ru Group

«Алгоритмы машинного обучения - это следующий шаг в автоматизации любых процессов, в разработке любого программного обеспечения. Поэтому рынок как минимум совпадает со всем рынком ПО, а, скорее, превосходит его, потому что становится возможно делать новые интеллектуальные решения, недоступные старому ПО», - продолжает руководитель направления «Поиск Mail.ru» в Mail.Ru Group Андрей Калинин.

Зачем разработчики нейронных сетей создают мобильные приложения для массового рынка

В последние несколько месяцев на рынке появилось сразу несколько громких развлекательных проектов, использующих нейронные сети - это и популярный видеосервис , который социальная сеть Facebook, и российские приложения для обработки снимков (в июне инвестиции от Mail.Ru Group) и и другие.

Способности собственных нейронных сетей демонстрировали и Google (технология AlphaGo выиграла у чемпиона в го; в марте 2016 года корпорация продала на аукционе 29 картин, нарисованных нейросетями и так далее), и Microsoft (проект CaptionBot , распознающий изображения на снимках и автоматически генерирующий подписи к ним; проект WhatDog , по фотографии определяющий породу собаки; сервис HowOld , определяющий возраст человека на снимке и так далее), и «Яндекс» (в июне команда встроила в приложение «Авто.ру» сервис для распознавания автомобилей на снимках; представила записанный нейросетями музыкальный альбом; в мае создала проект LikeMo.net для рисования в стиле известных художников).

Такие развлекательные сервисы создаются скорее не для решения глобальных задач, на которые и нацелены нейросети, а для демонстрации способностей нейронной сети и проведения её обучения.

«Игры - характерная особенность нашего поведения как биологического вида. С одной стороны, на игровых ситуациях можно смоделировать практически все типичные сценарии человеческого поведения, а с другой - и создатели игр и, особенно, игроки могут получить от процесса массу удовольствия. Есть и сугубо утилитарный аспект. Хорошо спроектированная игра приносит не только удовлетворение игрокам: в процессе игры они обучают нейросетевой алгоритм. Ведь в основе нейросетей как раз и лежит обучение на примерах», - говорит Влад Шершульский из Microsoft.

«В первую очередь это делается для того, чтобы показать возможности технологии. Другой причины, на самом деле, нет. Если речь идёт о Prisma, то понятно, для чего это делали они. Ребята построили некоторый пайплайн, который позволяет им работать с картинками. Для демонстрации этого они избрали для себя довольно простой способ создания стилизаций. Почему бы и нет? Это просто демонстрация работы алгоритмов», - говорит Григорий Бакунов из «Яндекса».

Другого мнения придерживается Андрей Калинин из Mail.Ru Group: «Конечно, это эффектно с точки зрения публики. С другой стороны, я бы не сказал, что развлекательные продукты не могут быть применены в более полезных областях. Например, задача по стилизации образов крайне актуальна для целого ряда индустрий (дизайн, компьютерные игры, мультипликация - вот лишь несколько примеров), и полноценное использование нейросетей может существенно оптимизировать стоимость и методы создания контента для них».

Основные игроки на рынке нейронных сетей

Как отмечает Андрей Калинин, по большому счёту, большинство присутствующих на рынке нейронных сетей мало чем отличаются друг от друга. «Технологии у всех примерно одинаковые. Но применение нейросетей - это удовольствие, которое могут позволить себе далеко не все. Чтобы самостоятельно обучить нейронную сеть и поставить на ней много экспериментов, нужны большие обучающие множества и парк машин с дорогими видеокартами. Очевидно, что такие возможности есть у крупных компаний», - говорит он.

Среди основных игроков рынка Калинин упоминает Google и её подразделение Google DeepMind, создавшее сеть AlphaGo, и Google Brain. Собственные разработки в этой области есть у Microsoft - ими занимается лаборатория Microsoft Research. Созданием нейронных сетей занимаются в IBM, Facebook (подразделение Facebook AI Research), Baidu (Baidu Institute of Deep Learning) и другие. Множество разработок ведётся в технических университетах по всему миру.

Директор по распространению технологий «Яндекса» Григорий Бакунов отмечает, что интересные разработки в области нейронных сетей встречаются и среди стартапов. «Я бы вспомнил, например, компанию ClarifAI . Это небольшой стартап, сделанный когда-то выходцами из Google. Сейчас они, пожалуй, лучше всех в мире умеют определять содержимое картинки». К таким стартапам относятся и MSQRD, и Prisma, и другие.

В России разработками в области нейронных сетей занимаются не только стартапы, но и крупные технологические компании - например, холдинг Mail.Ru Group применяет нейросети для обработки и классификации текстов в «Поиске», анализа изображений. Компания также ведёт экспериментальные разработки, связанные с ботами и диалоговыми системами.

Созданием собственных нейросетей занимается и «Яндекс»: «В основном такие сети уже используются в работе с изображениями, со звуком, но мы исследуем их возможности и в других областях. Сейчас мы много экспериментов ставим в использовании нейросетей в работе с текстом». Разработки ведутся в университетах: в «Сколтехе», МФТИ, МГУ, ВШЭ и других.

Нейронные сети произвели фурор в IT, и интерес к ним не угасает. Эта подборка видеолекций внесёт ясность в понимание процессов нейросети.

Нейронные сети. Введение

Сравнительно недавно появилась возможность создавать искусственные нейронные сети. Существуют программы, позволяющие моделировать и создавать нейросети. Стало понятно, что применение этой технологии полезно в большинстве отраслей: математика, медицина, компьютерные науки и т. д. Об этом и пойдёт разговор на первой лекции курса. вы также найдете немного теории на тему нейронных сетей.

Немного биологии

В этом видеоуроке речь пойдет о том, как работают нейроны и как они передают сигнал, основываясь на биологических процессах. Мозг, как у животного, так и у человека, похож на нейронную сеть, которая состоит из нейронов, что в свою очередь состоят из дендритов, аксонов и прочих отростков. Задача этих элементов – принимать сигналы извне и отправлять обработанную информацию соседним клеткам.

В целом об искусственной нейронной сети

Автор курса в этом видео подробно рассказывает о строении нейросети с примерами и картинками. Настоящая биологическая нейронная сеть имеет трёхмерную структуру. Это значит, что отследить, как соединены между собой клетки, почти невозможно. Поэтому зачастую нейросети создаются плоскими, чтобы можно было с ними работать, не имея огромных компьютерных мощностей. Также условились, что сеть состоит из трёх слоев искусственных нейронов: входного, скрытого и выходного.

Искусственный нейрон

В этом видеотуториале речь пойдет о строении нейрона. В общем случае нейрон имеет такое строение: входной сигнал > блок, объединяющий синаптические веса, блок суммирования и блок нелинейного преобразования > выходной сигнал. Как только входной сигнал попал в нейрон, он умножается на соответствующий вес. После этого умноженные данные проходят агрегацию и подаются на выход или попадают под действие функции активации.

Структура нейронной сети

Очень грубо и обобщённо работу нейросети можно разбить на несколько этапов. Сначала входящий сигнал подаётся на входной слой сети. Далее нейроны входного слоя передают информацию нейронам скрытого слоя, где и происходит решение поставленной задачи. Потом нейроны скрытого слоя транслируют обработанный сигнал на выходной слой, где формируется результат и выдается ответ.

Нюансы работы нейронной сети

Автор рассматривает важные темы работы нейронной сети, которые касаются входного и выходного слоя. Нормализация и масштабирование, метод “Один из N”, вопросы организации сетей и наличие нескольких скрытых слоев – вот некоторые из тем, рассматриваемых в этой видеолекции.

Далее следуют 3 очень важные видеолекции по обучению нейросети, к которым нужно подойти со всей серьезностью.

Обучение сети

В этом уроке речь пойдет о том, как работают нейросети, и как добиться того, чтобы они решали поставленные задачи, т. е. что нужно сделать с сетью, чтобы она работала правильно. Любая сеть обладает двумя уровнями жизненного цикла: обучение и функционирование. В свою очередь обучение делится на: обучение с учителем и без него.

Технология обучения сети. Часть 1

Технологий обучения сети очень много, т. к. каждый специалист в этом направлении старается привнести что-то новое, имея свои правила и принципы. Одной из основных технологий является “Метод наискорейшего спуска”. Этот метод имеет следующие характеристики: используется только при обучении с учителем, важны знания по высшей математике, от погрешности и силы входного сигнала зависит вес.

Технология обучения сети. Часть 2

Этот видеоурок автор начинает с объяснения темы обучения скрытых слоев. Ранее в курсе рассматривались сети, которые имели только входной и выходной слои. В таких сетях всё просто – меняются веса нейронов, и операция повторяется. Но когда есть скрытые нейроны, всегда непонятно, за что они отвечают, и как у них менять веса. На помощь приходит метод обратного распространения ошибки.

Работа одного нейрона

В этом уроке мы переходим непосредственно к практике. Весь материал рассчитан на людей, которые не знакомы с языками программирования, поэтому обзор происходит на готовых примитивных программах, написанных на C#. В начале урока автор производит подготовительные мероприятия и устанавливает необходимый софт. Практическая часть основана на рассмотрении характеристик и принципов работы одного нейрона.

Конечно, Prisma уже далеко не единственные, и с тех пор у них появилось множество конкурентов. Facebook купили приложение MSQRD , которое добавляет анимированные «маски» к вашим видео. В отличие от Призмы здесь ставка сделана на распознавание лиц и наложение фильтров на них.

SwiftKey и другие клавиатуры

Большинство современных клавиатур для мобильников уже давно не используют пользовательские словари, такие как T9. Если вы набираете какую-то фразу, то наверняка здесь замешана нейросеть. Некоторые разработчики идут дальше. SwiftKey выпустили бета-версию клавиатуры, которая полностью основана на работе нейросети. Благодаря чему клавиатура не просто подставляет наиболее часто набираемые фразы, а основывается на контексте.

Новая технология пока доступна для ограниченного количества языков и находится на стадии бета-версии. Но и публичная версия SwiftKey основывается на Больших данных. Например, пользовательские словари доступны всем, кто установил клавиатуру. Конечно, за исключением персональных данных.

Snapchat и его фильтры - ещё одно из самых известных применений нейросетей. Если упростить сложное, то приложение использует компьютерное распознавание лиц для идентификации мимики и точек движения мускулов. А уже потом применяет к ним свои фильтры.

Shazam и SoundHound

Эти два популярных приложения распознают музыку, которая играет рядом с нами, а затем сверяет этот фрагмент со слепком в своей «библиотеке». Звучит достаточно просто, но для этого приложение использует нейросети. Здесь приходится решить несколько сложных задач, и даже ни сколько по поиску совпадений, а по очистке лишнего шума при распознавании.

Google Ассистент и Siri

Говорить только про Google Ассистент или Siri будет не совсем правильно. Представить современные сервисы Google и Apple невозможно без Big Data и нейросетей. Любая разработка от этих двух компаний, так или иначе, задействует нейросети. Автоподсказки при поиске, показ рекламы, очистка почты от спама и многое другое. И всё-таки самое явное для нас применение - это голосовые ассистенты. Смартфон распознаёт наш запрос и выполняет поставленную задачу в зависимости не только от контекста фразы, но и нашего местоположения.

Carat

Некоторые приложения, наоборот, нацелены на выполнение лишь одной задачи. Например, Carat на основе данных о вашем использовании смартфона (анализе расхода батареи) укажет на те приложения, которые больше всего расходуют заряд. Вы можете удалить или ограничить использование таких программ и помочь телефону «дожить» до розетки.

Netflix, YouTube, Apple и Google Музыка... Все эти сервисы предлагают музыку и видео на основе ваших предпочтений. За последние пару лет этот тренд пошёл немного дальше и теперь нам предлагаются целые смарт-листы, которые подойдут под наш род занятий или время дня.

Big Data и нейросети могут не только продавать нам рекламу, лечить наши болезни или управлять нашим разумом. Большинство разработок мы замечаем только тогда, когда они подаются нам в развлекательном формате или улучшают наши самые простые ежедневные задачи. Из-за чего мы часто забываем, что нейросеть - это не только моська котёнка у нас в телефоне.

Белорусский студент научил нейросеть узнавать персонажей «Игры престолов»

Двадцатилетний программист Павел Гончаров заканчивает четвертый курс Гомельского государственного технического университета имени Сухого, а после занятий обучает нейронные сети в крупной международной IT-компании Intervale. Первую половину дня молодой человек учится, а ближе к обеду приходит в офис, чтобы заниматься любимым делом. В интервью парень рассказал нам об опасности «восстания машин», искусственном интеллекте, безработице и котиках.

Нейросеть может обеспечить полную иллюзию общения

В настоящее время работаю над исследовательским проектом по созданию умного чат-бота. Его можно обучить общаться с клиентами на материале из соцсетей и форумов - там бесконечное количество речевых ситуаций.

- Ты сам это придумал или кто-то так уже делал?

Конечно, я не первый. Был случай, когда нейросеть обучали на форуме техподдержки Linux. В итоге она переписывалась с клиентом, подражая оператору, спрашивала IP-адрес, просила вводить команды. Получилась полная иллюзия живого общения!

- Такая же штука победила чемпиона по игре Го?

Нет, то была довольно сложная нейросеть AlphaGo. Прежде чем нейронные сети стали играть в игры, они долгое время развивались в виде теории. Концепцию сформулировали еще в 1940-х годах. Потом было написано много научных статей, но компьютеры еще не могли посчитать большие объемы информации.

- Нужны какие-то особые компьютеры?

С появлением видеокарт на архитектуре CUDA программисты стали обучать нейросети на обычных игровых компьютерах.

«Если программа только и делает, что ищет котиков на фотографиях, не стоит беспокоиться за судьбу человечества»

В прессе часто преувеличивают опасность нейросетей, боятся «восстания машин». Как считаешь, все и правда так плохо?

Возможности нейросети зависят от архитектуры. Например, сверточные сети подходят для изображений, а LSTM и GRU- для последовательностей. Есть самоорганизующиеся карты Кохонена, они умеют разделять данные по определенному признаку. Говоря простым языком, нейросети распознают картинки, тексты, классифицируют данные и даже пишут небольшие заметки. Если программа только и делает, что ищет котиков на фотографиях, не стоит беспокоиться за судьбу человечества.

- Может быть, журналисты намеренно поднимают шум, опасаясь потерять работу?

Возможно, копирайтеры и лишатся работы, но об исчезновении журналистики говорить пока рано. Нейросеть вполне способна прочитать несколько новостей на одну тему и оформить что-то похожее. В отличие от программы, реальный журналист может брать интервью, принимать ту или иную точку зрения, создавать уникальный контент. В конце концов, он осознает себя и понимает, что делает.

- А когда нейросеть осознáет себя?

Думаю, лет через пять. Другой вопрос - сколько ресурсов понадобится. Для победы в игре Го работало здание серверов.

- Странно, ведь нейросети копируют устройство нейронов в мозге, а он занимает не так много места.

Нейросеть - не копия, а упрощенная модель работы нейронов.

- Как она понимает, что нужно победить в игре?

Программе дается условие, которое необходимо выполнить, и наказание за действия, не способствующие достижению цели.

- В смысле - «наказание»? Месяц без интернета?

Это сложно объяснить. Допустим, если цель программы - получить некое максимальное значение, то каждый раз, когда мы будем мешать достичь результата, то есть отнимать что-то от финального значения, нейросеть воспримет это как наказание. Допустим, в настольной игре за «максимальное значение» можно принять удачные ходы, которые увеличивают вероятность победы.

«Нейронные сети пока недостаточно совершенны для серьезных военных задач или банковских операций с крупными суммами»

- Чему ты пробовал обучить нейронные сети?

В «Игре престолов» много действующих лиц, и сложно запомнить все имена. Как-то раз написал программу, которая читала «Песнь Льда и Пламени» Джорджа Мартина и определяла имена героев. Но в основном моя научная работа связана с классификацией сжатых данных, с изображениями.

Зачем Беларуси нейросети

В фильмах часто показывают, как всемогущие айтишники в недрах полицейских участков берут пиксельную фотографию, приближают неразборчивое лицо злодея и наводят резкость. Раньше такое было возможно только в кино. С нейросетями ситуация изменилась?

Разработаны программы, которые увеличивают разрешение изображения. Даже если картинка пиксельная и лицо едва различимо, можно достаточно точно восстановить оригинальное фото, хотя это очень далеко от киношной фантастики.

- Как это работает?

Люди постоянно находят знакомые черты в окружающих предметах: например, камень, похожий на лицо, или морозные узоры на стекле. В отличие от нас, нейронные сети могут запоминать миллионы таких соотношений и мгновенно находить общие черты.

- Слышал, специалисты по нейросетям востребованы в ЦЕРНе. Хотел бы переехать в Швейцарию?

Однажды я выступал с докладом в Томске на конференции, посвященной анализу Big Data, и там присутствовали сотрудники ЦЕРНа. Им действительно нужны программисты. В штате много физиков, но недостаточно айтишников: люди работают на устаревшем ПО и кто-то должен все это переписать. Может быть, удастся там поработать.

Большой адронный коллайдер. Фото: Максим Малиновский

- А в Беларуси есть спрос на таких специалистов?

Конечно, ведь по сравнению с обычными программистами нас очень мало. Я слышал, нейросети изучают в Институте проблем информатики, БГУИРе, может еще в БГУ. В Гомеле своей школы пока нет. В ГГТУ на моем курсе была только одна лекция по нейронным сетям. К счастью, есть ресурсы типа coursera.org с бесплатной регистрацией.

«Нейросеть плохо понимает речь: она может найти похожее изречение, провести параллели между словами и уловить какие-то связи, но полноценным разговором это сложно назвать»

- Где сегодня используются нейросети?

Везде: на заводах, в банках, в индустрии развлечений. На конференции в Томске общался с сотрудницей Лаборатории Касперского: они внедряют самообучающиеся системы для обнаружения вирусных атак. А вообще, нейронные сети пока недостаточно совершенны для серьезных военных задач или банковских операций с крупными суммами.

- А для медицины?

Тут победа за роботами. Например, приложение Kardia работает с небольшим устройством для ЭКГ размером с коробок спичек, которое нужно всегда носить с собой. Разработчики обучили нейронную сеть предсказывать проблемы с сердцем на основе полученных с устройства данных. По снимкам опухоли нейросеть ставит диагноз.

Почему бы тогда в больницах не сократить штат? Дешевле купить пару игровых видеокарт с обученными нейросетями, чем содержать персонал.

Потому что, в отличие от нейросети, врач способен обосновать свое решение.

- Если будут вопросы, можно обратиться к разработчику. Разве нет?

Он не возьмет на себя ответственность за ошибку программы. К тому же разработчики не знают, почему нейросеть принимает то или иное решение. Попытки объяснить их поведение продолжаются по сей день. Глубокие нейронные сети - это «черный ящик».

- Есть успехи?

Это как посмотреть… Благодаря изучению нейросети Deep Dream появилось приложение Prisma. Ученые пытались понять, что происходит в сердце нейросети. Изначально она умела только находить животных на фотографиях. Из нее вытащили коэффициенты и применили к изображениям в обратную сторону. На выходе снимки получались собранными из лап, глаз, шерсти животных.

- А при чем здесь Prisma?

Она работает по тому же принципу, только вместо фотографий животных через нейросеть пропустили картины в разных художественных стилях. Им удалось извлечь цифровой эквивалент того, что называется художественным направлением, «почерком» или манерой отдельно взятого художника. Теперь миллионы девушек в Instagram делятся собственными портретами в исполнении знаменитых художников.

Искусственный интеллект - добро или зло?

- Есть профессия, которую нельзя заменить нейросетями?

Пока что это все, что связано с личным общением. Нейросеть плохо понимает речь: она может найти похожее изречение, провести параллели между словами и уловить какие-то связи, но полноценным разговором это сложно назвать.

- То есть сарказм роботам недоступен?

Если при обучении указать, что в одних предложениях есть сарказм, а в других нет, то нейросеть в процессе тренировки запомнит нужные зависимости. Это позволит находить сарказм и определять его степень. Когда я устраивался на работу, мне дали задачу написать программу для анализа эмоционального состояния клиента кол-центра. Думаю, ее можно перевести в режим «сарказм / не сарказм».

«Даже если появится развитый искусственный интеллект, он будет таким, как мы захотим. О том, что такое „хорошо“ и что такое „плохо“, он узнает от нас»

- Помимо операторов кол-центров и копирайтеров кто потеряет работу в ближайшие годы?

Рискуют все, кто связан со ставками и прогнозированием, например брокеры и бизнес-аналитики. Возможно, в подобных процессах машина просто упростит работу, а человек должен будет вмешиваться и контролировать. Но даже в этом случае рынок перестанет нуждаться в огромном количестве специалистов в ближайшие пять лет. Если говорить о десятилетиях, с развитием нейросетей исчезнут многие профессии.

По некоторым прогнозам, к 2050 году нейросети займут чуть ли не половину рабочих мест на планете. Что делать миллионам людей, которые лишатся работы через 20-30 лет?

Получать безусловный доход, который уже пробуют выплачивать в развитых странах. Машины будут работать на нас и производить все необходимые блага. Роботу не нужны деньги, у него нет корысти и амбиций. Даже если появится развитый искусственный интеллект, он будет таким, как мы захотим. О том, что такое «хорошо» и что такое «плохо», он узнает от нас.

- А если ИИ посчитает, что человечество - это плохо?

Опасения могут свести на нет любую инновацию: атомная энергетика - это ядерная бомба, электричество - это электрошокеры и так далее. Если ничего не делать, то ничего не произойдет, а если делать хоть что-то, всегда будет вероятность хорошего и плохого исхода. Я считаю, нельзя отказываться от прогресса.

- Но к интернету продвинутый ИИ подключать не стоит?

Новости о нейронных сетях появляются каждый день. То сети научились определять пол и возраст людей по фотографии, то обыграли человека в очередную настольную игру, то начали генерировать научные тексты, код приложений и писать картины в духе Сальвадора Дали. А завтра Скайнет отберет у тебя работу, автомобиль, жизненное пространство, а тебя самого… нет, не утилизирует, а удобно разместит на диване и заставит ничего не делать, наслаждаясь безусловным доходом. Или все-таки нет?

Рождение мифа

Исследователи и компании, которые работают с большими объемами данных, применяют нейросети еще с восьмидесятых годов, а вот рядовые земляне обращают внимание на прогресс в этой области только после показательных побед машин над людьми. Deep Blue обыграл Каспарова! Watson обошел людей в Jeopardy! А теперь гугловский AlphaGo победил Ли Седоля - одного из лучших игроков в го на сегодняшний день.

Последний случай особенно интересен. Выигрышную стратегию в го просто невозможно запрограммировать традиционными методами. Количество вероятных комбинаций уже после первого хода здесь равно 129 960 (в шахматах, для сравнения, - четыреста), а за весь матч их набирается больше, чем атомов во Вселенной. Алгоритм просчета ходов не в состоянии продумать все возможные комбинации и проигрывает профессиональным игрокам, которые полагаются на интуицию, выработанную годами тренировок.

У AlphaGo есть если не интуиция, то кое-что очень на нее похожее. Система долгое время обучалась на сотнях тысяч сыгранных людьми партий и играла сама с собой. Она научилась «чувствовать» перспективные ходы и уже на их основе прогнозирует игру на несколько ходов вперед. То есть программа переняла ту человеческую черту, которую люди используют ежесекундно, а вот переложить в алгоритм затрудняются.

С легкой руки журналистов AlphaGo превратилась из банальной нейронной сети, описанной еще шестьдесят лет назад, в Искусственный Интеллект, которому недалеко и до обретения самосознания. На самом деле это, конечно же, не так. AlphaGo - это более-менее стандартный пример многослойной нейронной сети, которая способна эффективно решать одну конкретную задачу. Присущая ей «интуиция» - это известное свойство системы, обученной на множестве примеров. Однако считать нейронные сети чересчур разрекламированной игрушкой тоже не стоит.

Перцептрон и триста пород собак

Впервые идею искусственной нейронной сети предложил нейрофизиолог Фрэнк Розенблатт в 1957 году и реализовал ее в нейрокомпьютере «Марк-1» в 1960-м. Математическая модель такой сети получила имя «перцептрон», а само устройство представляло собой небольшой компьютер, снабженный табло из нескольких сотен фотоэлементов. Показывая компьютеру изображения, а затем корректируя весовые коэффициенты связей искусственных нейронов, можно было научить нейронную сеть распознавать геометрические фигуры и некоторые буквы алфавита.

По нынешним временам «Марк-1» - это игрушка. К тому же она страдала от множества проблем: к примеру, изображения не распознавались при деформации или повороте. Сейчас понятно, что при тогдашнем уровне вычислительной мощности многие вещи просто нельзя было реализовать. Перцептроны интересны скорее с исторической точки зрения - реальных задач они не решали. В 1969 году Марвин Минский и Сеймур Паперт описали эти опыты в книге «Перцептроны», после чего исследования в области нейросетей были свернуты в пользу, как тогда казалось, более перспективных символьных вычислений.

Новый всплеск интереса к нейронным сетям произошел лишь в 1986 году, когда появился способ машинного обучения по методу обратного распространения ошибки. Он позволил существенно повысить скорость и качество обучения нейросетей. Однако вычислительные ресурсы все еще были ограничены, да и действительно больших объемов данных для обучения нейросетей не было. Поэтому они существовали в основном как исследовательские проекты и применялись для решения очень ограниченного круга задач. Таких, которые не требуют слишком много мегагерцев или мегабайтов, - к примеру, распознавание текста.

В 2012 году произошло событие, которое коренным образом изменило отношение к нейросетям. Сеть SuperVision, разработанная в Торонтском университете, с большим отрывом выиграла конкурс распознавания объектов на изображениях ImageNet LSVRP (Large-Scale Visual Recognition Challenge). Число ее ошибок составило 16,4%, тогда как программа, занявшая второе место, ошибалась в 26% случаев. Для сравнения: человек делает ошибки в 5% случаев. Но удивительнее всего было то, что для предварительного обучения сети использовался не кластер, а обычный компьютер с двумя видеокартами NVIDIA. Тренировка заняла около недели.

Это был первый случай, когда нейросеть превзошла классические алгоритмы машинного зрения в очень сложном и специфичном тесте. База изображений включала в себя не только простые объекты вроде автомобилей, автобусов, столов и стульев, но еще и триста пород собак, из которых два десятка - разновидности терьеров.

Звучит курьезно? Пожалуй. Но вот что важно: тебе никогда не узнать столько пород собак, а машина их уверенно распознает. И речь не о каком-то огромном компьютере IBM, а о системе вроде тех, что собирают себе любители игр с крутой графикой.

Назад в будущее

SuperVision не случайно стала символом новой эры нейронных сетей. Классификация изображений - нечто гораздо более сложное и высокоуровневое, чем просто разбор буковок на бумаге. Сказать, что отличает букву А от всех остальных букв алфавита, сможет даже ребенок, но попробуй с ходу рассказать об отличительных признаках, допустим, облака. В чем конкретно его разница по сравнению с остальными объектами, которые ты видишь? В голову приходят слова «белый», «небо», «кучевые» и так далее. Это множество параметров, о каждом из которых тоже нужно иметь представление. Что такое «белый»? А «небо»?

Сейчас эту задачу решают при помощи метода Deep Learning (глубинное обучение), суть которого в том, чтобы объединить в сеть большое количество слоев нейронов (в SuperVision их было пять, в современных сетях доходит до сотен). Получается что-то вроде иерархии абстракций. А потом сети скармливаются примеры , по которым она «видит», как выглядит облако в различных ситуациях, и может понять, как его идентифицировать. В случае ошибки система перенастраивает сама себя.

Метод опробованный и действенный, но, чтобы он работал, должно соблюдаться два требования. Во-первых, примеров должно быть действительно много. Не сотни и даже не тысячи, а десятки и сотни тысяч, и чем больше, тем лучше будут результаты. Во-вторых, сеть должна быть действительно большой и состоять из сотен тысяч или даже миллионов нейронов, объединенных во множество слоев. В процессе обучения такого ИИ примеры прогоняются через всю сеть с постоянной коррекцией ошибок. Требования к вычислительным мощностям получаются соответствующие.

Раньше подобные задачи пытались решить с помощью кластеров из тысяч машин. К примеру, в Google делали нейросеть, которая работала на 16 тысячах процессорных ядер. Что, конечно же, делало ее использование совершенно нерентабельным.

В 2014 году в Google предприняли новую попытку и на этот раз использовали глубинное обучение. Результатом стала сеть GoogLeNet из 22 слоев, которая, по словам авторов, так же как и SuperVision, может быть обучена на нескольких высококлассных GPU за неделю. На конкурсе ImageNet гугловская сеть показала себя великолепно: число ошибок снизилось до 6,7%. Почти как у человека!

Если ты думаешь, что это впечатляет, то ты не знаешь последних новостей. Сегодняшние нейросети распознают объекты не только не хуже, но даже лучше человека, а также умеют рассказывать, что изображено на фотографии. Еще в конце 2014 года исследователи из Google и Стэнфордского университета показали нейросеть, способную генерировать осмысленные подписи к фотографиям. Даже несмотря на большой процент ошибок, это впечатляло.

Продолжение доступно только подписчикам

Вариант 1. Оформи подписку на «Хакер», чтобы читать все материалы на сайте

Подписка позволит тебе в течение указанного срока читать ВСЕ платные материалы сайта. Мы принимаем оплату банковскими картами, электронными деньгами и переводами со счетов мобильных операторов.