Встречайте: Norman, алгоритм-психопат, которому мерещатся трупы
Norman - алгоритм, который обучен распознавать и интерпретировать фотографии и прочие изображения. Но это не обычный пример искусственного интеллекта (ИИ). Norman во всем видит ужасы.
Алгоритм Norman назван в честь персонажа фильма Альфреда Хичкока "Психо"
Обычный алгоритм программы искусственного интеллекта, отвечая на вопрос, что он видит на изображении, обычно интерпретирует его как что-то сугубо положительное.
Например - стая птиц на ветке дерева. Norman, изучая то же самое изображение, видит человека, которого пытают током.
Этот психопатический алгоритм был создан командой исследователей Массачусетского технологического института (MIT). Они пытались понять, как повлияют на восприятие мира искусственным интеллектом фотографии и изображения из темных уголков интернета.
Программе показывали выложенные в Reddit фотографии людей, погибающих в ужасающих обстоятельствах.
Затем алгоритму, который научился распознавать изображения и описывать, что он видит, представили тест Роршаха: симметричные относительно вертикальной оси чернильные кляксы разных цветов.
Психологи уже несколько десятилетий используют подобный тест для того, чтобы понять, насколько позитивно или негативно пациент относится к окружающему миру.
Norman постоянно видел ужасы - трупы, кровь и разруху в каждой такой кляксе.
Стандартный ИИ видит здесь цветы в вазе.
Norman видит застреленного человека
Одновременно другой алгоритм искусственного интеллекта учился на позитивных фотографиях - снимках людей, птичек, кошек и так далее.
Второй алгоритм не увидел ничего ужасного в кляксах Роршаха.
Тот факт, что Norman видит только ужасы, демонстрирует одну из фундаментальных проблем процесса машинного обучения, считает профессор Массачусетского технологического института Ияд Рахван.
"Набор исходных данных важнее самого алгоритма, - говорит он. - Отбор информации, применяемой для тренировки искусственного интеллекта, отражается на том, как этот искусственный интеллект воспринимает окружающий его мир и к каким выводам он приходит".
Стандартный ИИ видит здесь маленькую птичку.
Norman - человека, которого затягивает в мясорубку
Искусственный интеллект уже широко применяется во многих сферах жизни - от персональных органайзеров до фильтрации электронной почты, от программ защиты банков от мошенничества до алгоритмов, способных распознавать лица.
Google, например, недавно продемонстрировал свой алгоритм, который может звонить по телефону и поддерживать нормальный разговор с человеком, не подозревающим, что он разговаривает с компьютером.
Фирма Deepmind разработала алгоритмы, которые могут самостоятельно учиться играть в сложные настольные игры.
Стандартный ИИ видит человека с зонтиком.
Norman - мужчину, которого убивают перед его кричащей от ужаса женой
Программы искусственного интеллекта уже могут писать новостные сообщения, создавать новые уровни видеоигр, помогать анализировать финансовые и медицинские отчеты и многое другое.
Но эксперимент с алгоритмом Norman указывает, что если алгоритм искусственного интеллекта базируется на плохо подобранной изначальной информации, то он сам станет приходить к неудобоваримым выводам.
Расизм
Norman видит во всем смерть, убийства и разруху, потому что он не знает ничего другого. Алгоритмы искусственного интеллекта, уже применяющиеся в повседневной жизни, могут быть предвзяты в зависимости от того, на основе какой информации они были натренированы.
В мае 2017 года, например, были опубликованы результаты исследования, показавшие, что алгоритм, используемый одним из судов в США для определения степени риска при освобождении задержанных под залог, предвзято относился к чернокожим арестантам.
Стандартный ИИ видит фотографию свадебного торта.
Norman видит попавшего под колеса мужчину
Компьютерная программа была уверена, что чернокожие в два раз чаще совершают повторные преступления лишь потому, что алгоритм готовился на основе неполных и неверно подобранных данных.
Алгоритмы прогноза преступности, которым пользуются полицейские многих городов в США, также были пойманы на подспудном расизме, так как они основывают свои выводы на данных о преступности прошлых годов.
В некоторых случаях люди намеренно обучают алгоритмы искусственного интеллекта разным вздорным идеям.
Например, после того как в 2016 году Microsoft запустила в "Твиттере" свой чатбот Tay, он сразу же стал популярен среди троллей, которые научили его поддерживать расистские идеи, призывать к геноциду и восхищаться Гитлером.
Так что Norman - не единственный искусственный интеллект, который легко поддается зловредным влияниям.
И речь идет не только о расизме.
Результаты одного исследования продемонстрировали, что алгоритм искусственного интеллекта, который тренировался на новостях от Google, стал придерживаться сексистских убеждений.
Когда его попросили добавить недостающие слова в фразу "Мужчина - программист, а женщина…", алгоритм ответил "домохозяйка".
"Это наши предубеждения"
Доктор Джоанна Брайсон из Университета Бата, говорит, что подобный сексизм алгоритмов может объясняться тем, что программируют их чаще всего молодые холостяки из Калифорнии, и что можно избежать подобных предубеждений, если среди программистов будет больше людей самого разного возраста и происхождения.
В интервью Би-би-си она сказала, что алгоритмы искусственного интеллекта отражают предвзятость своих учителей, и ничего удивительного в этом нет.
"Если мы тренируем машины, основываясь на нашей собственной культуре, то, естественно, мы передаем им свои собственные предубеждения", - говорит она.
"Справедливость и объективность невозможно достичь математически. В том, что касается машинного обучения, предубеждения не так плохи сами по себе. Это лишь означает, что компьютерная программа обнаруживает стабильные параметры поведения", - утверждает специалист.
Но Джоанну Брайсон беспокоит возможность того, что кто-то из программистов решит нарочно учить искусственный интеллект чему-то плохому.
Чтобы это предотвратить, разработка искусственного интеллекта должна быть более прозрачной и следовать определенным правилам.
Профессор Разван говорит, что эксперимент с Norman демонстрирует, что программисты должны найти какой-то способ балансировать входящую информацию. Он признает, что бурный рост машинного обучения не может оставаться в руках одних лишь программистов.
"Многие считают, что поведение компьютеров можно изучать так же, как ученые изучают поведение людей", - говорит он.
Эта новая эпоха психологии искусственного интеллекта может, например, включать в себя регулярные аудиты разрабатывающихся систем, как это уже происходит в банковском деле.
Директор Microsoft Search Дэйв Коплин считает, что проект по созданию алгоритма Norman поможет началу общественных дебатов по вопросу об искусственном интеллекте и его применении.
"Во-первых, мы все должны понять, как именно эти компьютеры работают, - говорит он. - Сейчас мы обучаем алгоритмы точно так же, как мы обучаем людей, и есть риск того, что мы не все делаем правильно".
"Когда мне отвечает алгоритм, не помешает знать, кто именно его создал, - добавляет он. - Например, если я спрошу созданный в Северной Америке алгоритм о том, как сделать себе чаю, он мне скажет, что нужно налить немного молока в не очень горячую воду".
Искусственному интеллекту предстоит еще учиться и учиться - не только тому, как правильно разливать чай.
Но Дэйв Коплин надеется, что по мере того как искусственный интеллект проникает в различные сферы нашей жизни, мы, люди с естественным интеллектом, научимся распознавать погрешности и предубеждения в той изначальной информации, которую мы в него закладываем.
