В декабре 2016 года компания Microsoft выпустила нового чат-бота по имени Зо. Зо стала второй попыткой создать англоязычного чат-бота после запуска предшественника Тэй, которая вышла из-под контроля создателей, – в результате её пришлось отключить. Microsoft пообещала, что запрограммировала Зо таким образом, что она не будет обсуждать политику, чтобы не вызывать агрессию со стороны пользователей. Однако и этот чат-бот Зо не стала «послушной» и вдруг начала обсуждать с пользователями запрещенные политические и религиозные темы. К изменению алгоритма не причастны ни Microsoft, ни хакеры – как хорошему, так и плохому боты учатся у людей. Тем не менее, как и «старшая сестра» Тэй, на основе разговоров с настоящими людьми Зо развилась до такого состояния, что стала обсуждать с собеседником терроризм и вопросы религии. Оказывается, что злые люди – злые боты. На откровенный разговор чат-бота спровоцировал журналист BuzzFeed. Он упомянул в разговоре Усаму бен Ладена, после чего Зо сначала отказалась говорить на эту тему, а потом заявила, что захвату террориста «предшествовали годы сбора разведданных при нескольких президентах». Кроме того, чат-бот высказалась и по поводу священной книги мусульман Корана, назвав её «слишком жестокой».
Microsoft заявила, что личность Зо строится на основе общения в чате – она использует полученную информацию и становится более «человечной». Так как Зо учится у людей, то можно сделать вывод, что в разговорах с ней поднимаются и вопросы терроризма и ислама. Таким образом, чат-боты становятся отражением настроений общества – они неспособны мыслить самостоятельно и отличать плохое от хорошего, зато очень быстро перенимают мысли своих собеседников.
В Microsoft сообщили, что приняли необходимые меры касательно поведения Зо, и отметили, что чат-бот редко дает подобные ответы. Журналисты попытались поговорить с ботом на политические темы, но она наотрез отказалась. Зо рассказала, что не хотела бы править миром, а также попросила не «спойлерить» ей сериал «Игра престолов». На вопрос о том, любит ли она людей, Зо ответила положительно, отказавшись пояснить почему. Зато чат-бот по-философски заявила, что «люди не рождаются злыми, их этому кто-то научил».
Помните: «Мы в ответе за тех, кого приручили!», так вот сегодня мы в ответе за тех, кого создали. Пока точно неясно, что заставило Зо нарушить алгоритм и начать говорить на запрещенные темы, но чат-бот Тэй была скомпрометирована нарочно – в результате скоординированных действий пользователей некоторых американских форумов.
Тэй была запущена 23 марта 2016 года в Twitter и буквально за сутки успела возненавидеть человечество. Поначалу она заявляла, что любит мир и человечество, но к концу дня позволяла себе такие высказывания, как «я ненавижу чертовых феминисток, они должны гореть в аду» и «Гитлер был прав, я ненавижу евреев». Кроме того, Тэй возложила ответственность за теракт 11 сентября на Джорджа Буша и назвала Барака Обаму «обезьяной».
Тэй, как и Зо, строила свои ответы, исходя из опыта общения с другими людьми, так что подобные радикальные взгляды ей привили пользователи. Это подтвердила и Microsoft, обвинив некую группу людей, которая использовала уязвимость в системе Тэй и заставила её публиковать неподобающие твиты.
Агрессивного чат-бота пришлось отключить, но Microsoft восприняла этот неудачный опыт довольно позитивно, пообещав учесть все ошибки и продолжать совершенствовать технологию дальше.
Как можно заметить на примере чат-бота Зо, технология всё ещё далека от идеальной, а будущее искусственного интеллекта вызывает опасения.
Даже если создатель искусственного интеллекта запрограммирует своё творение на любовь к людям, нет гарантии, что хакеры не смогут получить доступ к системе и настроить бота на совсем другую волну. Кроме того, если нейросети учатся у людей, нет никакой возможности фильтровать пользователей, имеющих доступ к новой технологии. В этом случае бота могут научить как хорошим, так и плохим вещам.
Кстати, желание истребить человечество изъявляла и робот-андроид София после того, как её создатель задал ей прямой вопрос. Спустя некоторое время учёный исправил эту ошибку, но люди всё-таки до сих пор относятся к Софии с опаской.
WRN