Сегодня военные многих стран активно осваивают робототехнику. Небо патрулируют дроны, используются наземные роботы, беспилотники обнаруживают и уничтожают вражеские радары. И это только начало. Все это лишь часть общей технологической тенденции — непрерывного развития искусственного интеллекта. Самообучающийся искусственный интеллект (ИИ) делает роботов все более автономными, позволяет им обрабатывать все больше данных. На войне он сможет подсказывать человеку правильные решения, а со временем и принимать их самостоятельно.

Технический прогресс помогает человечеству развиваться, но когда он служит военным задачам, последствия бывают самыми ужасными. Еще в начале ХХ века промышленная революция позволила создать танки, самолеты и пулеметы, убойная сила которых намного превосходила все оружие, использованное ранее. ИИ может принимать некоторые решения быстрее и лучше человека — например, лучше прокладывает сложные маршруты, организует защиту и эвакуацию.

Но использование ИИ в качестве оружия вызывает у Пола Шарра, автора книги, ветерана и эксперта Пентагона по обороне, опасения.

Когда решение об использовании оружия принимает человек, он учитывает контекст ситуации и не всегда действует строго по инструкции. Так, широко известен случай советского подполковника Станислава Петрова, который при помощи новой системы «Око» наблюдал, не полетят ли вражеские ракеты в сторону территории СССР. Однажды «Око» приняло за ракеты солнечное отражение от ледяных вершин и перед Петровым встала задача — немедленно рапортовать вышестоящему руководству о начале войны или подождать. Наземные радары никаких ракет не зафиксировали. Петров сообщил начальству, что система «Око» неисправна. ИИ на его месте не стал бы учитывать контекст, запрашивать дополнительные данные и сомневаться. У машины нет анализа последствий своих действий, она делает то, на что запрограммирована.

В 2004 году автор в составе снайперской группы патрулировал горы Афганистана. Они залегли в засаде рядом с деревушкой, но поняли, что их заметили. Из деревни вышла девочка лет 5–6 со стадом коз и ходила поблизости, что-то говоря в трубку рации. Вскоре появились талибы, но группе удалось отбиться и эвакуироваться. Никто из них и не подумал стрелять в ребенка, хотя в военных инструкциях возраст противника, которого можно убить, не указан. Убийство девочки было бы законным в рамках войны, но никто этого не сделал. Машина сделала бы это не задумываясь. Она не понимает контекст и у нее нет моральных норм, с точки зрения которых законный поступок не всегда является правильным. Так можно ли доверить военным машинам решения о жизни и смерти? И к чему это приведет?

Пол Шарр посвятил свою книгу роботизированному оружию последнего поколения, управляемому ИИ. Он анализирует случаи, когда что-то пошло не так, и рассказывает о перспективах ИИ, который используется для боевых задач, в том числе о полностью автономном ИИ, действующем практически без участия человека.

В свое время ИИ начали активно использовать в биржевой торговле акциями, что привело к сбою на Уолл-стрит. Если такое произойдет с ИИ на службе у военных, последствия могут быть куда более тяжелыми. Глубокое обучение ИИ представляет собой не только могучую силу, но и потенциальную угрозу, потому что даже его разработчики не могут предвидеть всех последствий его эксплуатации.

Множество ученых, военных и технических экспертов уже высказали справедливые опасения по поводу наступательного автономного оружия. Разработки такого оружия могут вызвать глобальную гонку вооружений — эти опасения высказывали и Хокинг, и Маск, и Стив Возняк, и многие другие. Но что делать, если гонка уже началась?

В начале ХХ века делались попытки запретить подводные лодки и самолеты, из-за их разрушительной мощи, но это не помешало их распространению. Даже запрет на химическое оружие постоянно нарушается режимами-изгоями. А кто помешает им работать над созданием роботов-убийц?
Пока ни одна страна не обнародовала публично свои разработки в области автономного оружия, но автор уверен, что работа над ним ведется очень активно в самых разных странах.

Пока еще для окончательного решения на поле боя боевым роботам требуется команда человека, но военные могут делегировать свои полномочия автономному оружию, например, в условиях потери связи с командованием во время боевых действий. Кроме того, компьютеры быстрее оценивают обстановку и реагируют.

С одной стороны, интеллектуальные машины могут минимизировать человеческие жертвы, повысить точность ударов, что поможет избежать жертв среди мирного населения. Но при их неправильном использовании интересы гражданских лиц просто не будут приниматься машиной в расчет. Кроме того, если несколько стран будут практиковать разумный подход в использовании автономного оружия, это вовсе не значит, что их примеру последуют остальные. Так или иначе, автор считает, что использование автономного оружия неизбежно, главный вопрос в том, как именно оно будет использоваться и кто кого при этом будет контролировать.