Сегодня военные многих стран активно осваивают робототехнику. Небо патрулируют дроны, используются наземные роботы, беспилотники обнаруживают и уничтожают вражеские радары. И это только начало. Все это лишь часть общей технологической тенденции — непрерывного развития искусственного интеллекта. Самообучающийся искусственный интеллект (ИИ) делает роботов все более автономными, позволяет им обрабатывать все больше данных. На войне он сможет подсказывать человеку правильные решения, а со временем и принимать их самостоятельно.

Технический прогресс помогает человечеству развиваться, но когда он служит военным задачам, последствия бывают самыми ужасными. Еще в начале 20 века промышленная революция позволила создать танки, самолеты и пулеметы, убойная сила которых намного превосходила все оружие, использованное ранее. ИИ может принимать некоторые решения быстрее и лучше человека — например, лучше прокладывает сложные маршруты, организует защиту и эвакуацию.

Но использование ИИ в качестве оружия вызывает у Пола Шарра, автора книги, ветерана и эксперта Пентагона по обороне, опасения.

Когда решение об использовании оружия принимает человек, он учитывает контекст ситуации и не всегда действует строго по инструкции. Так, широко известен случай советского подполковника Станислава Петрова, который при помощи новой системы «Око» наблюдал, не полетят ли вражеские ракеты в сторону территории СССР.

Однажды «Око» приняло за ракеты солнечное отражение от ледяных вершин и перед Петровым встала задача — немедленно рапортовать вышестоящему руководству о начале войны или подождать. Наземные радары никаких ракет не зафиксировали. Петров сообщил начальству, что система «Око» неисправна. ИИ на его месте не стал бы учитывать контекст, запрашивать дополнительные данные и сомневаться. У машины нет анализа последствий своих действий, она делает то, на что запрограммирована.

В 2004 году автор в составе снайперской группы патрулировал горы Афганистана. Они залегли в засаде рядом с деревушкой, но поняли, что их заметили. Из деревни вышла девочка лет пяти-шести со стадом коз и ходила поблизости, что-то говоря в трубку рации. Вскоре появились талибы, но группе удалось отбиться и эвакуироваться.

Никто из них и не подумал стрелять в ребенка, хотя в военных инструкциях возраст противника, которого можно убить, не указан. Убийство девочки было бы законным в рамках войны, но никто этого не сделал. Машина сделала бы это не задумываясь. Она не понимает контекст и у нее нет моральных норм, с точки зрения которых законный поступок не всегда является правильным. Так можно ли доверить военным машинам решения о жизни и смерти? И к чему это приведет?

Пол Шарр посвятил свою книгу роботизированному оружию последнего поколения, управляемому ИИ. Он анализирует случаи, когда что-то пошло не так, и рассказывает о перспективах ИИ, который используется для боевых задач, в том числе о полностью автономном ИИ, действующем практически без участия человека.

В свое время ИИ начали активно использовать в биржевой торговле акциями, что привело к сбою на Уолл-стрит. Если такое произойдет с ИИ на службе у военных, последствия могут быть куда более тяжелыми. Глубокое обучение ИИ представляет собой не только могучую силу, но и потенциальную угрозу, потому что даже его разработчики не могут предвидеть всех последствий его эксплуатации.

Множество ученых, военных и технических экспертов уже высказали справедливые опасения по поводу наступательного автономного оружия. Разработки такого оружия могут вызвать глобальную гонку вооружений — эти опасения высказывали и Хокинг, и Маск, и Стив Возняк, и многие другие. Но что делать, если гонка уже началась?

В начале ХХ века делались попытки запретить подводные лодки и самолеты, из-за их разрушительной мощи, но это не помешало их распространению. Даже запрет на химическое оружие постоянно нарушается режимами-изгоями. А кто помешает им работать над созданием роботов-убийц? Пока ни одна страна не обнародовала публично свои разработки в области автономного оружия, но автор уверен, что работа над ним ведется очень активно в самых разных странах.

Пока еще для окончательного решения на поле боя боевым роботам требуется команда человека, но военные могут делегировать свои полномочия автономному оружию, например, в условиях потери связи с командованием во время боевых действий. Кроме того, компьютеры быстрее оценивают обстановку и реагируют.

С одной стороны, интеллектуальные машины могут минимизировать человеческие жертвы, повысить точность ударов, что поможет избежать жертв среди мирного населения. Но при их неправильном использовании интересы гражданских лиц просто не будут приниматься машиной в расчет. Кроме того, если несколько стран будут практиковать разумный подход в использовании автономного оружия, это вовсе не значит, что их примеру последуют остальные. Так или иначе, автор считает, что использование автономного оружия неизбежно, главный вопрос в том, как именно оно будет использоваться и кто кого при этом будет контролировать.

Вот важные идеи книги «Армия без людей» Пола Шарра:

Идея № 1. Робототехника на поле боя все еще сильно зависит от человека, и потому разработчики стремятся к большей автономности оружия

В мирной жизни четко обозначилось направление на развитие робототехники — создание самоуправляемых автомобилей, роботов-пылесосов, роботов-газонокосилок и тому подобного. В военной промышленности происходит то же самое, и это меняет прежние представления о войне. Десятки стран работают над созданием боевых роботов — морских, наземных, воздушных. Их возможности намного превосходят человеческие — роботы не устают, они более маневренны, им можно придать любую форму, сделать практически незаметными. Они не нуждаются в пище и отдыхе. Там, где человек наверняка погибнет, робот выживет и выполнит боевую задачу.

При всем этом роботы по-прежнему зависят от человека, поскольку управляются людьми, пусть и дистанционно, а кроме того, — от каналов связи, по которым передаются сигналы оператора. Если связь прервется, возможности робота будут сильно ограничены, они сведутся только к простейшим действиям. И потому военные многих стран стремятся сделать их более автономными.

Шарр приводит в пример самолеты-беспилотники. В свое время они в малом количестве использовались еще во Вьетнаме, но после окончания войны о них забыли. И лишь с началом конфликтов в Ираке и Афганистане с помощью беспилотников начали проводить разведку, круглосуточно наблюдая за противником. К 2011 году в армию США были внедрены не только маленькие дроны, но и большие самолеты, и наземные роботы, которые обезвреживали бомбы.

Роботы используются не только в воздухе, но и на воде для защиты кораблей от возможных угроз.

Пентагону нужны были не просто машины, управляемые человеком, а интеллектуальные, способные оценить среду, адаптироваться к ней и действовать самостоятельно. Степень автономии удалось повысить, используя «рой» — систему, в которой оператор отдает команду одному из 20 поднятых в воздух дронов, а затем с этим дроном координируются остальные, действуя по принципу пчелиного роя, птичьей стаи или колонии муравьев, которые используют коллективный разум.

Первый рой при полевых испытаниях показал свои слабые места: так, при учебном бое в воздухе пять дронов атаковали один дрон «противника», забыв про остальные, что приводило к сумятице. Впоследствии алгоритм отрегулировали, и сегодняшний рой ведет себя более рационально. Однако рою по-прежнему требуется человек, даже если он находится за много километров от него. Военные поставили цель — создание полностью автономных роев. Тот же процесс происходит и в использовании отдельных беспилотных самолетов, которым инженеры добавляют все новые задачи.

Так, в 2013 году беспилотник ВМС США успешно совершил посадку на платформу в океане, получив от оператора только команду приземлиться. В 2014 году беспилотный самолет сам нашел импровизированную посадочную площадку и сел на нее. В 2015 году другой беспилотный самолет сделал в воздухе успешную дозаправку от другого самолета. Так постепенно боевые машины продвигаются по пути все большей автономии, оставаясь под наблюдением человека, но проявляя самостоятельность в решении все более сложных задач. Вскоре люди будут лишь ставить задачу, а способы ее решения робот найдет самостоятельно.

У автономного оружия должны быть границы, но пока еще непонятно, где они находятся. Министерство обороны США, несмотря на огромный спрос на дроны в Ираке и Афганистане и стремление сделать их как можно более автономными, постановило, что в обозримом будущем это смертоносное оружие останется под контролем человека. Но технологии ИИ развиваются стремительно, и последствия этого для боевых действий предвидеть невозможно.

Автор приводит в пример собственную бытовую технику. Его робот-пылесос, забираясь в ванную комнату, бьется о стенки и дверь и часто застревает там, не в силах выбраться. Дом остается грязным, зато ванная идеально убрана.

Домашняя система климат-контроля однажды превратила дом в духовку, повысив температуру до максимально возможной, пока хозяев не было дома. Это обычные бытовые приборы, но принципы их работы похожи на принципы работы боевых машин. Что, если и им будут свойственны такие же ошибки, когда речь идет об использовании оружия против врага или спасении своих солдат?

Ответ на этот вопрос остается открытым.

Идея № 2. Полностью автономное оружие должно быть многоразовым и иметь канал связи с человеком

Автор классифицирует типы оружия как автоматическое, полуавтономное и полностью автономное. С автоматическим все ясно — автоматические пистолеты и пулеметы начали применять еще в конце XIX -начале ХХ века: они стреляли очередями.

Пистолеты старого типа были полуавтоматическим оружием, которое требовало нового нажатия на спуск, чтобы выпустить следующую пулю. Автоматическое оружие стреляло до тех пор, пока палец оставался на курке. С тех пор размеры, вес и убойная сила автоматического оружия совершенствовались, и сегодня можно встретить огромное количество автоматов, пистолетов и пулеметов различных модификаций.

Такое оружие полностью зависит от человека, нажимающего на курок, оно не способно воспринимать цели. Но военные разработки не стоят на месте, и следующим шагом стало создание самонаводящегося оружия.

Первыми были созданы самонаводящиеся торпеды, которые несколько раз использовались Германией во Второй мировой войне. Торпеду Falke, выпускаемую с подводной лодки, снабдили акустическими датчиками, информация с которых поступала в самонаводящийся искатель цели.

Сначала это вызвало энтузиазм, но когда торпеды Falke дважды потопили подлодки, с которых были выпущены, ориентируясь на звук винта, их пришлось дорабатывать: выпускать при выключенном двигателе или активировать искатель цели, когда торпеда отойдет на большое расстояние. Американцы выпустили свою самонаводящуюся торпеду Wren с улучшенным искателем, и с тех пор разработки в области самонаводящегося оружия не прекращаются.

Многие виды оружия требуют дистанционного участия человека, который сам определяет цель. В других случаях он с помощью радара дает ракете или торпеде точку прицеливания в режиме реального времени, имея возможность в любой момент прекратить атаку или перенаправить ракету к другой цели.

Другие виды оружия обладают некоторой автономией: после запуска полет прервать или изменить нельзя. Однако руководит ими человек. У них есть зачатки интеллекта, позволяющего ощутить окружение, определить правильный курс и маневрировать для поражения цели, но этим их автономия и ограничена.

Сегодня существуют контролируемые автономные системы вооружения, когда человек минимально участвует в их работе, например, в экстренных случаях. Люди определяют одни объекты как угрозу и помечают другие как нейтральные, чтобы система могла их игнорировать.

И наконец, есть несколько видов полностью автономного оружия, действующего без присмотра человека. Такое оружие само ведет поиск, определяет цель и принимает решение об атаке. Это так называемое блуждающее оружие. Оно подолгу может находиться в воздухе, отыскивая цель, и, как только находит ее — уничтожает.

Это самостоятельная боевая система, которую человек отправляет в небо для поиска потенциального врага — на этом его участие заканчивается. Блуждающему оружию не нужны точные координаты целей (самонаводящемуся оружию нужны).

Созданная в Израиле система «Гарпия» относится к такому блуждающему оружию. Она блуждает в радиусе 500 км, отыскивая вражеские радары и уничтожая их с воздуха, оставаясь в воздухе больше 2,5 часов. Объект уничтожения «Гарпия» выбирает сама.

Многие считают, что автономным может быть только оружие с высоким интеллектом. Но степень автономии и интеллект — разные вещи, считает автор. Алгоритмы, управляющие автономным оружием, пока достаточно просты, поскольку военные еще не вполне доверяют таким типам вооружения и не хотят в придачу к автономии снабдить оружие высоким интеллектом.

Полностью автономное оружие очень дорого в производстве, которое не поставлено на поток. Отдельные экземпляры закупаются другими странами для модификации — так, например, Китай закупил «Гарпию» для того, чтобы создать собственный, более дешевый аналог, изучив прототип.

Кроме того, военные не хотят оставлять системы такого типа без присмотра и воздействия, а потому некоторые военные эксперты считают, что оператору нужно иметь возможность обращаться к автономной системе, чтобы вернуть ее домой в экстренном случае или отменить задание. Если автономный дрон запущен в воздух с заданием уничтожить цель, но этой цели просто нет поблизости, человек должен вернуть его на базу без поражения цели во избежание выстрелов во что-нибудь другое.

Автономные системы часто используют для вспомогательных функций типа логистики, но редко применяют в настоящем бою, и военные пока недостаточно финансируют их, не вполне доверяя подобным системам.

Идея № 3. Разработка автономных систем для разведки и ориентирования — лишь ступенька для создания более смертоносного оружия

В пример автор приводит исследовательский проект FLA, создаваемый по инициативе DAPRA, агентства департамента обороны США, отвечающего за разработку новых военных технологий. FLA планируется применять для высокоскоростной автономной навигации в сложных условиях, например, в завалах или захламленных помещениях.

Стандартные квадрокоптеры снабжают датчиками, процессорами и алгоритмами, чтобы они могли перемещаться автономно на высокой скорости. Пока что дроны не носятся на высокой скорости, а медленно ползают вокруг препятствий, но делают это полностью автономно. Их камеры, гидролокатор и лидар позволяют определить препятствие и обогнуть его самостоятельно, не дожидаясь команды от человека.

Датчики должны обнаруживать потенциальные препятствия и отслеживать их, а скорость этого зависит от его процессора, который планируется сделать более мощным, чтобы квадрокоптеры могли маневрировать на высоких скоростях.

На первый взгляд квадрокоптеры FLA не выглядят как потенциально опасное оружие. Они не ищут цель и не несут никаких боеприпасов, использовать их предполагается только для внутренней разведки и при стихийных бедствиях (например, в полуразрушенных землетрясением зданиях или затопленных объектах, из которых нужно выбраться кратчайшим и безопасным путем).

Проект FLA работает над созданием нового класса маленьких беспилотных квадрокоптеров, которые быстро перемещаются по пространству со множеством препятствий. Эти квадрокоптеры даже не наделены способностью искать и находить цели, и тем не менее у программы FLA есть свои яростные критики. Один из них — Стюарт Рассел, специалист по ИИ, написавший учебник по этой теме.

В открытом письме он предлагал запретить проект FLA, поскольку следующим после него шагом станет использование смертоносного автономного оружия.

В разговоре с автором Рассел сказал, что в маленьких быстрых квадрокоптерах он видит следующую ступеньку, куда менее безобидную.

Маленькие быстрые противопехотные дроны, которые движутся роем, могут быть направлены против человека и за короткое время уничтожить население небольшого города. Можно сделать их диаметром в дюйм, набить ими пару грузовиков и снабдить алгоритмом для поражения целей. Внутренняя навигация — лишь предварительный этап для создания маленького и эффективного автономного оружия.

Другая программа DARPA, вызывающая опасения, называется CODE и направлена на совместные операции. Дроны под контролем одного человека работают сообща, охотясь на противника вместе, подобно стае волков. Человек находится в самолете на большом расстоянии и может видеть все маневры управляемых им дронов.

Работа этой «стаи» должна проходить в условиях ограничения связи, так как связь с человеком в самолете может прерваться в любой момент. Но разработчики работают над кодом так, чтобы дроны могли действовать самостоятельно, получив лишь единственную команду, после которой они разделяют задачи между собой и действуют.

Группа беспилотников находит мобильные и перемещаемые цели и уничтожает их. Если цели мобильные, значит, их местоположение невозможно определить заранее. Дроны обращаются за командой к человеку, и для этого разработана специальная технология, позволяющая связываться с ним даже в нестабильных средах. Человек сам принимает решение, одобряя или запрещая уничтожение целей. Якобы именно таков замысел разработчиков.

Согласно пресс-релизу, человек должен обозначить курсором квадрат действия и дать стае команду. Он может вычленить те объекты, которые нельзя атаковать. Но в момент боя неожиданно может выплыть новая цель, и тогда ракеты могут действовать самостоятельно, не обращаясь к оператору, адаптируясь к возникшей ситуации. Это уже практически автономное оружие, которое само поражает цели, считает автор.

Уже сегодня в DARPA работают над использованием нейронной сети глубокого обучения, которая будет самостоятельно делать выводы о целях для поражения. Это делается для улучшения работы беспилотников, но последствия могут быть весьма опасными.

Идея № 4. Помимо беспилотников, все больше стран разрабатывает и использует боевых роботов

Этот процесс охватил большое количество стран, многие из которых опережают США в развитии робототехники. Другие стремятся не отстать, и таким образом технология развивается и распространяется.

Южная Корея использует боевых роботов на границе с Северной Кореей. Израиль для патрулирования границ с Газой использует роботизированную машину Guardium, а для патрулирования побережья — робот-катер «Защитник». У России есть наземные боевые роботы и ведется работа над созданием робота-танка. Даже в Ираке в 2015 году повстанцами создан собственный вооруженный робот. Сингапур и Эквадор используют катера-роботы для борьбы с пиратством. Возможно, в какой-то из этих стран уже планируется сделать роботов полностью автономными.

Правда, до сих пор ни одна страна не заявляла о подобных планах, но только 22 страны прямо поддерживают запрет на смертоносное автономное оружие, и ни одна из них не относится к крупным военным державам.

Южнокорейская корпорация Samsung построила собственного робота SGR-A1. Это стационарный вооруженный часовой, защищающий границу. О его существовании мир узнал в 2007 году, после статьи в журнале IEEE Spectrum, сообщившем, что робот полностью автономный. Правда, инженеры Samsung утверждают, что решение о стрельбе принимает человек, а не робот, но не исключено, что он может работать в полностью автономном режиме. Южная Корея пока не пускает экспертов для осмотра своего робота, но дает понять, что поскольку над страной постоянно висит угроза вторжения северного соседа, она готова нарушить принцип участия человека, переведя робота в автономный режим.

По словам автора, Россия уже давно разрабатывает наземных боевых роботов для различных боевых задач, от защиты стратегически важных объектов до уличных боев.

Уже созданы и небольшие роботы для поддержки пехоты, и роботизированные танки. На ход будущих сухопутных войн может сильно повлиять степень автономии подобных роботов.

Один из российских роботов — «Платформа-М». Это компактная гусеничная машина с гранатометом и штурмовой винтовкой. Она уже принимала участие в боевых учениях вместе с другими войсками в 2014 году. Согласно официальному заявлению российских военных, машину создали для ликвидации вооруженных формирований в городских условиях и нанесения ударов по стационарным и мобильным целям.

Кроме того, она может уничтожать цели в автоматических или полуавтоматических системах управления. Можно подумать, что речь идет об использовании автономного оружия, но это не так: цель выбирают военные на экране компьютера. Она направлена в основном против людей, а не объектов, и до 2014 года идентифицировать врагов на поле боя было для машины сложно. Но с развитием нейронных сетей задача стала легче, хотя все равно она остаётся непростой: возможны ложные срабатывания, стрельба по своим или союзникам. Идентификация своих и чужих в принципе сложна, если вообще возможна, для алгоритма.

У России есть и робот-танк под названием «Волк-2». Удаленный оператор «Волка» может выбрать до 10 целей и дать роботу команду бомбардировки. Есть и робот-амфибия «Арго» с пулеметом и гранатометом, и роботизированная компактная система A800 для перевозки пехоты и снаряжения.

Танки-роботы«Уран-9» и «Вихрь» оснащены противотанковыми ракетами и намного легче обычных танков, потому и дешевле в производстве. Они могут вести обстрел из укрытия, что позволяют их достаточно компактные размеры. Цели задает оператор, но у «Вихря» есть возможность самостоятельно зафиксировать цель и стрелять, пока она не будет уничтожена.

Задать им возможность автономных решений находить и уничтожать танки противника намного легче, чем отличить чужую пехоту от своей. В будущем планируется роботизировать современный танк «Армата», оснастив его продвинутым ИИ, способным просчитывать боевую ситуацию и принимать самостоятельное решение.

Пока еще преждевременно считать, что уже идет гонка вооружений в автономных системах, в частности, роботизированных, но, по мнению автора, процесс может начаться в любую минуту, ведь достаточно переписать программу дистанционного управления на программу автономной работы.

Кроме того, автор опасается, что технология создания автономного оружия сегодня доступна не только государствам, но и отдельным лицам. Можно купить дрон в Интернете, доработать его, поработать над программным обеспечением — и технически подкованный террорист вполне может выпустить его в оживленном месте для охоты на людей.

Идея № 5. Автономная система может давать опасные сбои

Шарр приводит несколько примеров работы противовоздушных полуавтоматических систем Patriot, когда они принимали собственные самолеты за вражеские ракеты и сбивали их, несмотря на контроль человека. Точнее, люди в этой ситуации слишком доверились системе, не подвергнув сомнению ее выводы, и дали команду сбивать.

Многие эксперты уверены, что в целом автономные системы более точны и надежны, чем люди. В свое время автопилоты повысили безопасность полетов. Автоматизация может повысить безопасность во многих сферах. Подконтрольный водителю машины автопилот будет действовать быстрее и ориентироваться лучше, чем обычный водитель.

Однако многие из нас испытывают страх перед автономными системами. Выход робота из-под контроля человека может стать настоящей катастрофой, о чем рассказано во многих научно-фантастических романах. Но этот страх вызван не только чтением беллетристики.

Даже простые автоматические устройства часто демонстрируют сбои: перегруженные телефонные линии, несвоевременно звонящие будильники, зависший компьютер и тому подобное. Автоматизированным системам свойственна хрупкость, причем всем без исключения. Они, конечно, будут делать то, на что запрограммированы, но не в любой момент времени это является правильным.

Действительно, если системы правильно запрограммированы и надежно протестированы, они работают быстрее и точнее людей. Но если возникает ситуация, для которой они не были запрограммированы, или если их тестировали недостаточно полно, или операторы недостаточно опытны, или вдруг изменилась окружающая среда, сбой действительно возможен.

Проблема может возникнуть, если оператор не ожидает моментов хрупкости системы.

Так и случилось, когда Patriot открыл «дружественный огонь» по своим. В одном случае он неправильно классифицировал самолет как ракету, в другом за ракету были приняты электромагнитные помехи. Операторы слишком доверились своим системам и не приняли в расчет хрупкость, что и привело к трагедии. Они фактически уступили решение машине.

В работе с системой человек может находиться внутри цикла — когда он полностью управляет ею, поверх цикла — когда следит за ее работой и в любой момент готов ее прервать или скорректировать (полуавтономная система), и вне цикла, когда она полностью автономна. Но может ли он быстро прервать полуавтономную систему, пока она не успела натворить бед?

Когда человек сидит в автономном автомобиле, он может сам схватиться за руль, если видит угрозу, но это лишь иллюзия контроля. А оператор может и отвернуться на секунду, последствия чего можно видеть в аварии автомобиля с автопилотом Tesla S в 2016 году.

Если хрупкость проявляет полностью автономная система, в которой человек находится вне цикла, то, по крайней мере, на какое-то время может возникнуть самая опасная ситуация.

Автономная система может понять и выполнять задачу на свой манер, а не так, как от нее хочет человек. Она может оказаться неисправной, оператор может совершить ошибку, ее программное обеспечение могут взломать. Лучше всего такую работу, по мнению автора, иллюстрирует диснеевский мультик «Ученик чародея», в котором Микки Маус, берущий у чародея уроки колдовства, решил попрактиковаться в его отсутствие.

Заколдовав метлу, он дал ей задание натаскать воду из колодца в бочку, стоящую дома, а сам лег спать, полностью автоматизировав процесс. Проснулся он в затопленном доме, а метла продолжала таскать и таскать воду. Попытки ее остановить были безуспешными, Микки разрубил метлу топором, но обломки превратились в крошечные метлы и продолжали свою работу. И только приход чародея спас дом от полного затопления.

В случае с Микки система получила неправильные указания, потому что ей не сказали, когда нужно остановиться. Если бы процесс стал полуавтоматическим, то есть метла перед очередным походом к колодцу спрашивала бы Микки, нужно ли еще воды, это сделало бы процесс намного безопаснее. Но полностью автономную метлу в случае неправильной инструкции невозможно остановить.

Поэтому, считает автор, не стоит безоговорочно доверять автономной системе. Нужно понимать ее возможности и ограничения. Тестирование даже на миллионах сценариев все равно не дает полной гарантии от возможного сбоя. Неудачи маловероятны, но с течением долгого времени эта вероятность повышается. Вероятность аварий можно снизить, но стопроцентной гарантии от сбоев это не дает.

Идея № 6. Если военные готовы использовать автономное оружие, они должны быть готовы принять все риски с этим связанные

Даже обычное автоматическое оружие, такое как пистолет или пулемет, может сломаться. Задумано, что пулемет или автомат производят выстрелы до тех пор, пока палец давит на спусковой крючок. Как только давление прекращается, маленькая деталь — шептало — останавливает движение рабочего стержня, чтобы прекратить стрельбу.

Чем больше эксплуатируется оружие, тем сильнее изнашивается шептало. Критический момент наступает, когда оно настолько истирается, что уже не может остановить рабочий стержень. И тогда автомат или пулемет продолжают стрелять, даже если никто не давит на спусковой крючок, пока не израсходуются все патроны. Остановить стрельбу можно, только заклинив подачу патронов, направив при этом ствол в безопасном направлении.

Сам автор сталкивался с этим в Афганистане, когда пулеметчик попытался разобрать свое оружие, не вынув боеприпасы. Пулемет заклинило, и оружие начало беспорядочную пальбу, к счастью, никого не убив. Другой эпизод был более драматичным: в ЮАР заклинило дистанционную зенитную пушку, и она отрыла беспорядочный огонь, убив 9 человек. Хотя управление было дистанционным, сбой случился не в программе, а в механике орудия.

Если потеря контроля даже над простым оружием настолько опасна, то чем грозит разбушевавшееся автономное оружие? В этом случае уничтожение будет целенаправленным, считает Шарр, а последствия — катастрофическими. Ведь машина не понимает, что совершает ошибку, стреляя по своим или по дружественным силам.

Полностью автономное оружие, с одной стороны, было бы очень эффективным на поле боя, оно изменило бы прежние представления о войне. Но военные должны понимать, что запускают смертоносную систему, которую после запуска остановить или перенаправить уже невозможно. Они отправят это оружие в неподконтрольную среду, где оно может попасть в руки врагов, которые после взлома используют его в собственных целях.

Опасения автора вызывает и то, что автономия вряд ли будет использоваться в какой-то единственном виде оружия. Скорее всего, код полной автоматизации будет воспроизведен и в воздушных, и в морских силах, что при определенных условиях многократно увеличит ущерб. Ошибку одной «взбесившейся» машины повторят другие звенья системы.

Тем не менее, автор считает, что военные могут пойти на риск развертывания полностью автоматического оружия. Любое оружие нуждается в проверке в бою, и только так можно выявить все его слабости и уязвимые места. Однако и опасности сбоев могут быть катастрофическими.

Идея № 7. Для сдерживания автономного оружия нужны определенные условия

Первым условием автор считает создание четкого координационного центра, который будет решать, какие именно действия нельзя совершать при помощи автономного оружия. В нем не должно быть места формулировкам вроде «не использовать в общей разведке», потому что это слишком расплывчато и туманно.

Ученые, занимающиеся разработкой ИИ, составили открытое письмо к военным, призывая запретить наступательное автономное вооружение, не поддающееся осмысленному контролю человека. Но где граница между наступательным и оборонительным оружием? Автор считает, что если бы она существовала, все страны давным-давно запретили бы наступательное оружие.

Что такое осмысленный человеческий контроль? А если автономное оружие попадет в плохие руки, в чем будет смысл такого контроля? Вместо этого стоило бы выработать основные концепции запрета, к примеру, лазеров, ослепляющих противника навсегда.

Чтобы запрет был успешным, ужасные последствия применения такого оружия должны перевешивать его боевую пользу.

Оружие может рассматриваться как дестабилизирующее, опасное для мирного населения или причиняющее излишние страдания. В любом случае последствия применения должны быть действительно страшными, а польза — небольшой, чтобы все государства могли пойти на подобный запрет.

Еще одним условием должна быть полная прозрачность. Одни страны должны быть уверены, что другие тайком не занимаются разработками тех видов автономного оружия, которые запрещены. Можно договориться о периодических проверках таких разработок, но поскольку речь идет в первую очередь о коде, проверить это очень сложно.

Можно ориентироваться на отдельные физические характеристики автономного оружия, такие как мощность, дальность, размер и тому подобные. По крайней мере, их легче отследить, чем код. Что касается кода, то страны могли бы подписать конвенцию, которая запрещала бы использование некоторых видов ИИ, таких как неподконтрольное машинное обучение прямо на поле боя.

Есть разные способы ограничения ИИ в боевых действиях.

Во-первых, можно полностью запретить автономное оружие. Но будут ли все страны придерживаться этого запрета, пока непонятно. Кроме того, непонятно, как быть с теми видами автономного оружия, которые уже используются. И как быть с оружием, которое лишь частично контролируется человеком?

Наиболее опасно, по мнению автора, использование полностью автономного оружия на мобильных робототехнических средствах. Если такое оружие не мобильное, а фиксированное, это менее опасно и может использоваться в первую очередь в защитных, а не наступательных целях. Кроме того, люди должны иметь возможность контроля, хотя бы для того, чтобы отключить неисправную систему автономного оружия.

Шарр считает, что полный запрет автономного оружия будет действовать до первого серьезного военного конфликта, а потому многие страны продолжат работу над ним даже в случае принятия конвенции о его запрещении.

Вторым вариантом запрета автономного оружия могла бы стать конвенция о противопехотном автономном оружии. Польза его невысока, а последствия ужасны, так что многие страны вполне могут на это пойти. Одно дело, когда автономные системы типа «Гарпии» разрушают объекты, и совсем другое, когда они направлены против людей. Они не оставляют человеку ни малейшего шанса избежать смерти. Кроме того, им могут злоупотребить, направив на гражданских лиц. И само использование машин против людей наводит ужас.

Военные готовы использовать какие-то виды противопехотного оружия, например, в борьбе с терроризмом, чтобы поразить лидера террористов, но в этом случае оружие полуавтономно, потому что человек сам выбирает цель.

В этом случае прозрачность тоже может стать проблемой. Невозможно отследить, пишется ли код для автономных машин или нет, но если производство такого оружия примет промышленные масштабы, то скрыть это будет невозможно.

Наконец, нужно определить границы участия человека в управлении автономным оружием. На основании полученной информации он должен в первую очередь достоверно установить, что на его страну напали. Затем он должен принять решение об отражении атаки. И лишь тогда использовать автономное оружие в ограниченном режиме.

Заключительные комментарии

Книга написана экспертом в вооружении и содержит множество технических подробностей, тем не менее это не делает ее слишком сложной для восприятия обывателем.

Интерес к оружию и понимание его возможностей не отвлекают автора от вопросов морального порядка, связанных с нашим ближайшим будущим. Его будут определять технологии, но технологии созданы людьми, и только людям решать, как ими распорядиться. С помощью искусственного интеллекта мы можем построить более безопасный и спокойный мир, использование его в войне поможет избежать жертв среди мирного населения, целиком сосредоточившись на противнике и его боевых роботах.

Но человек, восхищенный силой боевых машин, их скоростью и точностью, может предоставить им слишком много свободы, сбросив с себя бремя контроля. И нет никакой уверенности в том, что боевые машины, управляемые только ИИ, будут выполнять все свои задачи правильно.

Казалось бы, идеальный вариант — вовсе бросить разработки подобных вооружений, использовать ИИ исключительно в мирных целях, а международные конфликты решать с помощью переговоров. Но, по мнению автора, до сих пор это никому не удавалось. Оружие как средство самозащиты должно по крайней мере соответствовать тому, что находится на вооружении других стран. Однако все страны должны найти в себе силы отказаться от такого оружия, которое слишком опасно и бесчеловечно.