Может ли Пентагон использовать ChatGPT? OpenAI не отвечает.

Как автоматизированный текст Генераторы быстро, блестяще продвинулись от фантазии к новизне и к настоящему инструменту, они начинают достигать неизбежной следующей фазы: оружия. Пентагон и спецслужбы открыто планируют использовать такие инструменты, как ChatGPT, для продвижения своей миссии, но компания, стоящая за мегапопулярным чат-ботом, хранит молчание.

OpenAI, титан R&D стоимостью почти 30 миллиардов долларов, стоящий за ChatGPT, предоставляет публичный список этических границ, которые он не будет пересекать, бизнес, которым он не будет заниматься, каким бы прибыльным он ни был, на том основании, что он может нанести вред человечеству. OpenAI заявляет, что среди многих запрещенных вариантов использования она заблаговременно исключила военные и другие правительственные приложения с «высоким риском». Как и его конкуренты, Google и Microsoft, OpenAI стремится заявить о своих высоких ценностях, но не желает серьезно обсуждать, что эти предполагаемые ценности означают на практике, или как — и даже если — они будут применяться.

Эксперты по политике в области ИИ, которые разговаривали с The Intercept, говорят, что молчание компании свидетельствует о присущей ей слабости саморегулирования, что позволяет таким фирмам, как OpenAI, казаться принципиальным для нервно настроенной публики, поскольку они разрабатывают мощную технологию, масштабы которой до сих пор неясны. «Если есть что-то, что можно вынести из того, на что вы здесь смотрите, так это слабость предоставления компаниям права самостоятельно контролировать ситуацию», — сказала Сара Майерс Уэст, управляющий директор AI Now Institute и бывший советник по ИИ Федерального торгового ведомства. комиссия.

Вопрос о том, позволит ли OpenAI милитаризировать свои технологии, не является академическим. 8 марта Альянс разведки и национальной безопасности собрался в северной Вирджинии на свою ежегодную конференцию по новым технологиям. В совещании приняли участие представители как частного сектора, так и правительства, а именно Пентагона и соседних шпионских агентств, которые хотели услышать, как служба безопасности США может присоединиться к корпорациям по всему миру в быстром внедрении методов машинного обучения. Во время сессии вопросов и ответов заместителя директора Национального агентства геопространственной разведки Филиппа Чудобу спросили, как его офис может использовать ИИ. Он ответил пространно:

Мы все смотрим на ChatGPT и на то, как эта технология становится полезной и пугающей. … Мы ожидаем, что … мы собираемся развиваться в место, где у нас будет как бы столкновение, как вы знаете, GEOINT, AI, ML и аналитический AI/ML, а также некоторые из этих вещей типа ChatGPT, которые действительно смогут предсказывать вещи, о которых аналитик-человек, как вы знаете, возможно, не задумывался, возможно, из-за опыта, воздействия и так далее.

Отбросив жаргон, видение Chudoba ясно: использование предиктивных текстовых возможностей ChatGPT (или чего-то подобного) для помощи аналитикам в интерпретации мира. Национальное агентство геопространственной разведки, или NGA, относительно малоизвестное подразделение по сравнению с его трехбуквенными братьями и сестрами, является главным национальным обработчиком геопространственной разведки, часто называемым GEOINT. Эта практика включает в себя переработку огромного количества географической информации — карт, спутниковых фотографий, данных о погоде и т. п. — чтобы дать военным и разведывательным службам точную картину того, что происходит на Земле. «Любой, кто управляет американским кораблем, управляет американским самолетом, принимает решения в области национальной политики, ведет войны, определяет местонахождение целей, реагирует на стихийные бедствия или даже перемещается по мобильному телефону, полагается на NGA», — хвастается агентство на своем сайте. 14 апреля газета Washington Post сообщила о выводах документов NGA, в которых подробно описаны возможности наблюдения китайских высотных аэростатов, ставших причиной международного инцидента в начале этого года.

Запрещенное использование

Но амбиции Чудобы по расширению ИИ GEOINT осложняются тем фактом, что создатель рассматриваемой технологии, по-видимому, уже запретил именно это приложение: приложения «Военные и военные действия» и «принятие государственных решений с высокой степенью риска» явно запрещены, согласно Страница «Политики использования» OpenAI. «Если мы обнаружим, что ваш продукт или его использование не соответствуют этим политикам, мы можем попросить вас внести необходимые изменения», — говорится в политике. «Повторные или серьезные нарушения могут привести к дальнейшим действиям, включая приостановку или прекращение действия вашей учетной записи».

По отраслевым стандартам, это удивительно сильный и четкий документ, который, кажется, отговаривает от бездонной ямы оборонных денег, доступных менее добросовестным подрядчикам, и, по-видимому, является довольно категоричным запретом именно на то, что Чудоба воображает для себя. разведывательное сообщество. Трудно представить, как агентство, которое следило за ракетным потенциалом Северной Кореи и служило «молчаливым партнером» во вторжении в Ирак, согласно Министерству обороны, не является само определением принятия военных решений с высокой степенью риска.

В то время как NGA и другие разведывательные агентства, стремящиеся присоединиться к увлечению ИИ, в конечном итоге могут заключать контракты с другими фирмами, в настоящее время лишь немногие конкуренты OpenAI имеют ресурсы, необходимые для создания чего-то вроде GPT-4, большой языковой модели, лежащей в основе ChatGPT. Проверка имени Чудобой ChatGPT поднимает жизненно важный вопрос: возьмет ли компания деньги? Каким бы четким ни казался запрет OpenAI на использование ChatGPT для обработки внешней разведки, компания отказывается об этом говорить. Генеральный директор OpenAI Сэм Альтман передал The Intercept представителю компании Алексу Беку, который не стал комментировать замечания Чудобы и отвечать на какие-либо вопросы. На вопрос о том, как OpenAI будет обеспечивать соблюдение своей политики использования в этом случае, Бек ответил ссылкой на саму политику и отказался от дальнейших комментариев.

«Я думаю, что их нежелание даже заниматься этим вопросом должно вызывать глубокую обеспокоенность», — сказал Майерс из Института AI Now The Intercept. «Я думаю, что это определенно противоречит всему тому, что они говорили общественности о том, как они обеспокоены этими рисками, как будто они действительно действуют в общественных интересах. Если, когда вы вдаетесь в подробности, если они не захотят рассказывать о такого рода потенциальном вреде, то это показывает своего рода шаткость этой позиции».

Связи с общественностью

Даже самые четкие этические принципы технологического сектора обычно оказываются упражнением в связях с общественностью и ничем иным: Twitter одновременно запрещает использование своей платформы для наблюдения и прямо разрешает это, а Google продает услуги ИИ Министерству обороны Израиля, в то время как его официальный «Принципы ИИ» запрещают приложения, «которые причиняют или могут причинить общий вред» и «цель которых противоречит общепринятым принципам международного права и прав человека». Политика общественной этики Microsoft отмечает «приверженность смягчению последствий изменения климата», в то время как компания помогает Exxon анализировать данные нефтяных месторождений и аналогичным образом заявляет о «приверженности уязвимым группам», продавая инструменты наблюдения американской полиции.

Это проблема, от которой OpenAI не сможет уклоняться вечно: перегруженный данными Пентагон все больше увлекается машинным обучением, поэтому ChatGPT и ему подобные явно желательны. За день до того, как Чудоба говорил об ИИ в Арлингтоне, Кимберли Саблон, главный директор по доверенному ИИ и автономии заместителя министра обороны по исследованиям и разработкам, заявила на конференции на Гавайях, что «там много хорошего с точки зрения того, как мы можем использовать большие языковые модели, такие как [ChatGPT] чтобы нарушить критические функции во всем департаменте», — сообщил в прошлом месяце журнал National Defense. В феврале директор отдела искусственного интеллекта ЦРУ Лакшми Раман заявила Потомакскому клубу офицеров: «Честно говоря, мы видели ажиотаж в общественном пространстве вокруг ChatGPT. Это, безусловно, переломный момент в этой технологии, и нам определенно нужно [be exploring] способы, которыми мы можем использовать новые и перспективные технологии».

Стивен Афтергуд, специалист по государственной тайне и давний наблюдатель за разведывательным сообществом в Федерации американских ученых, объяснил, почему план Чудобы имеет смысл для агентства. «Ежедневно NGA заваливается всемирной геопространственной информацией, с которой не может справиться армия аналитиков», — сказал он The Intercept. «В той мере, в какой процесс оценки исходных данных может быть автоматизирован или возложен на квазиинтеллектуальные машины, люди могут быть освобождены для решения особо срочных вопросов. Но здесь предполагается, что ИИ может делать больше, и что он может выявлять проблемы, которые не заметили бы аналитики-люди». Афтергуд сказал, что он сомневается, что интерес к ChatGPT связан с его очень популярными способностями чат-бота, а с потенциалом базовой модели машинного обучения просеивать массивные наборы данных и делать выводы. «Будет интересно и немного страшно посмотреть, как это сработает», — добавил он.

Убедительная чушь

Одна из причин, по которой это пугает, заключается в том, что, хотя такие инструменты, как ChatGPT, могут почти мгновенно имитировать человеческий текст, лежащая в их основе технология заслужила репутацию за то, что спотыкается на основных фактах и ​​генерирует кажущиеся правдоподобными, но полностью фиктивные ответы. Эта склонность уверенно и убедительно нести чепуху — феномен чат-ботов, известный как «галлюцинации», — может создать проблему для проницательных аналитиков разведки. Одно дело, когда ChatGPT выдумывает лучшие места, где можно пообедать в Цинциннати, и другое дело, когда из спутниковых снимков над Ираном выстраиваются осмысленные закономерности. Кроме того, инструменты генерации текста, такие как ChatGPT, обычно не могут точно объяснить, как и почему они производят свои выходные данные; даже самый невежественный аналитик может попытаться объяснить, как они пришли к такому заключению.

Люси Сучман, почетный профессор антропологии и военных технологий в Ланкастерском университете, рассказала The Intercept, что подача в систему, подобную ChatGPT, совершенно новой информации о мире представляет собой еще одно препятствие. «Текущий [large language models] как и те, на которых работает ChatGPT, представляют собой фактически закрытые миры уже оцифрованных данных; как известно, сбор данных для ChatGPT заканчивается в 2021 году», — пояснил Сучман. «И мы знаем, что быстрое переобучение моделей — нерешенная проблема. Таким образом, вопрос о том, как LLM будут включать постоянно обновляемые данные в реальном времени, особенно в быстро меняющихся и всегда хаотичных условиях боевых действий, кажется очень важным. Это даже не говоря о всех проблемах стереотипов, профилирования и плохо информированного нацеливания, которые преследуют нынешнюю военную разведку, работающую с данными».

Нежелание OpenAI исключать NGA в качестве будущего клиента, по крайней мере, имеет смысл для бизнеса. Государственная работа, особенно связанная с национальной безопасностью, чрезвычайно прибыльна для технологических компаний: в 2020 году Amazon Web Services, Google, Microsoft, IBM и Oracle заключили контракт с ЦРУ, который, как сообщается, на протяжении всего срока его действия оценивается в десятки миллиардов долларов. Microsoft, которая, как сообщается, инвестировала в OpenAI 13 миллиардов долларов и быстро интегрирует возможности машинного обучения небольшой компании в свои собственные продукты, заработала десятки миллиардов долларов на оборонных и разведывательных работах. Microsoft отказалась от комментариев.

Но OpenAI знает, что эта работа вызывает большие споры как среди сотрудников, так и среди широкой публики. В настоящее время OpenAI пользуется всемирной репутацией благодаря своим блестящим инструментам и игрушкам для машинного обучения, блестящему общественному имиджу, который может быть быстро испорчен партнерством с Пентагоном. «Праведное представление OpenAI о себе согласуется с недавними волнами отмывания этики в отношении ИИ», — отметил Сачман. «Руководящие принципы этики устанавливают то, что мои британские друзья называют «заложниками судьбы», или то, что вы говорите, что может обернуться против вас». Сачман добавил: «Их неспособность даже ответить на запросы прессы, подобные вашему, говорит о том, что они плохо подготовлены к тому, чтобы нести ответственность за свою собственную политику».