OpenAI на этой неделе незаметно удалил формулировку, прямо запрещающую использование своей технологии в военных целях, из своей политики использования, которая стремится определить, насколько мощные и чрезвычайно популярные инструменты, такие как ChatGPT, могут быть использованы.
Вплоть до 10 января на странице «Политика использования» OpenAI содержался запрет на «деятельность, сопряженную с высоким риском физического вреда, включая», в частности, «разработку оружия» и «военные и военные действия». Этот четко сформулированный запрет на военное применение, по-видимому, исключает любое официальное и чрезвычайно прибыльное использование Министерства обороны или любой другой государственной армии. Новая политика сохраняет запрет «использовать наши услуги во вред себе или другим» и в качестве примера приводит «разработку или использование оружия», но полный запрет на «военное и военное» использование исчез.
Необъявленное редактирование является частью масштабного изменения страницы политики, которое, по словам компании, было призвано сделать документ «более понятным» и «более читабельным» и которое включает в себя множество других существенных изменений в формулировках и форматировании.
«Мы стремились создать набор универсальных принципов, которые легко запомнить и применять, тем более что наши инструменты теперь используются во всем мире обычными пользователями, которые теперь также могут создавать GPT», — сказал представитель OpenAI Нико Феликс в электронном письме The Intercept. «Такой принцип, как «Не причиняй вреда другим», является широким, но легко понятным и актуальным во многих контекстах. Кроме того, в качестве ярких примеров мы специально привели оружие и ранения других людей».
Феликс отказался сообщить, распространяется ли более расплывчатый запрет на «вред» на любое использование в военных целях, написав: «Любое использование нашей технологии, в том числе военными,[develop] или [use] оружие, [injure] другие или [destroy] имущество, или [engage] в несанкционированной деятельности, нарушающей безопасность какой-либо службы или системы», запрещено».
«OpenAI хорошо осознает риски и вред, которые могут возникнуть в результате использования их технологий и услуг в военных целях», — сказала Хейди Клааф, технический директор компании по кибербезопасности Trail of Bits и эксперт по машинному обучению и безопасности автономных систем. , ссылаясь на статью 2022 года, которую она написала в соавторстве с исследователями OpenAI, в которой конкретно отмечен риск военного использования. Хлааф добавил, что новая политика, похоже, ставит законность выше безопасности. «Между этими двумя политиками существует явная разница: в первой четко указано, что разработка вооружений, а также военные действия и война запрещены, а во второй подчеркивается гибкость и соблюдение закона», — сказала она. «Разработка оружия и осуществление деятельности, связанной с военными и военными действиями, в различной степени законны. Потенциальные последствия для безопасности ИИ значительны. Учитывая хорошо известные случаи предвзятости и галлюцинаций, присутствующие в моделях большого языка (LLM), и их общую неточность, их использование в военной войне может привести только к неточным и предвзятым операциям, которые могут усугубить ущерб и жертвы среди гражданского населения».
Реальные последствия этой политики неясны. В прошлом году издание The Intercept сообщило, что OpenAI не желает говорить, будет ли она обеспечивать соблюдение своего собственного четкого запрета на «военные и военные действия» перед лицом растущего интереса со стороны Пентагона и разведывательного сообщества США.
«Учитывая использование систем искусственного интеллекта для нападения на гражданское население в секторе Газа, это примечательный момент — принять решение удалить слова «военные и военные действия» из политики допустимого использования OpenAI», — сказала Сара Майерс Уэст, управляющий директор AI Now. Институт и бывший аналитик политики в области искусственного интеллекта в Федеральной торговой комиссии. «Формулировка политики остается расплывчатой и вызывает вопросы о том, как OpenAI намерена подходить к обеспечению соблюдения».
Хотя ничто из предложений OpenAI сегодня не может быть использовано для прямого убийства кого-либо, в военном или ином отношении (ChatGPT не может маневрировать дроном или запускать ракеты), любая армия занимается убийством или, по крайней мере, поддерживает способность убивать. Существует множество смежных задач, которые LLM, такой как ChatGPT, может быть дополнен, например, написание кода или обработка заказов на закупки. Обзор специализированных ботов на базе ChatGPT, предлагаемых OpenAI, показывает, что американские военные уже используют эту технологию для ускорения оформления документов. Национальное агентство геопространственной разведки, которое напрямую помогает США в боевых действиях, открыто высказывает предположения об использовании ChatGPT для помощи своим аналитикам. Даже если бы инструменты OpenAI использовались частями вооруженных сил для целей, не связанных с прямым насилием, они все равно помогали бы организации, основной целью которой является создание летального исхода.
Эксперты, которые рассмотрели изменения в политике по запросу The Intercept, заявили, что OpenAI, похоже, молча ослабляет свою позицию против ведения бизнеса с военными. «Я могу себе представить, что переход от «военных и военных действий» к «оружию» оставляет открытым пространство для OpenAI для поддержки операционной инфраструктуры до тех пор, пока приложение не будет напрямую связано с разработкой оружия в узком понимании», — сказала Люси Сучман, почетный профессор. антропологии науки и техники в Ланкастерском университете. «Конечно, я думаю, что идея о том, что вы можете внести свой вклад в боевые платформы, заявляя, что вы не участвуете в разработке или использовании оружия, была бы неискренней, удаляя оружие из социотехнической системы, включая инфраструктуру управления и контроля, частью которой оно является. ». Сучман, исследователь искусственного интеллекта с 1970-х годов и член Международного комитета по контролю над роботизированным вооружением, добавил: «Кажется правдоподобным, что новый политический документ уклоняется от вопроса о военных контрактах и боевых операциях, уделяя особое внимание оружию».
Сучман и Майерс Уэст указали на тесное партнерство OpenAI с Microsoft, крупным оборонным подрядчиком, который на сегодняшний день инвестировал 13 миллиардов долларов в производителя LLM и перепродает программные инструменты компании.
Изменения происходят по мере того, как военные по всему миру стремятся внедрить методы машинного обучения, чтобы получить преимущество; Пентагон все еще в предварительном порядке изучает, как он мог бы использовать ChatGPT или другие модели большого языка, тип программного инструмента, который может быстро и ловко генерировать сложные текстовые результаты. LLM обучаются на огромных объемах книг, статей и других веб-данных, чтобы аппроксимировать реакцию человека на запросы пользователей. Хотя результаты LLM, таких как ChatGPT, часто бывают чрезвычайно убедительными, они оптимизированы для согласованности, а не для четкого понимания реальности, и часто страдают от так называемых галлюцинаций, которые делают точность и фактологию проблемой. Тем не менее, способность LLM быстро воспринимать текст и быстро выводить анализ — или, по крайней мере, симулякр анализа — делает их естественным выбором для Министерства обороны, перегруженного данными.
В то время как некоторые представители военного руководства США выразили обеспокоенность по поводу тенденции LLM вставлять вопиющие фактические ошибки или другие искажения, а также рисков безопасности, которые могут возникнуть при использовании ChatGPT для анализа секретных или иным образом конфиденциальных данных, Пентагон в целом по-прежнему стремится принять искусственные данные. инструменты разведки. В своем ноябрьском обращении заместитель министра обороны Кэтлин Хикс заявила, что ИИ является «ключевой частью комплексного, ориентированного на истребителей подхода к инновациям, который [Lloyd] Остин и я работаем с первого дня», хотя она предупредила, что большинство текущих предложений «еще технически не достаточно зрелы, чтобы соответствовать нашим этическим принципам искусственного интеллекта».
В прошлом году Кимберли Саблон, главный директор Пентагона по вопросам доверенного искусственного интеллекта и автономии, заявила на конференции на Гавайях, что «[t]здесь много хорошего с точки зрения того, как мы можем использовать модели большого языка, такие как [ChatGPT] чтобы нарушить критически важные функции во всем отделе».
источник: theintercept.com
