Лонгтермизм возник как школа мысли в рамках более широкого движения «эффективного альтруизма» (ЭА). Это движение пытается разработать и оценить благотворительность и благотворительные пожертвования с прицелом на максимальное положительное влияние на доллар. В то время как наиболее разрекламированная и получившая наилучшие отзывы работа EA была сосредоточена на краткосрочных, неотложных областях, таких как глобальная бедность и профилактика болезней, в сообществе уже давно существует противоречивый контингент, более заинтересованный в футуристических проблемах.
Большая часть этой долгосрочной работы в EA была посвящена «экзистенциальным рискам», потенциальным катаклизмам, которые (якобы) угрожают существованию человечества в целом. Эти «х-риски», как их называют, варьируются от научно-фантастических (падения гигантских метеоритов) до предсказуемых (готовность к пандемии и предотвращение). Однако среди теоретических концепций, изучаемых долгосрочными экспертами, на первый план всегда выходит одна тема: безопасность ИИ.
Сторонники безопасности ИИ как причины обычно опасаются, что, так или иначе, продвинутый искусственный интеллект может представлять угрозу для выживания человечества. Некоторые утверждают, что сверхразумный ИИ, стремящийся к цели, даже слегка противоречащей нашей, захочет и сможет быстро устранить нас для достижения своих целей.
Другие предполагают, более консервативно, что ИИ может оказаться опасным почти так же, как и ядерное оружие: его легко случайно использовать не по назначению, его трудно предсказать в деталях, а неумелое обращение с ним может иметь далеко идущие последствия. Но их объединяет убеждение, что неудачные достижения в области искусственного интеллекта могут обернуться катастрофой для человечества, вплоть до полного исчезновения.
При таких высоких ставках вполне естественно, что долгосрочные сторонники безопасности ИИ будут искать влияние в национальной (и международной) политике. Future Forward, продемократический суперкомпьютер PAC с явно долгосрочными взглядами, был одним из самых щедрых доноров на президентских выборах 2020 года, а в 2022 году Кэррик Флинн сделал заявку Конгресса, открыто работая над долгосрочными вопросами. Электорализм пришел за Кассандрами обреченности ИИ.
Однако, исходя исключительно из его (довольно широко освещаемого) предвыборного вклада, можно разумно судить о движении в лучшем случае как о второстепенной достопримечательности в более широком американском политическом ландшафте. Хотя пожертвования Future Forward в 2020 году были обширными, немногие эксперты предположили, что они сами по себе переломили ситуацию против Дональда Трампа, а кампания Флинна два года спустя закончилась сокрушительным поражением.
Однако было бы ошибкой оценивать политический охват лонгтермизма исключительно по его электоральному влиянию. Помимо кампаний, он без особых помпез проложил себе путь в области аналитических центров, комиссий Конгресса и бюрократических назначений, где открыто высказывался по вопросам чрезвычайной национальной и глобальной значимости. Возможно, наиболее заметной на сегодняшний день была политика США в отношении инфраструктуры микрочипов.
Решение администрации Байдена в октябре прошлого года ввести строгий экспортный контроль над полупроводниками является одним из самых существенных изменений в ее политике на данный момент. Как якобинецБранко Марсетич писал в то время, контроль, вероятно, был первым выстрелом в новой экономической холодной войне между Соединенными Штатами и Китаем, в которой обе сверхдержавы (не говоря уже об остальном мире) будут чувствовать боль в течение многих лет или десятилетия, если не навсегда.
Эта политика уже разрушила критически важные цепочки поставок, расстроила рынки и вызвала международную напряженность, и все это обещает еще больше. Полупроводники, «нефть 21-го века», являются важным компонентом в огромном спектре вычислительных технологий, и нарушение экспортного контроля неизбежно повлияет на ход их будущего производства и инноваций в худшую сторону.
Однако идея, стоящая за этой политикой, возникла не из эфира. За три года до того, как нынешняя администрация издала это правило, Конгресс уже получил множество свидетельств в пользу чего-то подобного. В длинном отчете Комиссии национальной безопасности по искусственному интеллекту за 2019 год недвусмысленно говорится, что «Соединенные Штаты должны придерживаться стратегии, чтобы опережать Китай как минимум на два поколения в области современной микроэлектроники» и
модернизировать экспортный контроль и проверку иностранных инвестиций для лучшей защиты критически важных технологий двойного назначения, в том числе путем наращивания регулирующего потенциала и полной реализации недавних законодательных реформ, осуществления скоординированного экспортного контроля в отношении передового оборудования для производства полупроводников с союзниками и расширения требований к раскрытию информации для инвесторов из стран-конкурентов.
В отчете комиссии неоднократно упоминаются риски, связанные с развитием ИИ в «авторитарных» режимах, таких как китайский, и предсказываются ужасные последствия по сравнению с аналогичными исследованиями и разработками, проводимыми под эгидой либеральной демократии. (Его заламывание рук, в частности, по поводу авторитарной китайской слежки с помощью ИИ иронично, поскольку он также зловеще увещевает: [US] Разведывательному сообществу (IC) следует внедрить и интегрировать возможности ИИ во все аспекты своей работы, от сбора данных до анализа».
Эти акценты на опасностях морально дезинформированного ИИ не случайны. Главой комиссии был Эрик Шмидт, технический миллиардер и участник Future Forward, чье благотворительное предприятие Schmidt Futures имеет как тесные связи с сообществом долгосрочных сторонников, так и послужной список темного влияния на научную политику Белого дома. Сам Шмидт выразил взвешенную обеспокоенность по поводу безопасности ИИ, хотя и с оттенком оптимизма, полагая, что «сценарии конца света», когда ИИ выйдет из-под контроля, заслуживают «вдумчивого рассмотрения». Он также является соавтором книги о будущих рисках, связанных с искусственным интеллектом, с не меньшим экспертом по морально неконтролируемым угрозам человеческой жизни, чем печально известный военный преступник Генри Киссинджер.
Также следует отметить члена комиссии Джейсона Матени, генерального директора RAND Corporation. Матени — выпускник долгосрочного Института будущего человечества (FHI) Оксфордского университета, который заявил, что экзистенциальный риск и машинный интеллект опаснее любых исторических пандемий и «темой, которой пренебрегают как в научном, так и в правительственном сообществе, но это трудно придумать тему более важную, чем выживание человечества». Этот отчет комиссии также был не последним его свидетельством перед Конгрессом по этому вопросу: в сентябре 2020 года он лично выступил перед Бюджетным комитетом Палаты представителей, призывая к «многостороннему экспортному контролю за оборудованием для производства полупроводников, необходимым для производства усовершенствованных микросхем», чтобы лучше сохранить Американское превосходство в ИИ.
Более того, свидетельские показания в Конгрессе и его положение в RAND Corporation были не единственными каналами влияния Матени на политику США в этом вопросе. В 2021 и 2022 годах он работал в Управлении научно-технической политики Белого дома (OSTP) в качестве заместителя помощника президента по технологиям и национальной безопасности и заместителя директора по национальной безопасности (начальник отдела национальной безопасности OSTP). Будучи высокопоставленным лицом в Управлении, которому Байден предоставил «беспрецедентный доступ и полномочия», консультирование по таким вопросам, как октябрьский экспортный контроль, полностью входило в его профессиональные полномочия.
Не менее важно и то, что в январе 2019 года он основал Центр безопасности и новых технологий (CSET) в Джорджтаунском университете, аналитический центр по национальным проблемам, который дружественные аналитики описали как долгосрочный подход, «укоренившийся в их точке зрения». CSET с момента своего основания сделала безопасность ИИ главной проблемой. Он также не стеснялся связывать этот вопрос с внешней политикой, особенно с использованием контроля за экспортом полупроводников для сохранения преимущества США в отношении ИИ. Карсон Элмгрен, аналитик-исследователь CSET и бывший сотрудник OpenAI, специализирующийся на безопасности ИИ, в июне прошлого года опубликовал исследовательскую работу, еще раз рекомендовавшую принять такие элементы управления, и положительно осветил октябрьское правило в первом выпуске нового журнала EA. Звездочка.
Однако наиболее значительными сторонниками ограничений (кроме Матени) выхода из CSET были Саиф Хан и Кевин Вольф. Первый является выпускником Центра и с апреля 2021 года директором по технологиям и национальной безопасности Совета национальной безопасности Белого дома. Последний является старшим научным сотрудником CSET с февраля 2022 года и имеет долгую историю работы и связей с экспортной политикой США. Он работал помощником министра торговли по управлению экспортом с 2010 по 2017 год (помимо другой работы в этой области, как частной, так и государственной), и его обширное знакомство с системой экспортного регулирования США будет ценным для любого, кто стремится влиять на политику в этом вопросе. . Оба, до и после октября, будут отстаивать полупроводниковые элементы управления.
На CSET Хан неоднократно публиковался по этой теме, снова и снова призывая Соединенные Штаты ввести контроль за экспортом полупроводников, чтобы сдержать прогресс Китая в области ИИ. В марте 2021 года он дал показания в Сенате, утверждая, что Соединенные Штаты должны ввести такой контроль, «чтобы гарантировать, что демократии лидируют в области передовых чипов и что они используются во благо». (Парадоксально, но на одном дыхании в обращении содержится призыв к Соединенным Штатам как «выявить возможности сотрудничества с конкурентами, включая Китай, для укрепления доверия и предотвращения гонки на выживание», так и «жестко контролировать экспорт американских технологий нарушителям прав человека». », например… Китай.)
Среди соавторов Хана был вышеупомянутый бывший кандидат в Конгресс и долгосрочный сторонник Кэррик Флинн, ранее заместитель директора Центра управления ИИ в FHI. Сам Флинн в феврале 2020 года самостоятельно написал краткий обзор выпуска CSET «Рекомендации по экспортному контролю для искусственного интеллекта». Неудивительно, что в этом брифе приводятся доводы в пользу ужесточения регулирования экспорта полупроводников, как Хан и Матени.
В феврале этого года Вольф также выступил перед Конгрессом с обращением «Укрепление национальной безопасности и внешней политики с помощью санкций, экспортного контроля и других экономических инструментов», восхваляя октябрьские меры и призывая к дальнейшей политике в том же духе. В нем он утверждает, что знает конкретные мотивы авторов элементов управления:
BIS не полагалась на новые и основополагающие технологические положения ECRA при публикации этого правила, поэтому ему не нужно было запрашивать комментарии общественности перед его публикацией.
Эти мотивы также явно включали в себя именно те опасения по поводу ИИ, которые Матени, Хан, Флинн и другие сторонники долгосрочных перспектив уже давно высказывали в этой связи. В общих чертах текст одного правила явно связывает средства контроля с надеждой на замедление развития ИИ в Китае. Используя формулировку, которую легко можно было бы позаимствовать из документа CSET по этой теме, в резюме содержится предупреждение о том, что «суперкомпьютеры» используются КНР для улучшения расчетов при проектировании и испытаниях оружия, в том числе для ОМП, такого как ядерное оружие, гиперзвуковые и другие виды оружия. передовые ракетные системы и для анализа последствий боя», а также для усиления наблюдения за гражданами.
Между прочим, экспортный контроль Байдена потерпел неудачу в достижении заявленных целей. Несмотря на ущерб, который экспортный контроль нанес глобальным цепочкам поставок, исследования в области искусственного интеллекта в Китае продолжаются быстрыми темпами. Контроль за экспортом полупроводников отнюдь не обеспечил господство США в этой области, а ускорил раскол международного исследовательского сообщества ИИ на независимые и конкурирующие региональные секторы.
Короче говоря, долгосрочные сторонники, по крайней мере, с 2019 года оказали сильное влияние на то, что станет правилами экспорта полупроводников Белого дома Байдена в октябре 2022 года. Если политика сама по себе не является прямым продуктом институциональных долгосрочных сторонников, она, по крайней мере, несет на себе печать их восторженного одобрения и пристального наблюдения.
Точно так же, как было бы ошибкой ограничивать интерес к политическим амбициям лонгтермизма исключительно избирательными кампаниями, было бы недальновидно рассматривать его работу над полупроводниковой инфраструктурой как разовый инцидент. Хан и Матени, среди прочих, по-прежнему пользуются значительным влиянием и продемонстрировали приверженность тому, чтобы давние опасения касались вопросов высокой политики. Политическая изощренность, политический охват и свежий энтузиазм, демонстрируемые ее маневрами по экспорту полупроводников, должны привлечь к лобби конца света ИИ свою долю критического внимания в ближайшие годы.
источник: jacobin.com