Проклятие алгоритма

Все чаще — и часто незаметно, поскольку они работают внутри вашей невинной на вид поисковой системы — алгоритмы проникают не только в наши компьютеры и рабочую жизнь. Они также определяют все больше и больше возможностей жизни в так называемых развитых обществах и в других местах.

Существование алгоритмов может быть признаком цивилизации, но также может быть и признаком того, что французский философ Фуко называет безумием. Поскольку принятие решений людьми передается машинам, эти машины могут принимать довольно иррациональные, дискриминационные и откровенно безумные решения.

Давно прошли те времена, когда алгоритмы использовались только в математике, информационных технологиях, программном обеспечении и компьютерных науках. Исторически слово «алгоритм» это арабский термин, означающий десятичную запись чисел, в то время как в греческом языке арифмос это просто число. Наш современный день арифмос или алгоритм пришел к нам через латиницу алгоритмизм.

В любом случае алгоритм представляет собой конечную последовательность строгих инструкций. Они используются для решения класса конкретных задач. Алгоритмы также могут использоваться для выполнения вычислений с петлями обратной связи. Зачастую они применяются для полных расчетов и обработки данных. Более продвинутые алгоритмы могут даже выполнять автоматические рассуждения.

Они также используются в математических и логических тестах для целей корпоративного найма. Никто иной, как Алан Тьюринг, полагался на человеческие характеристики как на описание машины, взломавшей нацистский код. Позже он был доведен до самоубийства английским истеблишментом, после того, как, конечно, расшифровал код «Энигмы», спася тысячи жизней.

Одно из лучших и наиболее актуальных определений алгоритмов принадлежит Кэти О’Нил, которая отметила, что алгоритмы — это мнения, выраженные в математической формуле. Другими словами, есть человек, который настраивает алгоритм под конкретную цель.

По-прежнему необходимо помнить, что практически все алгоритмы, выглядящие довольно научными, преследуют скрытые интересы — часто интересы пользователей, которые обычно просили создать алгоритм, например, таких компаний, как Amazon. Другими словами, во многих случаях именно капитализм движет разработкой алгоритмов.

Вследствие всего этого алгоритмы все больше уходят от роли субъекта и даже субъективности человека при конструировании знаний, автоматическом анализе данных на основе математической формулы. Это разрушает гуманистический проект самости. Философия называет это личностью.

Короче говоря, применение алгоритмов ослабляет нашу способность формировать и формулировать то, что мы думаем (например, алгоритмы поисковых систем), что нам нравится (алгоритмы Facebook) и чего мы хотим (алгоритмы Amazon).

Хуже того, эта версия алгоритмического знания дестабилизирует основной процесс построения субъективности. Он устраняет саморефлексию, выводя — или даже устраняя — активное участие человека в создании знаний. Помимо этого, алгоритмы также стремятся создавать позитивистские и даже манипулирующие поведением знания. Алгоритмы могут уничтожить почти все саморефлексивные и коммуникативные аспекты создания знаний.

По мере того, как алгоритмы становятся все более изощренными и приправленными искусственным интеллектом, у них есть реальный потенциал стать независимыми агентами в формировании нашего социального и, что более важно, нашего демократического и политического общества.

Вполне может быть почти неизбежным, что алгоритмическое знание попытается конкурировать и, возможно, даже обойти, конкретное и, прежде всего, все еще! – уникальный аспект бытия человека: наша индивидуальность, деятельность и субъективность.

Наиболее обманчиво то, что апостолы алгоритмов уверяют пользователя, что алгоритмы расширят сферу личной свободы, поскольку эти системы предлагают более богатую, гораздо более правдивую и гораздо более точную форму знания. Позитивистская идеология нейтралитета всегда является полезным средством, когда корпоративные интересы необходимо замаскировать с помощью инженерного «техно-решения» — они ошибочно верят, что все проблемы имеют техническое решение.

По сути, алгоритмы содержат глубоко идеологическое обещание сделать нашу работу и общество более свободными, наполненными более эмансипированными людьми. На самом деле алгоритмы могут очень легко сделать прямо противоположное. Алгоритмы — в основном автоматически — упорядочивают данные и вещи. Они создают новый, а главное автоматизированный порядок вещей — порядок автоматического алгоритма. Потенциально это может быть даже хуже, чем то, что обрисовал французский философ Фуко в своем основополагающем шедевре «Порядок вещей».

Другими словами, алгоритмы устанавливают — если не цементируют и укрепляют — существующий социальный и экономический порядок. Чтобы алгоритмы работали, им вообще не нужны субъекты. Вместо этого человеческие субъекты превращаются в объекты власти, как об этом говорил польско-британский философ Бауман, хотя они и не соответствуют мечте Витгенштейна о оставив все как есть.

Витгенштейну это может не нравиться, но алгоритмические компьютерные системы представляют собой совершенно новый режим знания, основанный на мнениях, превращенных в математические уравнения. И эти новые системы оказывают и будут оказывать огромное влияние на современную работу, управление, а также социальную и, конечно же, потребительскую жизнь. Приобретая все большее значение, мир алгоритмов остается в значительной степени нерегулируемым и существует вне сферы демократически гарантированного регулирования.

Почти по своей природе многие — если не большинство — алгоритмы на самом деле ориентированы на будущее. Они созданы для того, чтобы предсказывать будущее поведение и, что еще хуже, контролировать и манипулировать человеческим поведением. Одно из самых сложных применений алгоритмов можно найти в Amazon. У некоторых может возникнуть соблазн заявить, что Amazon знает, что вы купите презервативы или подгузники раньше, чем вы это сделаете!

Для этого людям, стоящим за алгоритмами, необходимо сконструировать определенный тип человека. Это человеческое существо, которое предсказуемо и, надеюсь, управляемо. В свою очередь, эти данные, созданные людьми и собранные, проанализированные и использованные против людей, могут быть использованы для дальнейшего совершенствования алгоритма.

Это делается в надежде, что все это приведет, среди прочего, к улучшению борьбы с преступностью, эвфемистически известной как прогнозирующая полицейская деятельность, которая часто воспроизводит укоренившиеся предрассудки. Алгоритмы также используются для повышения корпоративной прибыли, как в случае с Amazon.

Чтобы алгоритмы справились с этой задачей, корпорациям вроде Amazon необходимо знать, кто мы такие, где мы живем, что нам нравится и не нравится, что мы хотим и что покупаем. Помимо этого, алгоритмы также любят принимать на себя дремлющую субъективность, субъект, который на самом деле больше похож на объект — скрытый объект внутри нас, — который можно коммерциализировать и превратить во что-то полезное для корпораций.

Такой индивид структурируется в контурах математической формулы, используемой в алгоритмической среде. Хуже того, такой человек, чье поведение можно предсказать, измерить, контролировать и в идеале манипулировать, может довольно легко стать человеческим существом, созданным с помощью Убер-инженерии. Считается, что этот управляемый алгоритмом человек радикально отличается от того, каким человека когда-то представляли в современности.

Поскольку люди, создающие алгоритмы, создают своего рода машину для производства знаний, они видят человеческую реальность совершенно особым образом. Эта реальность коренным образом отличается от кто и Какие мы сегодня. Это представляет собой совершенно новый недуг современности.

Конечно, такие алгоритмы уже стали новой формой некоего недемократизма — и, если хотите, корпоративный – управляющий агент, который предсказывает, управляет, контролирует и даже манипулирует человеческой жизнью, потребителями и, возможно, даже целым населением.

Это можно сделать без необходимости в какой-либо форме того, что можно было бы назвать знание критической субъективности. Это то, что немецкий философ Адорно называет в ответственный физическое лицо, саморефлексивная, самокритичная, зрелая и автономно действующая личность.

Почти обязательно алгоритмы должны работать за спиной тех «за» (или лучше «против»), для кого они разработаны. Эти системы остаются непрозрачными, пока их невидимый сценарий работает за цветным компьютерным экраном.

Между тем их разветвления становятся все более очевидными для всех нас. Алгоритмы уже выносят за вас не только эстетическое суждение, но и решения о найме менеджера по персоналу, в том числе.

Возможно, еще более разрушительным является тот факт, что алгоритмы принимают эти решения не «с» вами, а «за» или, во многих случаях, «против» вас. Следовательно, алгоритмы продвигают режим некоммуникативного знания. Это полное разрушение того, что немецкий философ Хабермас называет коммуникативным действием и идеальной речью.

Мир, в котором едва ли существует идеальная речь Хабермаса, но который все больше управляется алгоритмами, — это мир корпоративного управления. В целом, можно сказать, что уровень алгоритмического управления различается от компании к компании, возможно, Amazon, писающий из бутылок, находится на «полномасштабном» конце спектра.

Общество автомобильных инженеров представило полезную классификацию алгоритмического управления (AlgoM). Они отмечают шесть уровней:

Хотя может быть трудно предсказать, куда пойдет руководство даже в ближайшем будущем, можно было бы возразить, что руководство не заинтересовано в переходе на уровень 6 полного AlgoM. Это может сделать большой раздел — или даже управление как таковое — устаревшим.

С другой стороны, корпоративный бухгалтерский учет требует наибольшей прибыли при наименьшем количестве людей, поэтому доходы растут. Таким образом, совсем недавно Маск уволил 5000 сотрудников Twitter.

И для этого высшее руководство может заменить менеджеров среднего звена и рабочих, перейдя к полному AlgoM. На этом уровне алгоритмы определяют практически все функции производительности, оценки и контроля «без» участия реальных менеджеров.

Будь то в управлении как AlgoM, в полиции или в корпорациях, таких как Amazon, алгоритмы предлагают радикально новый и совершенно другой способ познания, понимания, формирования и манипулирования миром и, что еще хуже, человеком.

Алгоритмы способны изменить сами основы того, что значит знать, понимать и принимать решения. Тем не менее, по-прежнему важно, чтобы эти алгоритмы и создаваемые ими специально созданные знания понимались не только в математических, инженерных и технических терминах. По мере того как мнения помещаются в математические формулы, алгоритмы все чаще лежат в основе многих операций в бизнесе и в обществе.

Алгоритмы дают совсем другую концепцию что значит быть человеком. Алгоритмы разрывают связь между человеком и знаниями, поскольку они стремятся — и фактически делают — создавать знания, которые постепенно отделяются от субъективных индивидуумов.

Как следствие всего этого, алгоритмы нужно понимать не только как одну из самых последних, но и, возможно, как самую серьезную угрозу человеческой жизни, какой мы ее знаем.