The Prime Russian Magazine

Е. К.

Что вы понимаете под «обществом черного ящика»?

Ф. П.

Тут двойной смысл. Черный ящик как система постоянного слежения и черный ящик — термин, используемый программистами: некая система, внутреннее функционирование которой неизвестно.

Е. К.

Вы думали о «китайской комнате» Серля, когда писали книгу?

Ф. П.

Очень интересный вопрос. Я, конечно, читал Серля, но давно, и мне как‑то не приходило в голову это сравнение, хотя, безусловно, аргумент схожий.
    Я вчера общался с одним из работников Google, и он спорил со мной, утверждая, что никто в Google не понимает, как на самом деле работают его алгоритмы. Я, конечно, не верю в это, но допустим, что это так, — в таком случае это же очень страшно, это что‑то из «Космической одиссеи 2001 года». И да, это напоминает китайскую комнату Серля: алгоритмы манипулируют нами, не имея никакой человеческой составляющей. Еще немецкий теоретик медиа Фридрих Киттлер писал о том, что интернет и новые медиа становятся платформой, где машины общаются с другими машинами без вмешательства человека. Так что вполне логично использовать аргумент «китайской комнаты» не только для философской критики искусственного интеллекта, но и как социальную критику.

Small_dossie29-10-2

Джон Серль (род. 1932)

Американский философ, специалист по искусственному интеллекту и теории речевых актов. «Китайская комната» — придуманный им в 1980 году эксперимент, ставящий под сомнение способность цифровой машины конкурировать с человеческим сознанием.

Е. К.

Когда вы пишете об экономике больших данных, что именно вы имеете в виду?

Ф. П.

Максимальный успех ожидает те компании, которые знают, как получить самую дешевую рабочую силу и как продать продукт как можно дороже. А это сейчас определяется наличием наибольшего количества информации и о работниках, и о покупателях.
    Я вхожу в совет директоров Data Competition Institute, и мы пытаемся доказать, что чем больше информации имеют интернет-компании, тем больше они могут зарабатывать, — и никакая из только что пришедших на рынок новых компаний не может с ними соперничать. Это своеобразный эффект Матфея: «Ибо всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет».

Е. К.

Допустим, информация обладает подобной властью. Но законодательство, очевидно, не поспевает за развитием технологий. Как сделать так, чтобы доступ к информации был более-менее равномерным?

Ф. П.

Это очень сложная проблема. Конечно, демократизация доступа к информации — это существенно. И да, предварительно анонимизированная информация, собираемая о нас поисковой системой Google, должна быть в открытом доступе. Но тут есть проблема с конфиденциальностью: ведь цель таких компаний — создать наиболее полный портрет пользователя. Меня это очень беспокоит, и я думаю, что такую практику вообще стоит запретить. Например, сейчас арендодатели в Нью-Йорке заносят квартирантов в черные списки, тем самым отбивая у людей охоту жаловаться. Жильцы, конечно, могут создать свои списки с ненадежными арендодателями. Но проблема в том, что у арендодателей намного больше власти, они могут ждать подходящего жильца, поскольку у них есть деньги и, следовательно, свобода выбора. В этом случае, я считаю, секретные черные списки должны быть обнародованы.

Е. К.

Вы пишете о «новой форме Большого Брата», сама идея не нова, но раньше у Оруэлла, например, в роли Большого Брата всегда выступало государство. В действительности предсказания Оруэлла во многом не оправдались, Большой Брат — не только и даже не сколько государство, сколько частные компании — «частные тирании», как бы сказал Хомский.

Ф. П.

Да, конечно, вы правы. И главное сегодня — что вот этот оруэлловский мир стал использоваться компаниями как идеологический инструмент: довольно часто можно услышать аргумент, что они в отличие от государства не могут посадить в тюрьму. Но компании следят за всеми своими сотрудниками, они имеют доступ к рабочей почте, многие компании требуют пароли от социальных сетей сотрудников и могут следить за перемещениями с помощью GPS в телефоне. К тому же сейчас разрабатывается устройство для определения позиции и движений глаз (eyeball tracker), которое устанавливается на компьютер и позволяет следить за тем, на что смотрит сотрудник. Кроме того существует система, отслеживающая то, какие клавиши на клавиатуре мы нажимаем. Так что частный Большой Брат не менее опасен, а если учесть, что после работы большинство людей проводят свободное время онлайн, то их вечерняя активность так же отслеживается. Из людей выжимают информацию на работе и дома, человек оказывается полностью расшифрованным и рассекреченным. Мы пока недооценили всего масштаба этой проблемы, а многие даже не видят в этом проблемы как таковой.

Е. К.

Откуда такая беспечность? Может быть, вы просто преувеличиваете масштаб опасности?

Ф. П.

Я думаю, если честно, люди не хотят принять идею, что ими манипулируют. Они хотят верить, что у них всегда есть свобода выбора и на них нельзя влиять.

Е. К.

Но люди при этом очень ценят конфиденциальность.

Ф. П.

Знаете, мне правда кажется, что про конфиденциальность онлайн можно забыть. Но вообще непонимание и невежество в этом вопросе чудовищное. Большинство воспринимает конфиденциальность как возможность хранить мелкие постыдные тайны, типа излюбленных порносайтов. Но настоящая‑то опасность в другом: если кто‑то знает полностью обо всем, что человек делает на компьютере, то постепенно человек больше не понадобится и будет заменен компьютером. Многие думают, что это из мира научной фантастики, но нет же, это действительно происходит!
    Посмотрите на самоуправляемые поисковые машины, роботизируемые службы поддержки: паттерны различного человеческого поведения программируются и загружаются в машину, а человек перестает быть нужным. Так что опасность не в том, чтобы быть разоблаченным в посещении порносайта на работе, но в том, что можно потерять работу как таковую.
    Мне кажется, никто не хочет думать в эту сторону. Проблема в том, что элита западных неолиберальных обществ открыто борется против расширения прав работников. Поэтому потенциальная роботизация — вопрос времени и аккумуляции информации.

Е. К.

Одновременно с этим большинство людей верят, что развитие технологий — всегда знак положительной динамики и общего прогресса, поэтому негативные прогнозы кажутся чем‑то из области научной фантастики.

Ф. П.

Вообще‑то американская конституция даже содержит положение, где говорится, что конгресс обязуется способствовать развитию наук и искусства. Я считаю, что технологическое развитие — конечно, знак прогресса. Но меня волнует другое: как распределяются доходы от технологического прогресса. Вот, скажем, у нас будут самоуправляемые машины к 2025 году. Это, безусловно, было бы потрясающей инновацией: я, например, ненавижу водить, и вообще люди в массе своей — ужасные водители, роботы, по идее, должны быть лучше. Но я не считаю, что создание такого общества — это хорошая цена за то, что десять человек в Кремниевой долине станут миллиардерами, а два миллиона водителей потеряют работу и окажутся в нищете. Вопрос с развитием технологий — кто выигрывает от этого? Поэтому в моей книге есть целая глава о финансовом секторе, хотя, казалось бы, какое отношение он имеет к технологиям? Но сейчас все технологическое развитие подстегивается финансистами. А их задача — добиться максимальной прибыли и выгод для тонкой прослойки верхушки общества. Автоматизация, алгоритмы, использующиеся демократически, могут быть очень полезными, но сейчас алгоритмы служат лишь корпоративным лидерам, заботящимся о все большей оптимизации, которая на деле означает более эффективную эксплуатацию рабочей силы.

Е. К.

И что вы предлагаете? Как решить вопрос с алгоритмами?

Ф. П.

Первый шаг на пути решения сегодняшней проблемы — это понимание, что человеческий элемент, ценности которого служат частью создания шифра алгоритма, вовсе не нейтрален. Но проблема в том, как учитывать этот человеческий элемент и влиять на него в алгоритмах.
    Я, например, пишу в книге о кредитной истории. Общая идея заключается якобы в том, чтобы давать самым надежным людям лучшие процентные ставки по кредиту. Но, например, после урагана «Катрина» пострадавшие не могли оплачивать счета, потому что их почтовые ящики были уничтожены, и конгресс хотел заставить кредитные агентства не учитывать период стихийного бедствия в кредитной истории, но компании были против, хотя коррекция алгоритма в связи с катастрофой стоила бы им не так много. Эти компании настаивали, что их алгоритм нейтрален, научен и в него нельзя вмешиваться. На самом же деле они просто защищали свои собственные ценности, зашифрованные в нем, — вот и все.
    Что касается поисковых систем. Например, в Европе Google принудили рядом с предложением своих продуктов в ответ на поисковой запрос показывать продукты и услуги по крайней мере трех других компаний — и Google теперь не может просто завладеть всем вниманием и направлять людей автоматически на страницы Google Finance, Google Weather, Google Books, Google Videos и т. д. Так что для Google поисковая система — это способ контроля потребителя и ограничение его выбора.

Е. К.

Cноуден, Ассанж — фактически современные поп-звезды. Заслуживают ли они такого внимания и действительно ли они помогают повысить прозрачность системы?

Ф. П.

Я считаю, что нам нужно куда больше организаций, которые дадут возможность людям стать информаторами без негативных для себя последствий. Что касается шума вокруг Сноудена и Ассанжа — а как насчет других людей, как насчет Брэдли Биркенфельда, который раскрыл схемы уклонения от налогов очень богатых людей? Медиа не концентрируют свое внимание на них, хотя уклонение от налогов и секретные офшоры не менее пагубны, если не больше, чем слежка АНБ. Но вообще меня беспокоят сама идея прозрачности и вера в то, что это решение всех проблем. К сожалению, мы видим, что часто подобные разоблачения приводят лишь к нормализации, а не к изменениям. Например, в случае с пытками логично было бы предположить, что люди станут в ужасе протестовать, но случилось ровно противоположное: в Америке сейчас куда больше людей, чем раньше, выступают за применение пыток! Так что нам нужно остановиться и подумать, ведет ли радикальная прозрачность к улучшению ситуации, или же она просто нормализует ужасные преступления и делает их приемлемыми в сознании людей, то есть повышает конформизм.

Small_dossie29-10-5

Брэдли Биркенфельд (род. 1965)

Сотрудник Объединенного банка Швейцарии (UBS), осведомитель. Провел три года в тюрьме за то, что раскрыл финансовые схемы, благодаря которым богатые клиенты банка уходили от налогов. Впоследствии получил от налоговых органов США премию в 104 млн долларов.

Е. К.

Тем не менее Ассанж и Сноуден брали на себя определенный риск?

Ф. П.

Сноуден, безусловно, сделал важную вещь — и, на мой взгляд, самое интересное, что благодаря ему вскрылось, это тот факт, что государство использует компании вроде Google в своих целях слежения. Компании потом, конечно, заявляли о взломе своих систем. Но кто знает, так ли это. Сноуден и Ассанж, конечно же, многим рисковали и рискуют, и уже это одно вызывает уважение. Но, как я уже сказал, информаторы частного сектора не менее важны для общества, и процесс информирования должен быть упрощен. Сейчас же все боятся быть засуженными за нарушение договора о конфиденциальности, который, кстати говоря, подписывают все работники того же Google.

Е. К.

Развитие интернет-компаний привело к тому, что мы замыкаемся в своем маленьком мире. Все, что мы видим, — это то, что мы хотим видеть. Вся система интернет-торговли сводится к «вы прочли ту книгу — значит вам должна понравится вот эта книга» и т. п. С одной стороны, это упрощает процесс потребления, а с другой — лишь укрепляет статус-кво…

Ф. П.

Все так! У меня даже есть статья на эту тему, называется «Слежение и постоянный повтор». Огромный недостаток этих программ в том, что они пытаются постоянно повторять прошлое, но как раз прошлое во многом виновато в сегодняшних проблемах, зачем его разыгрывать снова и снова? Если мы будем продолжать использовать алгоритмы и схемы прошлого, это приведет лишь к замыканию системы на себе же, и да, как всегда такой статус-кво выгоден элитам.

Е. К.

Google, Facebook и Amazon создают своего рода информационный пузырь для каждого человека, и дело не только в том, что мы постоянно вращаемся в замкнутом кругу наших друзей и уже существующих интересов, но и в том, что эти компании окружают нас целевой рекламой, они становятся гигантскими платформами, координирующими экономическую активность всех других.

Е. К.

Однако же миф об интернете как источнике свободы никто не отменял, даже несмотря на то что он давно превратился в централизованную и довольно монополистскую структуру.

Ф. П.

Мне кажется, это вопрос невежества с одной стороны и надежды найти свое место, аудиторию в экосистеме интернета, которая все же не так закрыта, — с другой. Предприимчивые люди открывают свои интернет-магазины или создают прибыльные приложения. Недавно The New Yorker напечатал статью об Эмерсоне Cпартзе — молодом успешном интернет-предпринимателе. Но если присмотреться, его популярность обусловлена исключительно возможностью продвижения на Facebook. Если бы Facebook захотел, он смог бы раздавить его уже завтра. Amazon разрешает людям становиться, например, продавцами книг и не только — и они благодарны. В то же время медиа настолько глупы или предвзяты, что они не хотят посмотреть на картину в целом, они не анализирует происходящее, а просто пишут о новостях той или иной компании как в колонке сплетен — и это называется сегодня объективностью. В общем, в то время как некоторые люди временно выигрывают (а по сути Facebook, Google, Amazon бросают им ошметки с барского стола), медиа создают миф и внушают другим людям веру в то, что и кто‑то из них сможет стать следующим Эмерсоном Спартзом или написать интернет-бестселлер. Это очень могущественный миф, который дает людям надежду.

Е. К.

Как вы думаете, почему все же интернет-пользователю, даже продвинутому, непонятно, что эти компании — по сути, платформы, а настоящий продукт — это он сам и его доят как корову, извлекая информацию и зарабатывая невероятные миллионы на целевой рекламе? Это ведь вроде очевидно?

Ф. П.

Это действие неолиберальных мифов о том, что мы живем при глобальной экономике, где нет централизованных рычагов власти.
    Недавно Марк Цукерберг горячо хвалил книгу The End of Power Мойзеса Нама, который как раз пишет о том, что сегодня ни у кого нет полной власти, есть лишь разрозненные ее очаги, и мы живем практически в либертарианском раю. В классической политэкономии власть определяется как возможность А заставить Б делать то, что Б не хочет. Сегодня понятие власти изменилось, и в этом смысле в книге The End of Power много ценных наблюдений: теперь А может заставить Б хотеть делать то, что А ему приказывает. Интернет-компании в этом очень преуспели. Как вы сказали, мы сами с радостью идем на доение — то есть повышаем нашу интернет-активность, постоянно уточняем информацию о нас на том же Facebook и заботимся о своем имидже онлайн, пытаемся сделать наше имя узнаваемым в Google. Этот процесс воспринимается почти как развлечение, тут даже нет никакого очевидного принуждения — это превращается в привычку, а с привычками сложно бороться.

Small_dossie29-10-6

Мойзес Наим (род. 1952)

Венесуэльский экономист и мыслитель, лауреат Премии Ортеги-и-Гассета за публикации на испанском языке. Наим 14 лет возглавлял журнал Foreign Policy, был министром торговли Венесуэлы и исполнительным директором Всемирного банка, неоднократно был признан разными институциями одним из ключевых мыслителей мира. В своей последней книге-манифесте «Конец власти» (The End of Power, 2013) он утверждает, что власть в современных условиях легко получить, но трудно использовать и совсем уж несложно потерять: власть мутирует, и последующая анархия не сулит ничего хорошего, Мы вступаем в эпоху не диктаторов, но мелких вредителей. Власть разрушается под действием протестов и бойкотов, верхи еще что‑то могут, но низы уже ничего не хотят, у народа нет доверия к власти, отчуждение множится, и эта угроза — куда глобальнее, чем исламистская агрессия или мегаломания Китая.

Е. К.

То есть, в сущности, это обыкновенная игра на человеческом тщеславии?

Ф. П.

Да, это очень грустное зрелище, и этому зуду постоянно мониторить собственное присутствие в интернете сложно противостоять, это застит нам глаза и не дает видеть, что мы и продукт этих компаний, и бесплатная рабочая сила. Как работает Google? Люди набирают что‑то в поисковике, и интересующий их сайт появляется, скажем, третьим в списке, мы все кликаем на ссылку, и так он перемещается на первое место, но нам за это никогда не платят. Штука в том, что никто не думает об этом процессе как о работе. Все, кто использует Google, фактически работают на него без всякой компенсации!

Е. К.

Что касается самих результатов поиска: как мы можем знать, что результаты в поисковике Google нейтральны, что это всего лишь алгоритм и мы видим мир таким, какой он есть, а не таким, каким Google хочет нам его показать? Можем ли мы сломать матрицу? И существует ли она? Или это все параноидальные идеи?

Ф. П.

Это очень хороший вопрос, и часто можно услышать в ответ на критику Google: не нравится — используй Yahoo или Bing, но это не вариант, потому что они объективно работают хуже. У нас сейчас нет возможности проверить, как именно работают их индексирование и его нейтральность, ведь несмотря на иллюзию прозрачности и отсутствие личной конфиденциальности в интернете для обычного пользователя, такие компании, как Google, очень охраняют свои внутренние процессы, и никакой прозрачности там нет. Эта история с индексами — один из самых глухих черных ящиков, я бы сказал. Самое страшное, что многие этого даже не знают. Когда мы пользуемся поисковой системой Google, не выходя из сервиса Gmail, Google собирает информацию на нас и создает очень детальный профиль. Я, например, пользуюсь Google более десяти лет одновременно с Gmail, и Google очень хорошо знает меня. Например, я искал в 2008 году определенную редкую статью, и недавно, когда мне она понадобилась вновь, Google снова ее нашел, и она была в первых результатах поиска. Это впечатляет, но тут не только заслуга конкретно поисковика: дело в том, что Google первым стал собирать информацию на меня. Вот что я хочу сказать: выход из матрицы почти невозможен. Легко говорить: используй другой поисковик, но качественно у нас нет альтернативы, и я как ученый не могу позволить себе использовать третьесортную поисковую систему.

Е. К.

Получается, мы заперты в комнате с односторонним зеркалом: компании следят за нами, сами при этом будучи черными ящиками со скрытой системой алгоритмов. Единственный способ бороться с ними — изменить законы, которые, собственно, и позволяют сегодня им быть такими черными ящиками, так?

Ф. П.

За последние 15 лет многие интернет-компании неоднократно нарушали закон, и государство могло заставить их измениться, однако оно не воспользовалось этой возможностью. Когда Google пытался превратить Gmail в аналог Facebook, он нарушил множество законов конфиденциальности, но судебное дело закончилось урегулированием. Сейчас проблема не только в нехватке законов, но и в их исполнении, особенно когда дело касается интереса пользователей. Я считаю важным изменить суммы штрафов за нарушение конфиденциальности: это должны быть 3 – 5 % от годовой прибыли компании, а не три часа прибыли, как сейчас. Тогда компании задумаются.

Е. К.

Законы, допустим, можно изменить, но как изменить сознание людей? В современном западном обществе вера в саморегулирование всего и вся довольно крепка.

Ф. П.

Да, это сложно, и люди не понимают, что современные экономические модели — по сути, интеллектуальные банкроты. Для интернет-компаний закон важен не только в плане урегулирования вопросов конфиденциальности, это вообще основа всего их существования. Если еще в конце 90‑х годов даже представить себе было нельзя, что будет существовать компания, которой разрешено копировать и архивировать все интернет-сайты, то сейчас закон копирайта перевернулся и подстроился под нужды Google.
    Большинство людей, прочитавших мою книгу, находят ее довольно депрессивной, но я лично не смотрю на вещи мрачно. Мне кажется, мы находимся в ситуации, похожей на ту, которую испытало общество в 1920‑х годах, и нам необходим свой «новый курс» — в этом или следующем десятилетии. Иначе нас ждет катастрофа. Так что, если честно, особого выбора нет.

comments powered by Disqus