43 лучших цитаты и высказывания Кэти О'Нил

Я знаю, как строятся модели, потому что строю их сам, поэтому я знаю, что встраиваю свои ценности в каждый создаваемый мной алгоритм и проецирую свою повестку дня на эти алгоритмы.

По своей конструкции мир больших данных разделен, сегментирован и сегрегирован, так что успешные люди, такие как я — технологи, хорошо образованные белые люди, по большей части — извлекают выгоду из больших данных, и это люди по другую сторону экономический спектр, особенно цветные люди, которые страдают от этого. Они страдают от этого индивидуально, в разное время, в разные моменты. Они никогда не получают четкого объяснения того, что на самом деле с ними произошло, потому что все эти оценки являются секретными, и иногда они даже не знают, что их оценивают.

Люди чувствовали, что дружат с Google, и верили в принцип «Не делай зла», который говорил Google. Они доверяли Google больше, чем правительству, и я никогда этого не понимал.

Каждая система, использующая данные, разделяет человечество на победителей и проигравших.

Возможно, никогда не наступит тот момент, когда все скажут: «Боже мой, большие данные — это ужасно».

Когда я думаю о том, хочу ли я устроиться на работу, я не просто думаю о том, интересно ли это технически, хотя я думаю об этом. Я также рассматриваю вопрос о том, хорошо ли это для мира.

Большая часть нашего общества в целом заставляет нас максимизировать нашу зарплату или премию. По сути, мы просто думаем с точки зрения денег. Или, если не деньги, то, если ты в академии, это престиж. Это другая валюта. И есть такое неизмеримое измерение всех работ, которое заключается в том, улучшает ли он мир.

Разработчики алгоритма Facebook решили позволить нам увидеть, о чем говорят наши друзья. Они решили показать нам, в некотором смысле, больше того же самого. И это дизайнерское решение, которое они могли бы решить по-другому. Они могли бы сказать: «Мы собираемся показать вам вещи, которые вы, вероятно, никогда раньше не видели». Я думаю, что они, вероятно, оптимизировали свой алгоритм, чтобы заработать как можно больше денег, и это, вероятно, означало показывать людям вещи, с которыми они уже были согласны или с которыми, скорее всего, согласились.

Вот что мы делаем, когда работаем в технологических стартапах Силиконовой долины: мы думаем о том, кто от этого выиграет. Это почти единственное, о чем мы думаем.

Национальный разговор о правах белых, об узаконенном расизме, о движении Black Lives Matter, я думаю, возник в значительной степени из-за расширения и расширения нашего понимания неравенства. Этот разговор был начат Occupy.

Я бы сказал, что одна из основных проблем с нашим слепым доверием к алгоритмам заключается в том, что мы можем распространять дискриминационные шаблоны, не признавая никаких намерений.

Обучение, которое человек получает, когда становится техническим специалистом, например, специалистом по данным — мы обучаемся математике, информатике или статистике — полностью отделено от обсуждения этики.

АНБ покупает данные у частных компаний, поэтому частные компании являются источником всего этого материала.

Для многих людей существует меньшая связь между техническими решениями, которые мы принимаем, и этическими последствиями, за которые мы несем ответственность.

Самая важная цель, которую я имел в виду, состояла в том, чтобы убедить людей перестать слепо доверять алгоритмам и предполагать, что они по своей сути справедливы и объективны.

Я мечтаю, чтобы появился новый регулирующий орган, отвечающий за алгоритмический аудит.

По какой-то причине я никогда не отделял техническое от этического.

Это стандартная вещь, которую вы слышите от стартаперов — что их продукт каким-то образом улучшает мир. И если вы будете следовать рассуждениям, вы кое-чего добьетесь, и я скажу вам, куда вы доберетесь: вы дойдете до описания того, что происходит с победителями в системе, которую они строят.

Google настолько велик, что вы понятия не имеете, чем занимается тот или иной человек.

Мы не можем просто выбросить что-то и предположить, что это работает только потому, что в этом есть математика.

Очевидно, что чем больше у нас прозрачности как у аудиторов, тем больше мы можем получить, но главная цель состоит в том, чтобы понять важные характеристики алгоритма черного ящика, не обязательно вникая в каждую деталь алгоритма.

Разобщенность, которую я испытывал, заключалась в том, что люди ненавидели Уолл-стрит, но любили технологии.

Особенно из моего опыта работы аналитиком в хедж-фонде — я наивно пришел туда, думая, что сделаю рынок более эффективным, а потом подумал: «Боже мой, я — часть этой ужасной системы, которая взрывает мировые рынки». экономики, и я не хочу быть частью этого.

Я думаю, что компании, работающие с большими данными, любят только хорошие новости. Так что я думаю, что они просто надеются, что их не засудят, по сути.

У большинства людей нет никаких ассоциаций в уме с тем, что они делают, и с этикой. Они думают, что каким-то образом обошли вопросы морали, ценностей или этики, а я никогда не думал, что это правда.

Я хотел, чтобы люди не давали им слишком много власти. Я вижу это как закономерность. Я хотел, чтобы это закончилось как можно скорее.

Есть много разных способов, которыми алгоритмы могут ошибаться, и то, что у нас есть сейчас, — это система, в которой мы предполагаем, что это совершенная новая технология с математической аурой, и она не требует дальнейшей проверки. Конечно, у нас никогда не бывает такого предположения с другими видами технологий.

Общественность слишком доверяет большим данным.

Благодаря моему опыту работы с Occupy, вместо того, чтобы задавать вопрос: «Кому будет выгодна эта система, которую я внедряю с данными?» Я начал задавать вопрос: «Что будет с самыми уязвимыми?» Или «Кто проиграет при этой системе? Как это повлияет на самого неблагополучного человека?» Что сильно отличается от вопроса «Как это улучшает жизнь некоторых людей?»

Страховая компания может сказать: «Расскажите нам больше о себе, чтобы ваши страховые взносы могли снизиться». Когда они так говорят, они обращаются к победителям, а не к проигравшим.

Я думаю, что произошло то, что широкая общественность стала намного лучше осознавать разрушительную силу Уолл-Стрит.

Мы усвоили наш урок с финансами, потому что они устроили огромный чертов взрыв, который чуть не закрыл мир. Но я понял, что с большими данными может никогда не случиться взрыва масштаба финансового кризиса.

Микротаргетинг — это возможность кампании составить ваш профиль, узнать о вас гораздо больше, чем вы о нем знаете, а затем выбрать именно то, что вам показать.

Когда какая-то секретная система подсчета очков не дает людям выбора, жаловаться очень трудно, поэтому они часто даже не знают, что стали жертвами.

Вы никогда не сможете ничего по-настоящему измерить, верно? В том числе учителей.

«Оккупай» предоставил мне призму, через которую я увидел системную дискриминацию.

Я не думаю, что кто-либо когда-либо уведомлял, что они были приговорены к дополнительным двум годам, потому что их балл за рецидивизм был высоким, или уведомлял, что этот полицейский случайно оказался в их районе, проверяя карманы людей на предмет травки из-за предиктивного полицейского алгоритма. Это просто не так.

Я думаю, что существует проблема, с которой модели буквально никогда не смогут справиться, а именно: когда кто-то предлагает новый способ сделать что-то действительно превосходное, модели его не узнают. Они умеют распознавать превосходство только тогда, когда могут его как-то измерить.

Доказательства причинения вреда трудно получить.

Я сам создал компанию, компанию по алгоритмическому аудиту. У меня нет клиентов.

Например, с алгоритмами рецидивизма я беспокоюсь о расистских последствиях. С личностными тестами [при приеме на работу] я беспокоюсь о том, чтобы отсеять людей с проблемами психического здоровья с работы. И с алгоритмом модели добавленной стоимости учителей [используется в Нью-Йорке для оценки учителей], я буквально беспокоюсь, что это не имеет смысла. Что это почти генератор случайных чисел.

Люди начинают очень скептически относиться к алгоритму Facebook и всякого рода слежке за данными.

Мы не позволяем автомобильной компании просто выбросить машину и начать ездить на ней, не проверив, пристегнуты ли колеса. Мы знаем, что это приведет к смерти; но по какой-то причине мы без колебаний отбрасываем некоторые алгоритмы непроверенными и неотслеживаемыми, даже когда они принимают очень важные решения о жизни и смерти.