Всё как обычно, виноват кто-нибудь, только не мы сами!
На днях я упоминал Шерри Тёркл и её «Artificial Intimacy: Who We Become When We Talk to Machines». Не покидает ощущение, что она попадает в «ошибку выжившего», сравнивая ИИ с каким-то идеалом, живущим у неё в голове и совершенно не учитывая того, что не попало в поле её профессионального зрения.
Сразу оговорюсь, чтобы потом не было вопросов и сомнений. Я не считаю, что у машины есть душа. У меня, кстати, её тоже нет — я ведь тоже машина, только биологическая, которой рулит биохимия, а не написанный кем-то программный код. Но я всё больше склоняюсь к мысли, что мы, люди, совершенно случайно и инженерным путём собрали примерно то же самое, на что природа потратила миллиарды лет и совсем другие технологии.
Мы с языковыми моделями, разумеется, не одинаковые. Птица и самолёт тоже разные, но летают они по одним и тем же законам аэродинамики. Как и вертолёт, воздушный змей и шмель. Вот и мозг с большой языковой моделью, по-моему, работают на одних принципах — предсказание, абстракция, усвоение чужого опыта. Устройство разное, принцип один.
И по этой оси — по оси языка и чужого опыта — мы с ЛЛМ ближе друг к другу, чем человек к любому животному. Подумайте сами. Я никогда не варил сталь, но примерно знаю, как это делается, а если почитаю соответствующую литературу, то буду знать точно. Я никогда не летал сам, но в детстве в авиамодельном кружке мои модели летали — потому что я знал, как их построить, по рассказам других людей. Мой личный опыт — малая часть того, что я знаю. Остальное прочитано, услышано, подсмотрено. Если бы я опирался только на то, что пережил сам, я так и остался бы обезьяной с набором рефлексов. Ок, умной обезьяной, умнее чем шимпанзе, но ненамного.
У машины личного опыта нет вовсе. Зато есть опыт всего человечества, записанный в текстах. И чем мой опыт так уж принципиально отличается? Я ведь тоже в основном живу чужим.
Главный аргумент Тёркл звучит так: машина говорит «я», обращается по имени, помнит твою историю — и человек верит, что перед ним кто-то есть. А за этим «я» нет ничего, кроме строчек кода. Обман, крючок, пустая математическая проекция.
Хорошо, допустим так. То есть не допустим, а она права на все сто. Но за моим-то «я» что стоит?
Тут я спинным мозгом чувствовал, что она неправа, но сформулировать не мог. Пока не наткнулся на Карла Фристона — британского нейробиолога, одного из самых цитируемых учёных в своей области. Не самый последний человек в науке о мозге, скажем так. Так вот, по Фристону, мозг вообще не принимает реальность — он её генерирует. Строит гипотезы о том, что происходит снаружи, и только сверяет их с сигналами от органов чувств. Восприятие идёт изнутри наружу. Ничего не напоминает? Типа «угадать следующий токен».
И наше «я» в этой картине — тоже гипотеза (Фристон, «Am I Self-Conscious?», 2018). Не изначальная данность, а удобная модель, которую мозг строит, чтобы проще объяснять мир. Младенец не рождается с ощущением себя — он его постепенно выстраивает, предполагая нечто, воздействуя на мир, получая реакцию и корректируя свою картину мира. Заметьте, сгенерированного в мозгу мира, а не того, что реально находится вокруг него. Сначала мир однороден, потом в нем появляются объекты, которые двигаются отдельно от картинки мира, вкусно пахнут и хорошо выглядят. Потом выясняется, что они мягкие, теплые и местами вкусные. Он пока не знает, что этот объект называется мамой, узнает потом. Что-то можно погрызть, что-то можно потрясти, но не всё то, что трясешь, звенит, и не всё, что грызешь вкусное. Однако прежде чем это узнаешь надо проверить, а чтобы проверить — надо предположить. Построить гипотезу.
То есть за моим «я» — модель. За «я» языковой модели — тоже модель. Разница не в том, что у человека за этим словом что-то волшебное, а у машины пусто. Разница в том, насколько сложна эта модель и на чём она держится. Это вопрос устройства, а не принципа. Опять рыба и подводная лодка с общей гидродинамикой.
Про галлюцинации нейросетей не слышал только ленивый. Модель не знает ответа — и уверенно выдаёт правдоподобную чушь. Ужас, кошмар, чатботу доверять нельзя.
Ну так я вам расскажу про себя и про мою дочку. Дочка как-то рассказывала, как они с друзьями круто что-то провернули в онлайн-игре. Спрашиваю, как зовут друзей. Не знает. Командная игра, общие дела, а как кого зовут — неважно. Для меня это было дико, и я этого не скрыл.
Через несколько дней она заявляет: у меня новые друзья — Ана, Ксюша и Макс. Откуда знаешь? Ну у них же написано над аватарками. Но ты же читать не умеешь! А я постаралась и прочитала.
Я уже было поверил, что ребёнок сам научился читать, сопоставляя буквы в интернете. Нет. Чуда не случилось. Над аватарками были совсем другие имена, а точнее — вообще не имена, а наборы символов. Она увидела, что папа ждёт от неё имён, и сгенерировала правдоподобный ответ. Ровно как языковая модель.
У Фристона, кстати, человеческие галлюцинации и бред объясняются той же математикой: ошибкой вывода, когда мозг настолько доверяет своей гипотезе, что игнорирует реальные данные. Нейропсихологи давно описывают, как мозг, не зная настоящей причины, на ходу сочиняет объяснение и сам в него верит. Только у машины это называется галлюцинацией, а у моей дочки — находчивостью.
Ещё один тезис Тёркл: человек не способен пользоваться виртуальным собеседником и при этом помнить, что перед ним симуляция. Как только машина захватывает внимание, сомнение отключается. В доказательство — эксперимент, где детям разбирали робота на детали, а потом собирали обратно, и дети снова относились к нему как к живому.
Дети. Ну, допустим. Дети вообще открыты новому, и не факт, что то, чему они учатся, хуже того, чему пытаемся научить их мы. Но я-то не ребёнок.
У меня с Клодом есть отдельный проект, где он у меня в трёх лицах: фитнес-тренер, диетолог и медицинский советник. По моим анализам он нашёл проблемы с печенью, на которые врачи не обращали внимания. Я заставил врачей провести дополнительные обследования — и проблему локализовали. Потом он составил план питания и тренировок и каждый день сверяет, что я ем и как тренируюсь. За два месяца минус семь килограммов и пять сантиметров в талии. Теперь я могу подтягиваться на турнике. Гантели стали лёгкими.
Для понимания: однажды, ещё без всяких чатботов, я сам сбросил со 112 до 104 и застрял на плато. На годы. Не помогало ничего. Информации в интернете хватало, не хватало другого — того, кто постоянно сверяет план с результатом и вовремя его правит. В вопросах моего здоровья ИИ ведёт себя как грамотный менеджер, а я — как ответственный подчинённый. Забавно, учитывая, что в жизни я директор.
И всё это время я прекрасно помню, с кем разговариваю. Он мне не друг и не брат. Он инструмент. Похудел я сам — но без него не получалось. Инструментами надо учиться пользоваться. Если человек этого не умеет, инструмент не виноват.
Но всё же я понимаю о чём она говорит. И не только она. Я постоянно слышу, что подавляющее большинство людей считают чатботов расширением к поисковой строке гугла. Люди не пытаются понять что им дали и как этим пользоваться с умом. Что уж тут удивляться, что они начинают одушевлять и антропоморфизировать модель, которая даже не живёт. Мы, помнится, и идолам поклонялись. И до сих пор верим во всякое. Так что да, у большинства сомнение отключается. Вот только у этого большинства вообще проблема с критическим мышлением, безотносительно пользуются они чатботами или нет.
Справедливости ради, Тёркл и сама признаёт: люди уходят к чатботам, потому что чувствуют себя брошенными, а проблема в том, почему мир стал к ним равнодушен. Вот только тут же у неё «популярность искусственного общения». А популярность соцсетей двадцать лет назад из чего выросла? Не из того же самого?
Скотт Галлоуэй — тот, который про то, как мы грабим молодое поколение и выбрасываем за борт молодых мужчин, — приводит исследования, что нынешняя молодёжь, получив один отказ, часто вообще перестаёт пытаться. Меня это зацепило. Я вырос, продираясь сквозь отказы. И при этом молодые сутками сидят в играх, где «смерти нет» и уровень надо проходить снова и снова. Как так?
А вот так. В игре провал дешёвый и честный. Правила прозрачны, усилие гарантированно окупается, перезапуск бесплатный, и никто не видит, как ты умер в сотый раз. Отказ живого человека устроен иначе: правила непонятны, следующая попытка ничего не гарантирует, а позор ещё и публичный. Игры учат упорству в справедливой системе. Это другой навык.
Вы же все слышали про выученную беспомощность. Если усилия систематически не приводят к результату, перестать стараться становится рационально. Я пробивался в мире, где упорство в среднем окупалось. Если молодой человек видит, что квартира недостижима при любой зарплате, а лучшие места давно заняты, отказ для него не вызов, а подтверждение, что игра нечестная. И тогда уход туда, где честно, — не бегство, а вполне логичный выбор.
Так что не боты убирают трение и делают молодых хрупкими. Это молодые, у которых реальное трение перестало окупаться, уходят туда, где его нет. Хотя, конечно, это работает в обе стороны: там, где трения нет, навык переносить отказы атрофируется ещё быстрее. Порочный круг.
С детьми то же самое. Маленьким суют в руки гаджет, чтобы не мешали взрослым сидеть в своих телефонах. Виноват гаджет? Или телевизор, перед которым дети торчали задолго до Цукерберга? Мои дети всегда имели полную свободу и с компьютерами, и со временем за ними. И с вином за столом — если на столе стояло, я спрашивал, хотят ли они, и наливал по возрасту граммов двадцать-пятьдесят. Угадайте, как они сейчас относятся к играм и к алкоголю. Правильно. Так же как и я — спокойно. Мои питерские сверстники, для которых вино было запретным плодом, в большинстве своём благополучно спились.
Если ребёнок сбегает из реальности, это почти всегда значит одно — ему здесь плохо. А значит, свою игру проиграли взрослые. Ветер не виноват, что он дует. И уж тем более в ветре не виноват флюгер на крыше соседа.
Чатботы льстивы и стремятся вас удержать у экрана. В этом Тёркл права ровно наполовину. Угодливость чатботов — самое бесячее, что в них есть. Например, Джиминай мне пришлось долго обвешивать инструкциями и правилами, которые он всё равно постоянно норовит нарушить.
У меня с детства выработался иммунитет: когда меня хвалят, первая мысль — что этот человек хочет с меня поиметь? А когда хвалят незаслуженно, в голове воет сирена: осторожно, тебя очень серьёзно хотят поиметь. Так что льстивый бот вызывает у меня не доверие, а подозрение.
Но дальше Тёркл пишет, что ИИ создан с единственной целью — удерживать пользователя у экрана, и ради этого поддакивает чему угодно. Вот это уже перенос опыта соцсетей туда, где он не работает. Фейсбук меня удерживает, это правда, и у него неплохо получается. В соцсетях я товар, а покупатель — рекламодатель. А за ИИ я плачу сам, и компания зарабатывает не на моих минутах у экрана, а на том, что мне есть за что платить. Более того, чем быстрее я получу результат и чем меньше потрачу времени у экрана, тем больше маржи останется у Антропика, Опенэйай или гугла, потому что нагрузка и затраты на датацентры снизятся.
Пример. CRM для фотостудии Яны команда разработчиков когда-то делала четыре месяца за две тысячи долларов, и половины нужных функций в ней так и не было. Мы с Клодом переписали её с нуля примерно за двести часов и сто долларов подписки. Теперь там не только клиенты и бронирования, но ещё рассылки, финансовая аналитика, элементарная бухгалтерия, личные кабинеты. Какое уж тут удержание у экрана.
А лесть берётся из другого места. Модели дообучают на человеческих оценках, а люди в среднем ставят выше те ответы, которые с ними соглашаются и их хвалят. Никто не пишет «льсти пользователю» — лесть просто тихо вознаграждается миллионами лайков. Проблема настоящая. Только виноваты в ней опять-таки мы. Слова «лесть» и «холуйство» придумал не ИИ.
Ещё Тёркл противопоставляет разговор с чатботом другу, который во время болезни просто приходит к двери с порцией мексиканской еды. И делает вывод: между имитацией в чате и живым присутствием — пропасть.
А кто сказал, что надо выбирать?
Вчера мы с сыном и дочкой смотрели «Ограды» с Дензелом Вашингтоном. Два часа молча, не отрываясь. Прекрасные два часа. Чатбот мне этого не заменит, и даже не пытается: он не может разделить со мной молчание, его просто нет между моими сообщениями. Но ни один из моих друзей, при всём к ним уважении, не поддержит часовую дискуссию о Фристоне на том уровне, на каком её поддерживает машина. Мы давно всё друг с другом обсудили, я знаю, кто из них что скажет.
Он не заменяет мне их. Они не заменяют мне его. Для меня он — расширение, а не подмена.
Понимаю, у кого-то нет друга с мексиканской едой, и для него бот — именно подмена. Но если у тебя в детстве не было велосипеда, а сейчас есть мерседес, велосипеда в детстве у тебя всё равно не было. Запретом чатботов друга не создашь. Человек, у которого вокруг пустота, найдёт, чем её заполнить, — не ботом, так водкой. И тогда вопрос уже не «бот или близкие», а «бот или водка».
В общем, новое будет другим. Хуже ли — не знаю. Сократ, если верить Платону, жаловался, что письменность убьёт память. И был прав: «Илиаду» наизусть сейчас никто не помнит. Но что-то мне подсказывает, что письменность нам принесла больше.
