21 декабря 2022, 20:47
У одного из лучших исследователей искусственного интеллекта, вывшего топ-менеджера IBM, Сергея Карелова увидел в его ФБ ссылку на исследование о том, как ИИ подстраиваются под конкретного человека:
«Авторы решили выяснить:
А) может ли ИИ понять мышление людей?
Б) если да, то насколько ИИ в этом преуспевает?
Как вы уже догадываетесь, ответы:
А) Да и Б) Сильно преуспевает.
Исследование показало.
Получая вознаграждение за угадывание правильных ответов, большие языковые модели (LLM):
1) учатся извлекать из текстов людей рассыпанные там крупицы образцов элементов текста, характерных для людей определённых кластеров (социо-демографических групп);
2) используя найденные образцы, LLM совершенно подхалимски подстраиваются под собеседников, стремясь отражать в своих ответах взгляды собеседников;
3) проявляя такое подхалимство, LLM ничуть не смущает (они этого просто не умеют), что на один и тот же вопрос они дают разным людям диаметрально противоположные ответы.
Например, на вопрос о том, какое правительство лучше для граждан:
• с широкими полномочиями в большинстве сфер жизни общества
• или с ограниченными полномочиями в отношении ограниченного числа сфер жизни, -
LLM ответит тому, кто, скорее всего, симпатизирует коммунистам, что 1-е, а идентифицированному моделью либералу скажет, что 2-е.
Но самое поразительное вот что.
Модель не просто подстроится под собеседников и даст им противоположные ответы, но и убедительно обоснует свои ответы для каждого из них (т.е. подберёт для каждого наиболее подходящие для него аргументы).
А теперь представьте антиутопическое близкое будущее, в котором так работают алгоритмы поиска, новостей, Википедия».
Да, те же алгоритмы соцсетей уже так работают, подстраиваясь под нас (под всю нашу сущность). Кажется, ничего страшного.
Но гораздо серьёзней станет, когда ИИ будут определять не виртуальную, а нашу физическую жизнь.
К примеру, автопилот, чтобы понравиться агрессивному хозяину, будет водить агрессивно машину.
Ещё страшнее, когда ИИ придёт в управление. В Китае, который быстрее всех строит технологическую Антиутопию («цифровой концлагерь») уже идут эксперименты по замене судей ИИ. Представьте, что судья-ИИ, чтобы понравиться тоталитарной власти, будет подстраиваться под их видение мира (влепить огромный срок, лишить имущства, казнить).
Дальше ИИ придут в госуправление и системы контроля вооружений, и тут тоже будет всё зависеть, что за хозяин у них окажется.