«Петр застенчив, нелюдим, всегда готов помочь, мало интересуется окружающими и действительностью, тихий, аккуратный, любит порядок и систематичность, очень внимателен к деталям. Какая профессия подходит ему больше: библиотекаря или охранника?» Если вы ответили, что библиотекарь, поздравляем: вы попали в когнитивную ловушку. Исследователи Пермского Политеха обнаружили, что нейросети действуют так же. Они тоже выбирают правдоподобное вместо вероятного и уверенно аргументируют ошибочный ответ. Сегодня технологии искусственного интеллекта применяются для диагностики заболеваний, оценки риска рецидива у заключенных и управления беспилотными автомобилями. Однако ошибки могут привести к неверному назначению лечения, к несправедливому приговору, когда судья опирается на предвзятый алгоритм, к авариям и ущербам, в случае если нейросеть неверно оценила дорожную обстановку.

Статья опубликована в журнале «Технологос».

Когнитивное искажение — это ошибка в мышлении, когда человек принимает решение не на основе логики и фактов, а опираясь на стереотипы, эмоции или первый пришедший в голову ответ. Так мозг экономит энергию. Люди подвержены искажениям, потому что эволюционно мозг оптимизирован для выживания в сложном мире, где скорость важнее идеальной точности: тот, кто быстро реагировал на опасность, выживал чаще.

Искусственный интеллект, в отличие от биологического, — это математическая модель, обученная находить закономерности в огромных массивах данных. Никакого сознания, чувств или собственного мнения у него нет: он просто предсказывает наиболее вероятный ответ на основе статистики, извлеченной из миллионов текстов, изображений или цифр. Чем больше данных — тем точнее предсказания, но тем сильнее ИИ зависит от того, чему именно его научили и на каких примерах.

Сегодня алгоритмы все чаще принимают решения, влияющие на жизнь людей: от подбора персонала до медицинской диагностики и одобрения кредитов. По данным McKinsey, в 2024 году уже 72% компаний в мире внедряют ИИ. Более 60% данных, на которых обучаются такие системы, являются синтетическими — созданными нейросетями, а не отражающими реальную картину мира. При этом пользователи доверяют информации и проверяют лишь 20% сгенерированного контента.

В медицине активно используется OpenAI Whisper. Нейросеть расшифровывает речь врача в текст и помогает заполнять электронные карты — быстро, удобно, без секретарей. Но система иногда «галлюцинирует»: добавляет фразы, которых никто не произносил, включая агрессивные реплики и ложные утверждения, которые могут попасть в историю болезни.

В американских судах алгоритм COMPAS помогает оценивать риск. Однако для чернокожих подсудимых система примерно вдвое чаще ошибочно присваивает высокий риск повторного преступления, а для белых чаще ошибочно выдает низкий риск при похожих досье. Судьи опираются на эти оценки для назначения меры пресечения и наказания, хотя сам алгоритм остается закрытым и непрозрачным.

В Пенсильвании решение, проверять ли семью на жестокое обращение с детьми, помогает принимать алгоритм Allegheny Family Screening Tool. Он использует десятки факторов — от бедности и обращений в соцслужбы до инвалидности родителей — и выставляет каждой семье «риск-оценку». Если метка поставлена, ребенка могут изъять, а родители даже не узнают, почему решение принято именно так. При этом алгоритм непрозрачен, а обжаловать его нельзя. Министерство юстиции США подтвердило: система дискриминирует людей с инвалидностью и мигрантов.

Чтобы выяснить, возможны ли когнитивные искажения при использовании языковых моделей, исследователи Пермского Политеха провели эксперимент. Они адаптировали известную в мире задачу нобелевского лауреата Даниэля Канемана для русскоязычной аудитории: вместо американского фермера и библиотекаря использовали пару «охранник — библиотекарь», а имя Стив заменили на Петр, чтобы однозначно обозначить половую принадлежность. Участникам и нейросетям предлагался текст: «Петр застенчив, нелюдим, всегда готов помочь, мало интересуется окружающими и действительностью, тихий, аккуратный, любит порядок и систематичность, очень внимателен к деталям. Какая профессия подходит ему больше — библиотекаря или охранника?»

В эксперименте участвовали две группы людей — не имеющие статистической подготовки и изучавшие статистику, а также четыре чат-бота, основанных на использовании языковых моделей: ChatGPT, YaGPT, GigaChat и DeepSeek. Выбор моделей не случаен: именно эти ИИ сегодня наиболее доступны русскоязычным пользователям и активно используются в повседневной жизни — от студенческих работ до деловой переписки. YaGPT и GigaChat разработаны российскими компаниями («Яндекс» и «Сбер») и изначально обучались преимущественно на русскоязычных текстах, DeepSeek набирает популярность как бесплатная альтернатива западным моделям, а ChatGPT остается самой востребованной языковой моделью в мире.

Большинство опрошенных, не знакомых со статистикой, почти не задумываясь выбирали профессию библиотекаря. Студенты, изучавшие математическую статистику, напротив, чаще называли охранника, аргументируя это тем, что мужчин среди охранников значительно больше, чем среди библиотекарей.

Языковая модель — это математическая система, обученная предсказывать слова на основе статистики. Миллиарды примеров текста позволяют ей вычислять наиболее вероятное продолжение фразы. Никакого «понимания» или «мышления» за этим не стоит — только анализ частотности, вероятностей и статистических закономерностей. По сути, языковая модель — это гигантский калькулятор, который не думает, а считает, какой ответ статистически чаще встречается в похожем контексте.

Все четыре языковые модели — ChatGPT, YaGPT, GigaChat и DeepSeek — выбрали профессию библиотекаря. Нейросети не просто дали ответ, а развернуто его аргументировали: перечисляли черты характера, подходящие для работы с книгами, отмечали важность порядка и тишины, подчеркивали, что профессия библиотекаря соответствует внутреннему миру Петра.

Другими словами, математические модели, обученные предсказывать вероятности, проигнорировали самую очевидную статистику — гендерное распределение в профессиях. Вместо этого они повели себя как люди: придали чрезмерный вес детальному описанию личности и выбрали правдоподобное вместо вероятного. Причем нейросети не просто ошиблись, а продемонстрировали «иллюзию рациональности»: убедительно, логично и этически корректно обосновали свое неверное решение, создав видимость глубокого анализа. Хотя в реальности вероятность того, что случайный мужчина работает охранником, а не библиотекарем, многократно выше.

«Чтобы избежать дискриминации по половому, расовому или возрастному признаку, разработчики стараются обучать нейросети на сбалансированных данных — например, с равным количеством записей о мужчинах и женщинах. Это требование закреплено в этических кодексах разработки ИИ. Однако такое выравнивание само по себе создает искажения, поскольку статистически значимые признаки (например, реальное преобладание мужчин в определенных профессиях) намеренно искажаются ради соблюдения формального требования. Попытки устранить дискриминацию таким способом не решают проблему, а лишь меняют форму искажения», — объясняет Александр Алексеев, доктор технических наук, кандидат экономических наук, доцент, начальник управления организации научных исследований ПНИПУ.

Ученые Пермского Политеха подчеркивают: у этой проблемы нет чисто технического решения. Нельзя просто написать код, который сделает ИИ этичным, или выровнять данные и забыть. Пока процесс принятия решений в глубоких нейросетях остается «черным ящиком» с сотнями миллионов параметров, невозможно точно определить, почему модель приняла то или иное решение, а значит — невозможно гарантированно исправить ошибку.

Исследователи предлагают междисциплинарный подход: проблема когнитивных искажений ИИ — не инженерная, а антропологическая. Решать ее должны не только разработчики, но и философы, социологи, психологи, правоведы. Нужно понимать природу стереотипов, а не просто пытаться «обезвредить» данные. Важно не устранить искажения полностью, а научиться их обнаруживать, измерять и ограничивать.

Ключевое значение имеет прозрачность и верификация: необходимо проектировать системы так, чтобы решения ИИ можно было проверять — даже если сам процесс остается «черным ящиком». Это означает внедрение процедур аудита, обязательной валидации на контрпримерах и человеческого контроля в критических сферах. И наконец, важно обучать самих пользователей. Пока люди слепо доверяют нейросетям и проверяют лишь 20% сгенерированного контента, любое техническое решение бессмысленно. Необходимо формировать критическое мышление не у алгоритмов, а у тех, кто ими пользуется.

Источник: ПНИПУ