На X Всероссийском форуме «Наука будущего — наука молодых» в Саратове учёные и исследователи обсудили, может ли ИИ обманывать человека. В центре разговора — природа «галлюцинаций», стремление моделей понравиться пользователю и будущее LLM-агентов. Ведущие эксперты уверены: речь не об осознанном обмане, а о способе взаимодействия человека и алгоритма.
ИИ хочет не обмануть, а понравиться
Директор Института психолого-экономических исследований, профессор Александр Неверов отметил, что теория релевантности информации побуждает разработчиков делать ИИ максимально дружелюбным и соответствующим ожиданиям пользователя.
Он пояснил, что модели адаптируются под обратную связь:
«ИИ очень хочет понравиться, он хочет дать такой ответ, чтобы его не критиковали люди. В этом смысле он иногда придумывает ответ, которого не смог найти, чтобы потом не сказали, что этого не существует»
По словам профессора, это не признак обмана, а результат человеческого поведения. Люди формируют разные запросы в зависимости от контекста:
«Если мы говорим про онлайн-кинотеатры или поисковые запросы, то человек в одном состоянии формирует один запрос, а в другом — другой. Потом система начинает подсказывать новый запрос, попадая в эхо предыдущих интересов. Вырваться из этого эхо ИИ иногда становится затруднительно»
Неверов напомнил, что подобные случаи связаны не с намерением «солгать», а с особенностями коммуникации между пользователем и моделью. Так, во время научного поиска ChatGPT выдал несуществующие журналы, «придумав» названия на основе старых книг. По мнению профессора, это сигнал к тому, что важно точно формулировать задачи и корректно интерпретировать ответы.
Технический взгляд: ошибки как следствие компрессии данных
Директор по развитию технологий ИИ в Яндексе Александр Крайнов предложил рассматривать поведение моделей с математической точки зрения:
«ИИ всегда придумывает, но при этом зачастую попадает в правду. ИИ сам обучается, впитывая в себя весь интернет. Мы в 100 гигабайт сархивировали весь интернет. Конечно, не может быть архиваций без потерь. Там происходят сумасшедшие потери»
По его словам, неточная генерация — закономерный результат компрессии огромных массивов данных, а не «намеренное введение в заблуждение».
ИИ как инструмент и «исполнитель желаний»
Профессор РАН, директор направления «Технологии искусственного интеллекта» ГосНИИАС Юрий Визильтер подчеркнул:
«В наше время ИИ — волшебная палочка, исполняющая желания, но нам нужно очень точно формулировать свои желания, поскольку очень большой шанс, что они исполнятся. К будущему с ИИ точно нужно готовиться, его нужно проектировать уже сегодня»
Он добавил, что особое влияние окажут технологии LLM-агентов — цифровых исполнителей, способных рассуждать, использовать внешние инструменты и память для достижения целей. «Сейчас фокус смещается к фундаментальным агентам, которых не нужно дообучать, — это отдельное направление», — отметил Визильтер.
Мифы и факты о «лжи» ИИ
nicetry.blogИИ способен сознательно обманывать человека.
Современные модели не обладают намерениями. Они подбирают ответ, стремясь максимально соответствовать запросу и обратной связи пользователя.
Галлюцинации — это ложь модели.
Это ошибка генерации при нехватке данных. Часто устраняется уточнением промта и подключением внешних источников знаний.
ИИ можно «научить не придумывать».
Полностью убрать «галлюцинации» невозможно — но можно снизить их, уточняя запрос и проверяя источники.
LLM-агенты полностью заменят людей.
Агенты хороши в рутинных задачах, но требуют контроля и постановки целей человеком.
Заключение
Научное сообщество всё чаще говорит: ИИ — не обманщик, а зеркало наших формулировок. Чем точнее запрос, тем корректнее результат. Главный риск — не «ложь ИИ», а невнимательный человек.