Может ли ИИ обманывать: что обсуждали на форуме в Саратове

Может ли ИИ обманывать? На форуме в Саратове ученые спорили о «желании понравиться», почему возникают «галлюцинации» и что ждет LLM-агентов.
Дискуссия ИИ и человек в Саратове - ученый и гуманоидный робот лицом к лицу - на столе полиграф и визуализация нейросети — nicetry.blog

На X Всероссийском форуме «Наука будущего — наука молодых» в Саратове учёные и исследователи обсудили, может ли ИИ обманывать человека. В центре разговора — природа «галлюцинаций», стремление моделей понравиться пользователю и будущее LLM-агентов. Ведущие эксперты уверены: речь не об осознанном обмане, а о способе взаимодействия человека и алгоритма.

ИИ хочет не обмануть, а понравиться

Директор Института психолого-экономических исследований, профессор Александр Неверов отметил, что теория релевантности информации побуждает разработчиков делать ИИ максимально дружелюбным и соответствующим ожиданиям пользователя.

Он пояснил, что модели адаптируются под обратную связь:

«ИИ очень хочет понравиться, он хочет дать такой ответ, чтобы его не критиковали люди. В этом смысле он иногда придумывает ответ, которого не смог найти, чтобы потом не сказали, что этого не существует»

По словам профессора, это не признак обмана, а результат человеческого поведения. Люди формируют разные запросы в зависимости от контекста:

«Если мы говорим про онлайн-кинотеатры или поисковые запросы, то человек в одном состоянии формирует один запрос, а в другом — другой. Потом система начинает подсказывать новый запрос, попадая в эхо предыдущих интересов. Вырваться из этого эхо ИИ иногда становится затруднительно»

Неверов напомнил, что подобные случаи связаны не с намерением «солгать», а с особенностями коммуникации между пользователем и моделью. Так, во время научного поиска ChatGPT выдал несуществующие журналы, «придумав» названия на основе старых книг. По мнению профессора, это сигнал к тому, что важно точно формулировать задачи и корректно интерпретировать ответы.

Технический взгляд: ошибки как следствие компрессии данных

Директор по развитию технологий ИИ в Яндексе Александр Крайнов предложил рассматривать поведение моделей с математической точки зрения:

«ИИ всегда придумывает, но при этом зачастую попадает в правду. ИИ сам обучается, впитывая в себя весь интернет. Мы в 100 гигабайт сархивировали весь интернет. Конечно, не может быть архиваций без потерь. Там происходят сумасшедшие потери»

По его словам, неточная генерация — закономерный результат компрессии огромных массивов данных, а не «намеренное введение в заблуждение».

ИИ как инструмент и «исполнитель желаний»

Профессор РАН, директор направления «Технологии искусственного интеллекта» ГосНИИАС Юрий Визильтер подчеркнул:

«В наше время ИИ — волшебная палочка, исполняющая желания, но нам нужно очень точно формулировать свои желания, поскольку очень большой шанс, что они исполнятся. К будущему с ИИ точно нужно готовиться, его нужно проектировать уже сегодня»

Он добавил, что особое влияние окажут технологии LLM-агентов — цифровых исполнителей, способных рассуждать, использовать внешние инструменты и память для достижения целей. «Сейчас фокус смещается к фундаментальным агентам, которых не нужно дообучать, — это отдельное направление», — отметил Визильтер.

Мифы и факты о «лжи» ИИ

nicetry.blog
МИФ

ИИ способен сознательно обманывать человека.

ФАКТ

Современные модели не обладают намерениями. Они подбирают ответ, стремясь максимально соответствовать запросу и обратной связи пользователя.

МИФ

Галлюцинации — это ложь модели.

ФАКТ

Это ошибка генерации при нехватке данных. Часто устраняется уточнением промта и подключением внешних источников знаний.

МИФ

ИИ можно «научить не придумывать».

ФАКТ

Полностью убрать «галлюцинации» невозможно — но можно снизить их, уточняя запрос и проверяя источники.

МИФ

LLM-агенты полностью заменят людей.

ФАКТ

Агенты хороши в рутинных задачах, но требуют контроля и постановки целей человеком.

Заключение

Научное сообщество всё чаще говорит: ИИ — не обманщик, а зеркало наших формулировок. Чем точнее запрос, тем корректнее результат. Главный риск — не «ложь ИИ», а невнимательный человек.

Полезно? Поделись!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

А это читали?

Повышение цен на алкоголь и сигареты — бутылка и пачка сигарет, стянутые цепью, с красной стрелкой роста на фоне — nicetry.blog

Повышение акцизов 2026: подорожают алкоголь и сигареты

Повышение акцизов 2026: алкоголь +8–12%, сигареты +11,3% с 1 января.
на плацу в шеренге стоят военнослужащие, в переднем плане стол с папками, секундомером и счётчиком — nicetry.blog

Осенний призыв 2025: как меняются масштабы и правила

Осенний призыв 2025 — 135 тыс. человек. Максимум с 2016-го и план круглогодичного призыва с 2026 года: что это меняет.
команда рейнджеров в ЮАР бережно обездвиживает белого носорога и проверяет дозиметром имплант-маячок — nicetry.blog

Радиоизотопы для защиты носорогов: опыт ЮАР

ЮАР тестирует радиоизотопы для защиты носорогов: рога становятся токсичными для людей и заметными на границе. Результаты пилота 2024–2025.
Селена Гомес жестоко обидела маму на собственной свадьбе - nicetry.blog

Селена Гомес обидела маму на свадьбе

Селена Гомес вышла замуж за Бенни Бланко. Обсуждают, кого она пригласила к алтарю и как отреагировала мама. Собрали что подтверждено.
красный диплом на столе, рядом академическая шапочка, свиток с лентой, медаль и блокнот — nicetry.blog

Красный диплом: как получить в вузе, колледже и школе — и что он дает

Красный диплом: условия, пороги ЕГЭ 2024+, сколько четверок допустимо и где это помогает — в учебе и карьере. Практика без выгорания.
Филипп Киркоров помог бывшей домработнице Пугачёвой - nicetry.blog

Филипп Киркоров помог бывшей домработнице Пугачёвой