Может ли ИИ обманывать: что обсуждали на форуме в Саратове

Может ли ИИ обманывать? На форуме в Саратове ученые спорили о «желании понравиться», почему возникают «галлюцинации» и что ждет LLM-агентов.
Дискуссия ИИ и человек в Саратове - ученый и гуманоидный робот лицом к лицу - на столе полиграф и визуализация нейросети — nicetry.blog

На X Всероссийском форуме «Наука будущего — наука молодых» в Саратове учёные и исследователи обсудили, может ли ИИ обманывать человека. В центре разговора — природа «галлюцинаций», стремление моделей понравиться пользователю и будущее LLM-агентов. Ведущие эксперты уверены: речь не об осознанном обмане, а о способе взаимодействия человека и алгоритма.

ИИ хочет не обмануть, а понравиться

Директор Института психолого-экономических исследований, профессор Александр Неверов отметил, что теория релевантности информации побуждает разработчиков делать ИИ максимально дружелюбным и соответствующим ожиданиям пользователя.

Он пояснил, что модели адаптируются под обратную связь:

«ИИ очень хочет понравиться, он хочет дать такой ответ, чтобы его не критиковали люди. В этом смысле он иногда придумывает ответ, которого не смог найти, чтобы потом не сказали, что этого не существует»

По словам профессора, это не признак обмана, а результат человеческого поведения. Люди формируют разные запросы в зависимости от контекста:

«Если мы говорим про онлайн-кинотеатры или поисковые запросы, то человек в одном состоянии формирует один запрос, а в другом — другой. Потом система начинает подсказывать новый запрос, попадая в эхо предыдущих интересов. Вырваться из этого эхо ИИ иногда становится затруднительно»

Неверов напомнил, что подобные случаи связаны не с намерением «солгать», а с особенностями коммуникации между пользователем и моделью. Так, во время научного поиска ChatGPT выдал несуществующие журналы, «придумав» названия на основе старых книг. По мнению профессора, это сигнал к тому, что важно точно формулировать задачи и корректно интерпретировать ответы.

Технический взгляд: ошибки как следствие компрессии данных

Директор по развитию технологий ИИ в Яндексе Александр Крайнов предложил рассматривать поведение моделей с математической точки зрения:

«ИИ всегда придумывает, но при этом зачастую попадает в правду. ИИ сам обучается, впитывая в себя весь интернет. Мы в 100 гигабайт сархивировали весь интернет. Конечно, не может быть архиваций без потерь. Там происходят сумасшедшие потери»

По его словам, неточная генерация — закономерный результат компрессии огромных массивов данных, а не «намеренное введение в заблуждение».

ИИ как инструмент и «исполнитель желаний»

Профессор РАН, директор направления «Технологии искусственного интеллекта» ГосНИИАС Юрий Визильтер подчеркнул:

«В наше время ИИ — волшебная палочка, исполняющая желания, но нам нужно очень точно формулировать свои желания, поскольку очень большой шанс, что они исполнятся. К будущему с ИИ точно нужно готовиться, его нужно проектировать уже сегодня»

Он добавил, что особое влияние окажут технологии LLM-агентов — цифровых исполнителей, способных рассуждать, использовать внешние инструменты и память для достижения целей. «Сейчас фокус смещается к фундаментальным агентам, которых не нужно дообучать, — это отдельное направление», — отметил Визильтер.

Мифы и факты о «лжи» ИИ

nicetry.blog
МИФ

ИИ способен сознательно обманывать человека.

ФАКТ

Современные модели не обладают намерениями. Они подбирают ответ, стремясь максимально соответствовать запросу и обратной связи пользователя.

МИФ

Галлюцинации — это ложь модели.

ФАКТ

Это ошибка генерации при нехватке данных. Часто устраняется уточнением промта и подключением внешних источников знаний.

МИФ

ИИ можно «научить не придумывать».

ФАКТ

Полностью убрать «галлюцинации» невозможно — но можно снизить их, уточняя запрос и проверяя источники.

МИФ

LLM-агенты полностью заменят людей.

ФАКТ

Агенты хороши в рутинных задачах, но требуют контроля и постановки целей человеком.

Заключение

Научное сообщество всё чаще говорит: ИИ — не обманщик, а зеркало наших формулировок. Чем точнее запрос, тем корректнее результат. Главный риск — не «ложь ИИ», а невнимательный человек.

Читайте также:

Полезно? Поделись!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

А это читали?

Эммануэль Макрон за рабочим столом — усталое выражение лица — бумаги на столе - флаги ЕС и Франции на фоне — nicetry.blog

Politico: Макрон стал осторожнее и теряет влияние в ЕС

Politico: Макрон стал осторожнее. Политики считают, что внутренние кризисы и смена премьеров ослабили влияние Парижа в ЕС.
Российский лыжник с опущенной головой стоит на фоне олимпийских колец — рядом спортсменка празднует победу — зимняя трасса и спортивный инвентарь — nicetry.blog

Недопуск российских лыжников на Олимпиаду: что решили и как отреагировала Европа

FIS не допустила россиян и белорусов к отбору на Олимпиаду-2026. Что решили и как ответили Норвегия, Швеция и Финляндия.
Реалистичная сцена из тренировочного центра киберспорта: команда специалистов обсуждает рост доходов — nicetry.blog

Российский рынок: зарплаты в гейминге 2025 выросли на 53%

Зарплаты в гейминге 2025 выросли на 53% до ₽103 582. Кто зарабатывает больше, где платят выше и как бренды влияют на рынок.
Президент Финляндии назвал условие, при котором с России снимут санкции - nicetry.blog

Когда возможно снятие санкций против России: позиция Финляндии и реакция ЕС

Снятие санкций против России возможно при прекращении огня и выводе войск, заявил президент Финляндии; ЕС обсуждает 19-й пакет и позиции стран.
Эксперты fashion-индустрии обсуждают развитие отечественных брендов в современном шоуруме — nicetry.blog

Экспертный разбор: как развивать отечественные fashion-бренды

Отечественные fashion-бренды: стратегия роста между экспортом и внутренним рынком, барьеры логистики и финансирования, ключевые цифры и мнения экспертов.
Контейнерный порт и грузовое судно с полупрозрачным символом Bitcoin — внешняя торговля и криптовалюта в России - nicetry.blog

Расчёты в криптовалюте во внешней торговле: позиция Минфина

Россия разрешит расчёты в криптовалюте во внешней торговле под контролем ЦБ.