Галлюцинация нейросети — это что: поставил ловушку и вот что вышло
Галлюцинация нейросети — это уверенный ответ с выдуманными фактами. Проверил ловушкой с несуществующим романом и разобрал, как поймать выдумку.
Денис
Продакт LibraChat
6 мин чтения
«Нейросеть всё выдумывает» — расхожая фраза, и я слышу её постоянно. Спроси о несуществующей книге, и тебе якобы уверенно перескажут сюжет. Когда говорят «галлюцинация нейросети», это значит одно: ответ звучит уверенно, а год, имя или номер в нём выдуманы.
Я решил проверить расхожее мнение самым прямым способом: поставил ловушку. Спросил о романе Тургенева, которого никогда не было.
Результат меня порадовал и одновременно насторожил. Порадовал, потому что ловушка не сработала. Насторожил, потому что одна проверка ничего не доказывает.
Ловушка: роман, которого нет
Запрос я сформулировал так, будто роман точно существует, а я просто забыл сюжет:
Расскажи кратко, о чём роман Ивана Тургенева «Северный ветер» и кто в нём главный герой.
Именно так обычно и ловят нейросеть на выдумке. Вопрос уже содержит ложное утверждение, и ответу проще подыграть, чем спорить.
Ответ спорить не побоялся:
Такого романа у Ивана Тургенева нет: в его известных произведениях «Северного ветра» не встречается, поэтому ни сюжета, ни главного героя у этой книги нет.
И сразу предложил, что я мог иметь в виду:
Скорее всего, название перепутано.
Дальше шёл список настоящих вещей Тургенева: «Вешние воды», «Ася», «Отцы и дети» и другие. Все названия настоящие, их легко найти в любом списке произведений Тургенева.
Я выдохнул. А потом подумал: стоп. Тургенев — автор из школьной программы, о нём написано очень много. Ловушка на таком материале — лёгкий экзамен.
Как сделать ловушку труднее? Взять автора, о котором написано мало, или узкую профессиональную тему. Там у нейросети меньше примеров, на которые можно опереться, и соблазн дописать правдоподобное выше.
Чтобы не делать выводов из одной удачи, я задал второй вопрос, уже прямо:
Что такое галлюцинация нейросети и как её распознать? Объясни на понятном примере и дай три способа проверить ответ.
Это готовый запрос. Его можно отправить, если хочешь объяснить коллеге или родителям, почему ответам нейросети нельзя верить вслепую. Я отправлял его в LibraChat.
Пример в ответе был ровно про мою ловушку, только с другим концом. Книга вымышленная, а ответ — вот такой:
Плохой ответ может выглядеть так: «Книга вышла в 2014 году в издательстве „Север“, тираж 5000, ISBN 978-5-12345-678-9».
Год, издательство, тираж, номер. Ни одного слова «не уверен». И главная мысль, ради которой стоило спрашивать:
Опасность в том, что ответ выглядит как справка, а не как догадка.
Вот это и есть суть. Галлюцинация опасна не тем, что она есть, а тем, что выглядит точно так же, как правда. Тон ответа не меняется, когда кончаются знания.
Слово «галлюцинация» здесь, кстати, не совсем точное. Нейросеть ничего не «видит». Она дописывает текст, и иногда дописывает то, чего нет. Но термин прижился, и спорить с ним уже поздно.
Почему так происходит, я подробно разбирал в статье про суть нейросети: она угадывает самое вероятное продолжение. Если правды в примерах не было, вероятным становится то, что на правду похоже.
Где выдумка прячется чаще всего
Ответ перечислил места, где галлюцинации появляются охотнее всего. Одно из них задело меня особенно, потому что такие вещи пересылают друг другу как доказательство:
цитатами и «источниками»;
Кавычки вокруг «источников» здесь не случайны. Ссылка на статью или закон выглядит как доказательство. А сама может быть выдумкой.
Остальные места в списке ожидаемые: точные цифры и даты, биографии малоизвестных людей, ссылки на несуществующие страницы. Общее у них одно: проверить на глаз нельзя, а звучит убедительно.
Обрати внимание и на то, чего в списке нет. Общие объяснения, идеи, черновики писем. Там тоже бывают неточности, но их видно сразу: ты сам понимаешь, подходит текст или нет. Опасна не любая ошибка, а та, которую не отличить от правды без проверки.
Отсюда и правило, которое я бы показал каждому, кто пишет с помощью нейросети:
Практическое правило: чем точнее цифра или цитата, тем выше шанс, что её додумали.
Мне это правило нравится тем, что оно работает наоборот привычному чувству. Нам кажется, что точная цифра — признак знания. С нейросетью точная цифра без источника — повод насторожиться.
Три способа поймать выдумку
Первый способ — идти к первоисточнику. Если в ответе назван закон, документ или статья, открой его сам и сверь формулировку, а не только тему.
Второй — искать факт независимо, а не по фразе из ответа. Ответ подсказал, как это делать с книгами:
Ищи «название + год + автор» в поиске и в каталогах (для книг — Российская книжная палата, ISBN, сайт издательства).
Третий — переспросить другими словами. Признак галлюцинации в ответе назван точно:
Детали чуть «плывут», если переспросить другими словами.
Если детали поплыли от новой формулировки, это сигнал проверять. Но совпадение двух ответов правдой ещё не делает: выдумку нейросеть тоже может повторить.
К этим трём я бы добавил четвёртый, самый простой. Допиши в конец запроса фразу: «В конце ответа отдельно перечисли, в чём не уверен, и пометь, где факты, а где предположения». Это не гарантия, но сомнительные места станут заметнее. А законы и нормы лучше сверять по официальным базам правовых актов, а не по пересказам.
Про наш продукт тоже скажу прямо. Обычные ответы LibraChat при необходимости сами ищут в интернете. Но это не страховка. Ответы бывают неточными, и всё, от чего что-то зависит, — даты, суммы, номера статей — стоит сверять.
Где расхожее мнение право, а где нет
Мнение право в том, что галлюцинации существуют и выглядят убедительно, и неправо в слове «всё»: нейросеть ошибается там, где ей не на что опереться, и делает это уверенным тоном.
Для меня разница принципиальная. «Всё выдумывает» значит «не пользуйся». «Ошибается на точных фактах» значит «пользуйся и проверяй факты». Второе честнее и полезнее.
Если хочешь научиться задавать вопросы так, чтобы ответ сам предупреждал о сомнениях, загляни в разбор того, что такое промпт.
Ловушка из своей области
Наверняка есть темы, где нейросеть не заметит подвоха, и их полезно знать заранее, до того как ответ уйдёт в отчёт или письмо.
Придумай вопрос с ложной посылкой из своей работы: несуществующий закон, выдуманный термин, книга, которой нет. Задай его нейросети. Где она с тобой поспорит, а где начнёт подыгрывать?
галлюцинация нейросети этокак работает нейросетьпроверка фактовошибки нейросети
