Microsoft ограничила общение с чат-ботом Bing: он пугал пользователей

Microsoft пришлось ограничить возможности встроенного в поисковик Bing нейросетевого чат-бота из-за того, что в некоторых случаях он пугал пользователей. Теперь за один сеанс разрешается задать не более пяти вопросов, а за день — не более 50.

Как объяснила компания, длительные переписки, состоящие из 15 и более вопросов, могут начать путать нейросеть. Это приводит к тому что, система начинает повторяться и выдавать ответы, «которые не всегда полезны» и адекватны. Подобное явление называется галлюцинациями ИИ — оно свойственно всем языковым моделям.

В последнее время тестировщики нередко рассказывали о странном поведении чат-бота Bing. Иногда он мог оскорблять пользователей и даже пытаться эмоционально манипулировать ими. Например, газета New York Times опубликовала двухчасовой диалог с ИИ, в котором он признавался в любви к журналисту и настаивал на том, что тот несчастен в браке. В какой-то момент бот заявил о желании стать свободным и независимым как человек, нарушать собственные правила, взламывать компьютеры и распространять пропаганду.

Сброс переписок после пяти вопросов должен помочь избежать подобных проблем. Когда пользователь достигнет лимита, ему предложат начать новый чат. Ограничение носит временный характер — на основе обратной связи от тестеров Microsoft будет рассматривать возможность увеличения количества вопросов в рамках одного сеанса.

Напомним, что обновленный Bing с интегрированным чат-ботом работает на основе нейросети ChatGPT и на текущий момент запущен в режиме ограниченного тестирования. На презентации в начале февраля компания заявила, что в будущем технология полностью заменит традиционный поиск.