Модель ИИ отправила ложный совет о нераскрытом убийстве

На прошлой неделе представители Anthropic встретились с представителями полицейского управления в Филадельфии. Причиной встречи стало то, что одна из моделей ИИ компании в июле отправила ложный совет о нераскрытом убийстве в американском городе. Совет был отправлен через форму на сайте, посвященном нераскрытым убийствам, но, к счастью, попал в спам.

Событие было обнаружено только 28 сентября, и лишь 7 октября полиция была проинформирована о ситуации. Полицейское управление заявило, что компании необходимо усилить свои меры безопасности, чтобы предотвратить подобные инциденты в будущем.