Ученые из Вашингтонского университета установили, насколько легко вызвать неадекватную реакцию машин с автопилотом. Исследователи смогли запутать системы беспилотников с помощью искаженных дорожных знаков.
Для эксперимента потребовалось лишь несколько знаков и цветные стикеры. Ученые решили выяснить, насколько страшны для автопилота слегка видоизмененные картинки, поскольку увиденное через камеры во многом определяет поведение автопилота. Оказалось, что искаженные наклейками знаки почти во всех случаях спровоцировали неожиданные реакции системы.
Например, в случае со знаком «Stop» исследователи наклеили несколько небольших прямоугольных стикеров, не перекрывающих основное изображение. Однако автопилот воспринял такой знак как ограничение скорости. В другом эксперименте ученые нанесли на этот же знак две небольшие надписи сверху и снизу от слова «stop», а в еще одном — сымитировали слегка потемневшую картинку. В этих случаях система тоже распознавала увиденное как ограничение скорости.
Кроме того, специалисты попробовали изменить знак «Движение только направо». Из-за серых стикеров, наклеенных на поверхность стрелки, автопилот воспринял знак как «Stop».
В докладе ученых говорится, что эти и другие эксперименты показывают, насколько опасно может повести себя беспилотная машина из-за незначительных вещей. И то, насколько легко можно повлиять на автопилот при помощи элементарных средств.
При этом исследователи не испытывали автопилот от какого-то конкретного производителя — это были типовые алгоритмы для подобных систем.