Поскольку управляемые компьютером автомобили и самолеты распространяются все больше, узнавать то, что еще неизвестно является важнейшей задачей для предотвращения происшествий, считают исследователи.
Беспилотные авто и самолеты больше не грезы о будущем. В одном лишь Сан-Франциско за август 2023 года общий пробег автономных такси, принадлежащих двум местным таксопаркам, превысил 12 миллионов километров. Кроме того, в США зарегистрировано более 850 тысяч автономных летательных аппаратов и дронов, не считая беспилотные системы военного назначения.
Однако все чаще возникают обоснованные опасения, связанные с безопасностью такого транспорта. Например, с июля 2021 года по май 2022 года Национальное управление безопасностью движения на трассах США сообщило приблизительно о 400 дорожно-транспортных происшествиях с участием автомобилей, оснащенных теми или иными функциями автономного управления. В результате этих аварий погибло 6 человек, а еще пять получили тяжелые травмы.
Как правило безопасность подобных систем подтверждается с помощью так называемых "испытаний истощением", которые проводятся до тех пор, пока не будет достигнут приемлемый уровень безопасности. Однако никогда нельзя с уверенностью сказать, что в процессе испытаний были выявлены все недостатки. "Специалисты тестируют систему до тех пор, пока у них не иссякнут ресурсы и терпение", объясняет Саян Митра, ученый-информатик из Университета Иллинойс в Урбане-Шампейне. Однако сами по себе испытания не могут дать никаких гарантий.
А вот Митра и его коллеги могут. Его команде удалось подтвердить безопасность функций автономных автомобилей по отслеживанию полосы движения, а также безопасность систем посадки для беспилотных летательных аппаратов. Сегодня предложенная ими стратегия помогает приземлять дроны на авианосцы, и в этом году авиастроительная корпорация Boeing планирует протестировать ее на экспериментальном летательном аппарате. "Данный метод, способный гарантировать безопасность на всех этапах, крайне важен", подчеркивает Корина Пэсэряну, научный сотрудник из Университета Карнеги – Меллона и Научно-исследовательского центра им. Эймса при НАСА.
Предлагаемая стратегия способна гарантировать правильность результатов вычислений, проведенных с помощью алгоритмов машинного обучения, которые используются автономным транспортом в качестве источника данных.
Если говорить в общем, многие автономные транспортные системы включают два компонента – систему восприятия и систему управления. Система восприятия сообщает, например, насколько сильно машина сместилась от центра полосы, или по какому курсу летит самолет и каков его угол наклона относительно горизонта. Эта система направляет необработанные данные с камер и других сенсорных инструментов в алгоритмы машинного обучения, основанные на нейронных сетях, которые воспроизводят окружение вокруг транспортного средства.
После этого результаты оценки окружения направляются в отдельную систему – модуль управления, который решает, что нужно сделать. К примеру, если на пути есть препятствие, то модуль выбирает, задействовать ли тормоза или обрулить его. Как отмечает Лука Карлоне, доцент из Массачусетского технологического института (MIT), хотя модуль управления полагается на зарекомендовавшую себя технологию, он принимает решения на основе результатов, полученных от системы восприятия, и нет никаких гарантий, что эти результаты являются правильными.
Чтобы дать эти гарантии команда Митры изучила пути, с помощью которых можно было бы обеспечить надежность работы системы восприятия транспортного средства. Сперва исследователи предположили, что гарантировать безопасность будет возможно при детальном и точном воспроизведении окружающего мира. Затем они оценили количество ошибок, которые допускает система восприятия при отрисовке пространства вокруг себя.
Основной задачей в данной стратегии является количественная оценка присутствующих неопределенностей, так называемого интервала погрешностей, или, как говорит Митра "известных неизвестных". Расчет основывается на том, что его команда называет "контрактом на восприятие". В контексте разработки программного обеспечения под контрактом понимается обязательство о том, что при конкретном наборе входных данных компьютерная программа выдаст выходные данные, которые находятся в границах определенного интервала. Определить этот интервал крайне сложно, поэтому необходимо учитывать, насколько точны сенсоры автомобиля, насколько сильный туман, дождь или солнечный свет может вынести дрон… Но если транспортное средство все же может функционировать в границах заданного интервала неопределенности, и если этот интервал был определен достаточно точно, то, по мнению команды Митры, его безопасность можно гарантировать.
Саян Митра, ученый-информатик из Университета Иллинойс в Урбане-Шампейне, помог разработать системный подход для подтверждения безопасности автономных транспортных систем.
Многие в своей жизни сталкивались с ситуацией, когда спидометр автомобиля показывает неверную скорость движения. Если вы знаете, что он никогда не ошибается более чем на 10 километров в час, то вы по-прежнему можете избежать штрафа за превышение скорости, просто сохраняя скорость на 10 км/ч ниже максимально допустимой. Контракт на восприятие предлагает аналогичную гарантию безопасности для несовершенной системы, работа которой построена на машинном обучении.
"Вам не требуется совершенное восприятие", поясняет Карлоне. "Вам просто нужно, чтобы восприятие окружающего мира системой находилось на таком уровне, который не ставит безопасность под угрозу". По его словам, наиболее ценный вклад группы исследователей заключается во внедрении самой концепции "контракта на восприятие" и в выработке методов для формулирования такого контракта. Им удалось добиться этого полагаясь на методики формальной верификации – одного из направлений информатики, изучающего математические методы подтверждения соответствия систем конкретному ряду требований.
"Даже если мы не обладаем исчерпывающими знаниями о том, как та или иная нейронная сеть делает то, что она делает, мы все же можем математически подтвердить, что уровень погрешности результатов работы этой сети не будет выходить за определенные границы. Если это так, то система является безопасной. На основании такой оценки мы можем дать статистическую гарантию того, будет ли конкретная нейронная сеть соблюдать заданные границы и в какой степени", добавил Митра.
В настоящее время аэрокосмическая компания Sierra Nevada проводит испытание этих гарантий безопасности при посадке дронов на авианосец. Этот вопрос в некоторой степени сложнее, чем в случае с управлением автомобилями, поскольку при полетах задействовано дополнительное измерение. "Во время посадки есть две основные задачи: выровнять самолет относительно взлетно-посадочной полосы и убедиться, что на ней нет препятствий. В рамках нашей работы с Саяном мы стремимся получить гарантии по обеим этим задачам", рассказывает Драгош Маргинеанту, главный технолог по искусственному интеллекту корпорации Boeing.
"Симуляции, проведенные с использованием алгоритма Саяна, демонстрируют, что процесс выравнивания самолета перед посадкой улучшился", добавил он. "На следующем этапе, который пройдет позже в этом году, данные системы будут использоваться для выполнения реальной посадки экспериментального боинга. Одной из важнейших задач будет определение того, что нам неизвестно, то есть выявление неопределенностей в наших расчетах, а также анализ их влияния на безопасность. Большинство ошибок случается именно тогда, когда мы делаем вещи, которые, как нам кажется, знаем, как нужно делать, однако в итоге оказывается, что мы этого не знаем".
