当前人工智能AI技术已经被逐渐应用到安全功能中，因此AI技术面临着很多挑战。

01 将AI集成在故障容错的架构中

拥有一个良好而强大的AI架构，可以改善如可靠性和质量等。

● 在< ISO/IEC TR 5469 Artificial intelligence – Functional safety and AI systems>中提出一种架构模式：

◎ AI or ML Components – AI组件冗余可以考虑输出投票或聚合等；

◎ Supervisor Components - 使用具有约束或限制的监督组件确定安全子集（先验的或在线的）；

◎ Backup decision System - 备份决策系统可以采用非AI技术设计，用来进行故障安全Failsafe的动作，如断电等。

针对AI模型的冗余，可以包括模型的多样性和早期的融合，这样就不需要再完整模型上进行后期融合。

● 微调一下ISO 5469的架构：

● 与故障容错相结合，更为详细的架构可以是：

◎ AI Monitoring – AI监控，non-AI/AI；

◎ Supervisory Component – 监督组件，non-AI；

◎ Backup safety System – 备份安全系统，non-AI。

02 在汽车的AI软件要素中，冗余多样性的安全措施

由于AI模型压倒性的性能优势，使得用非AI模型对AI模型进行补充和监控都意义不大。那么，对AI模型进行监控的安全机制该如何设计呢？

一方面扩展AI模型的泛化能力仍然是业界研究的主题，但是AI模型也面临着挑战，就是AI模型的过度自信。

AI模型在固有不确定性很大的情况下，依然能产生高确定性的预测，即一个过度自信的AI模型会高估自己的准确性和可靠性。尤其是在泛化的时候，很容易得到一个过度自信的AI模型表示。

在自动驾驶中应用过度自信的感知模型，可能会对道路上的物体进行不准确的分类，错误地预测物体的检测以及随后操作的决策等。

在自动驾驶的相关事故中，有的案例是其训练数据与现实世界的复杂性是有一定偏离，导致车辆的自动驾驶错误计算或完全忽略；有的案例中AI系统忽视或误解不可预见的输入敏感性，导致误解数据，错过关键信息等。

借用ISO 26262中的概念，安全机制通常是实时运行的措施，安全措施可以是运行时或设计时的措施。安全机制是安全措施的子集。

相关的安全措施和一些缓解技术，比如：

● 分布外检测（OOD，Out-of-distribution detection）

Softmax激活函数、温度缩放，马氏距离等本身不能用于冗余的安全机制。隔离森林IF（Isolation Forest）、局部异常因子LOF（Local Outlier Factor）在运行时提供了指示数据是否属于OOD。

● 不确定性估计（Uncertainty Estimation）

蒙特卡罗丢弃、深度融合、贝叶斯神经网络等方法，可以降低随机不确定性。

● 分布内检测（ID，In-distribution Detection）

ID数据与OOD数据相反，但ID数据仍然可能导致错误，例如误检测、误分类。因为数据可能朝向边缘或在训练期间未被充分表示。

● 分布偏移检测（Distribution Shift Detection）

分布偏移检测通常涉及识别推理时的数据分布与训练数据分布存在显著差异。常见的方法是使用统计距离度量，比如散度。

● 对抗扰动检测（Adversarial Perturbation Detection）

对抗扰动检测是AI系统中至关重要的防御机制，确保AI模型在对抗性攻击时保持完整性和性能的一致性。这些攻击的特点是不易察觉的输入操作，旨在诱导模型错误。

03 基于投票机制的多样性冗余安全

采用多样性错误检测方法、不确定性估计方法等多样性的冗余方法，然后进行特定的后处理，以创建复合安全措施，通过采用多表决机制，将这些方法综合起来，以加强决策。

● 基于投票机制的多样性冗余安全的总体框图：

在AI要素的中间层，用作基于IF和LOF检测的输入，其它输入来自拒绝类。