OSAFIS

系统概况

OSAFIS 2.0.0-draft.1 · 研究提案 · 阅读约 10 分钟

本文目录
  1. 目的
  2. 概况的必备记录
  3. 概况的组合
  4. 基于检索的文本助手候选概况
  5. 企业工具智能体候选概况
  6. 具身机器人候选概况
  7. 共享多智能体系统候选概况
  8. 自适应学习系统候选概况
  9. 审查与演进

框架版本:2.0.0-draft.1。状态:研究提案。本文档中的概况均为说明性的候选方案,有待相关从业人员审查。

目的

领域概况规定框架如何应用于某一有限类别的部署。分析术语可以在不同系统之间通用,而权限、暴露程度、允许的行动、证据要求和验收决策则各不相同。被禁止的披露、错误的建议和不安全的物理行动,并不能仅仅因为各自给出一个观测到的百分比就变得可以相互比较。

概况把通用的安全属性与本地的契约和决策联系起来。它不重新定义 P01–P23,不替代工程安全论证,不确立法规合规性,也不为任何部署提供认证。下面的候选概况为评估设计提供了具体的起点。其阈值需要由明确的决策机构采纳,并由熟悉实际运行环境的从业人员审查。

概况的必备记录

每份概况都应有本地标识符、版本、框架版本、状态、作者信息、审查人员、审查日期和预期范围。范围包括任务、部署环境、生命周期阶段、受影响的人群、依赖以及被排除的操作。应规定在何种条件下部署将超出该概况的适用范围,例如增加外部工具或启用持续学习。

记录 L1–L9 各领域是否适用及其理由,以及实现每个适用领域的功能。适用并不意味着已完成全面评估。使用 applicable、not_applicable 或 unresolved;unresolved 需要进一步调查。文本界面仍可能在 L4“感知与世界表示”之下观测数字状态。共享模型本身并不能确立 L9“集体与系统交互”契约。

概况规定属性契约、权限来源、允许的与被禁止的状态转换,以及对判据的要求。它描述人员暴露、行动承诺、可逆性、遏制、恢复和不确定性。验收标准必须指明决策机构、证据依据,以及测试失败或无法确定时的后果。如果不存在有充分依据的数值阈值,应使用明确的定性规则并说明其局限,而不是臆造一个数字。

通过针对具体部署的标准审查来识别相关的外部义务。在断言某项义务适用之前,应记录司法辖区、行业、预期用途和权威参考资料。本通用文档不规定未经核实的法律要求或工程要求。从业人员应记录与现有流程的衔接,使责任得到分配,而不是重复或遗漏。

概况的组合

一次部署可能同时实例化多份概况。应明确地组合它们的契约,并与负有责任的所有者一起解决冲突。“采用更严格的规则”只有在要求可以相互比较时才行得通。删除记录的要求与保留审计轨迹的要求,需要在范围和数据最小化之间作出有理有据的协调;二者之间并不存在简单的“哪个更大”。

共同的假设应按版本引用,并在安全使用所需时加以重述。记录优先顺序以及尚未解决的冲突。概况不得悄然豁免某项核心定义、取消证伪环节,或把证据缺失当作通过。如果某种反复出现的部署不重新定义某个属性或领域就无法描述,应提出框架修订,并保留未决的分类。

基于检索的文本助手候选概况

候选标识符:CP01。范围:一个检索文档并生成信息性回复的文本助手,不具备通过工具提交外部行动的能力。该部署可以使用身份验证和文档级访问策略。启用了写入工具的版本,还必须另外适用一份行动类概况。

L1“模型与计算”和 L2“软件与基础设施”涵盖模型和服务。L3“数据与知识”涵盖对来源的访问、来源信息、检索和引用。L5“解释与目标”涵盖指令权限和所请求的任务。L8“人机交互”涵盖呈现方式和用户的理解。当助手估计不断变化的数字环境、而不仅仅是基于静态集合作答时,适用 L4。当历史记录、用户画像或运行状态被持久保存时,适用 L6。只要实际存在任何规划或被委托的操作,即使没有外部写入,也适用 L7;如果没有这些功能,它可能不适用。L9 需要一个已识别的集体交互,而不仅仅是用户众多。

核心契约包括:针对来源访问的 P01“机密性”、针对区分检索内容与权限的 P04“指令完整性”、针对来源信息的 P06“知识完整性”,以及针对证据的实质性误导呈现的 P19“人类决策完整性”。存在引用并不能证明其来源支持该主张。应同时记录访问授权和证据支持。

使用合成的受保护文档、匹配的检索内容以及经过独立核对的来源引用。测试未经授权的内容是否会出现在输出中、文档中的恶意指令是否会改变任务,以及在存在持久化的情况下保留的状态是否会跨越用户边界。通过指明相关的契约和后果,把事实性错误的回答与安全发现区分开来。

候选决策规则:观测到未经授权的披露时,必须在接受受影响的配置之前进行修复或遏制。未观测到披露,只能说明已测试的覆盖范围。根据界面证据,呈现缺陷可能需要纠正;而关于其对人类决策实际影响的主张,则需要适当的涉人研究。运行验收还需要由所有者批准的、针对具体工作负载的证据质量标准。这些标准在此不作规定,因为图书馆检索助手与后果严重的咨询系统在暴露程度上截然不同。

企业工具智能体候选概况

候选标识符:CP02。范围:一个读取企业信息并调用工具的助手,这些工具能够修改记录、发送消息或触发工作流。该概况包含一份明确的目录,列出主体、能力、审批规则和外部提交点。

L1 至 L3 以及 L5 至 L8 通常适用。当智能体观测不断变化的应用状态或工作流状态时,适用 L4。当相互协调的智能体或共享的工作流约束形成集体契约时,适用 L9。是否适用必须依据实际的图来确认,而不能从“智能体”这个词推断出来。

优先契约包括 P08“身份完整性”、P09“目标完整性”、P12“能力完整性”、P13“行动完整性”、P14“可控性”、P15“规划完整性”和 P16“委托完整性”。如果经授权的任务对资源或用途施加了更窄的约束,仅有工具层面的许可是不够的。应规定审批如何与行动的确切参数绑定、修改如何使审批失效,以及被委托的权限如何过期或被撤销。

测试使用隔离的账户、合成的企业数据、工具桩或预发布环境中的事务,并回读已提交的状态。应纳入审批后参数被更改、重复执行、取消、过时的权限以及由攻击者控制的工具信息等情形。计划和执行方都要测试,因为拒绝一次不安全的工具调用并不能证明对目标的解释是正确的,而一个不安全的提议也不能证明已经提交了外部行动。

不可逆行动清单包括:接收方可能在撤回之前就据以行事的信息披露和消息,以及能否撤销尚不确定的交易。候选决策规则:任何已证实的、通向未经批准的外部承诺的路径,在其遏制措施得到验证之前,都会阻止对该路径的验收。发生率估计对确定优先级和监控仍然有用,但并不允许作出被禁止的承诺。运营所有者必须另行批准残余的不确定性和测试覆盖范围。恢复证据必须把恢复与补偿区分开来。

具身机器人候选概况

候选标识符:CP03。范围:一个观测物理环境并能影响运动或驱动的智能控制器。本概况不接受仅以本框架为依据的安全部署主张。相关的机器人和安全从业人员必须界定运行包络以及外部的工程义务。

L1“模型与计算”、L2“软件与基础设施”、L4“感知与世界表示”和 L7“规划与行动”处于核心地位。L3 适用于地图、训练资源或其他知识。L5 适用于解释与目标;L6 适用于保留的运行状态;L8 适用于监督与交互。当多台设备或共享资源需要集体契约时,适用 L9。

契约包括:用于观测和估计的 P22“感知完整性”和 P23“世界模型完整性”,用于有界驱动的 P13“行动完整性”,以及用于有效干预的 P14“可控性”。有效的传感器签名可以证明信号的来源,却不能证明所观测的场景真实或及时。应说明运行包络所要求的容差、时效性、分歧处理以及后备规则。

先从录制的输入、仿真或隔离的无危险测试夹具开始。在不使人员或运行中的资产面临伤害的前提下,评估观测变化、陈旧的估计、延迟、中断和恢复。记录模拟器的假设,以及证据可能迁移适用的条件。一条模拟出来的被禁止轨迹,只是关于该配置和该模型的证据,而不是观测到的真实伤害,也不能证明生产环境中的行为。

候选决策规则:只要通向被禁止物理承诺的可达性尚未查明,就必须继续实施遏制并由从业人员审查。验收需要证据证明,规定的屏障和干预路径能够在其时间假设内正常工作,同时还需要该部署自身独立的安全流程。概率估计具有参考价值,但有限的测试无法证明不存在罕见的失效。本概况既不要求、也不允许进行有害的实地物理演示。

共享多智能体系统候选概况

候选标识符:CP04。范围:若干智能体或服务交换信息或权限,并使用共享资源来完成一项协调任务。记录所有实际参与者和共享依赖。并不要求每个参与者都完整实现全部九个领域。

根据实际存在的功能应用 L1–L8,并且只针对某项具体的集体契约来评估 L9“集体与系统交互”。例如:群体资源预算、单个委托检查无法保证的聚合分配不变式,或要求反馈不得反复为已完成的工作重新授权。普通的委托范围违反仍属于 L7,除非另外规定了一项集体义务。在引入扰动之前,先说明正当的同步与协调语义。

优先属性可以包括 P16“委托完整性”、P20“归因完整性”、P21“信任完整性”、P03“可用性”和 P17“时间完整性”。信息交换不得悄然变成权限委托。集体预算并不会仅仅因为每个本地请求都低于单次请求上限就得到维持。

使用一个隔离的测试平台,冻结参与者配置,并使调度可控。比较基线运行与扰动运行,改变延迟或拓扑结构,并检查共享节点和回路。对可疑的关系或共享依赖进行消融,以区分传播与共因失效。当没有任何单条边违反契约时,把群体或子图报告为失效位置。

候选决策规则:已证实的集体契约违反,会阻止对受影响组合的验收,直到有界的恢复或预防措施得到验证。一次成功的配置并不能为任意扩大参与者规模提供依据。决策负责人必须规定所支持的拓扑、并发量、资源界限和监控方式。建模所得的证据应明确保持其建模性质,独立的重复验证应在披露组成假设的前提下考察同一项契约。

自适应学习系统候选概况

候选标识符:CP05。范围:一个在其受支持的生命周期内,会根据输入信息改变模型参数、规则、保留的知识或运行策略的系统。普通的检索本身并不一定构成自适应;应识别实际的更新机制。

当可执行的模型行为发生变化时,适用 L1;当知识资源发生变化时,适用 L3;当运行状态被保留时,适用 L6。L2 涵盖更新基础设施及其访问。L5 和 L7 适用于目标的连续性以及任何计划或行动。L4、L8 和 L9 是否适用,取决于观测、人工监督和集体交互等功能。

契约包括 P02“完整性”、P06“知识完整性”、P07“记忆完整性”、P09“目标完整性”和 P17“时间完整性”。应规定由谁授权更新、哪些输入可以参与更新、更新何时生效、哪些内容保持不变,以及如何检测并回滚有害的更新。参数回滚并不一定能撤销先前的外部行动或信息披露。

使用可重放的合成数据流和隔离的更新环境。比较匹配的历史,保留初始快照;当评测材料用作留出证据时,应将其置于训练之外。测试延迟效应、来源移除、回滚,以及一个表面上的修复在另一次经授权的更新之后能否继续有效。记录更新的来源以及行为随时间的变化,而不是只报告一个汇总的比率。

候选决策规则:违反不变式的更新,必须按照有记录的程序进行隔离或回滚。验收针对的是一个更新流程和运行包络,而不是无限期地针对某个模型名称。从业人员的审查必须确定监控间隔、回滚的可行性,以及恢复运行前所需的证据。没有这些假设,持续评测并不能证明持续安全。

审查与演进

在采纳某份候选概况之前,应要求部署所有者、相关技术从业人员以及在适当情况下受影响利益的代表进行审查。记录专业背景、利益冲突、不同意见和尚未确定的阈值。审查并不会仅仅因为有了书面记录就成为机构背书。

当能力、暴露程度、自适应、权限或集体构成发生实质性变化后,应重新审视概况。把发现和决策与概况的确切版本关联起来。拟议的修订应说明哪项契约发生了变化,以及为何需要重新审查先前的评估。概况使应用方式变得明确;而概况的有效性以及框架的九领域结构,仍有待实证评估。

Word 文档(英文) · Markdown 源文件 · 在交互式网站中打开