AI 钓鱼：语言流畅不代表可信
生成式 AI 可以帮助犯罪者用多种语言撰写有说服力、拼写错误更少的信息。请求的内容比文字是否精致更重要：意外附件、收款信息变更和催促行动仍需审查。检查发件人和目标地址，同时独立核实对方要求执行的操作。
进一步阅读: FBI / IC3工作场景示例
一封看似来自熟悉供应商的邮件通知更换银行账户，并要求当天完成付款。
更安全的应对方式
暂停付款。通过已留存的可信联系人确认变更，遵循正常审批流程，并报告可疑信息。
深度伪造：核实请求，不能只听声音
熟悉的声音或逼真的视频不足以证明身份。语音克隆可能被用于身份冒充，包括听起来像经理打来的电话。不要把识别合成媒体中每一个技术瑕疵的责任交给员工，而应提供可靠的核实流程。
进一步阅读: FTC工作场景示例
来电声音像是主管，对方要求紧急转账，并强调必须保密。
更安全的应对方式
结束通话，通过已知号码或公司既定渠道联系本人。即使请求看似来自管理层，也要保留付款审批步骤。
安全使用生成式 AI：保护输入，核实输出
AI 工具可能给出流畅但错误的回答。在用于工作之前，确认公司政策允许使用该工具，也允许处理拟输入的数据。工具获批并不意味着所有信息类别都适合输入。依赖输出之前，应核实重要陈述、计算结果、链接和生成的代码。
进一步阅读: NCSC工作场景示例
员工希望让 AI 助手总结一份客户支持导出文件，其中包含姓名和账户详情。
更安全的应对方式
先检查获批流程和数据规则，按要求移除敏感信息。如果允许的用途不明确，应在上传前询问指定的安全或数据负责人。
提示词注入：当内容试图发号施令
文档、网页或消息中隐藏的指令，可能试图让 AI 助手偏离原本任务。当助手可以访问其他工具或信息时，这种风险尤其值得重视。将检索到的材料视为不可信内容；AI 回答得很自信，并不构成共享数据或执行操作的授权。
进一步阅读: OWASP工作场景示例
助手在总结文档时，突然要求将内部文件发送到外部地址。
更安全的应对方式
不要批准意外操作。停止执行，保留相关信息，并按公司流程报告。培训还需要技术权限控制和人工审批作为配套措施。
建议采用的培训流程
在可控且经过人工审核的学习流程中使用 AI 辅助。以下是培训方案设计建议，并非每个服务套餐所包含的功能清单。
明确行为目标
选择可以观察的目标，例如独立确认银行账户变更。
起草并审核
如果由 AI 协助编写场景，应由合格审核人员检查准确性、语气、隐私和相关性，并使用虚构数据。
安全练习
开展经授权的演练，解释更安全的应对方式，提供明确的报告渠道。绝不要求真实密码。
学习并调整
回顾结果，讨论难以判断的情况，并用不同示例巩固同一项技能。
按岗位设置重点
财务与采购
通过已知渠道核实收款人变更和付款请求。
人力资源
保护候选人和员工信息，核查可能存在身份冒充的指令。
IT 与所有 AI 用户
检查工具权限、敏感输入和助手提出的意外请求。
结合背景衡量学习效果
比较难度和参与群体相近的演练。点击率降低本身不能证明风险下降，AI 生成的分数也不能确定员工意图或预测某一次具体事件。
- 报告率：员工是否提出疑虑？
- 报告时间：团队能够多快作出响应？
- 核实行为：学习者是否使用了预期渠道？
- 反复出现的盲点：哪些判断需要进一步讲解或练习？
AI 安全意识常见问题
AI 安全意识能取代基础安全培训吗？
不能。它扩展了钓鱼识别、数据保护和报告习惯。强密码、多因素身份验证以及既定审批流程仍然是基础。
员工能学会识别所有深度伪造内容吗？
任何培训都无法保证这一点。应教授独立身份核实和一致的审批流程，让应对方式不依赖于发现画面或声音瑕疵。
公开演示使用实时 AI 吗？
公开演示使用示例数据和模拟 AI，不会发送真实消息或连接生产系统。选择套餐前，请与团队讨论当前服务能力及您的需求。