AI 安全意识 # AI 安全意识：每一步都作出更好的判断。 面向员工和培训负责人的实用指南。了解 AI 如何改变常见威胁、带来哪些新风险，以及工作中需要练习的安全习惯。 ## AI 钓鱼：语言流畅不代表可信 生成式 AI 可以帮助犯罪者用多种语言撰写有说服力、拼写错误更少的信息。请求的内容比文字是否精致更重要：意外附件、收款信息变更和催促行动仍需审查。检查发件人和目标地址，同时独立核实对方要求执行的操作。 [进一步阅读 : FBI / IC3](https://www.ic3.gov/PSA/2024/PSA241203) ### 工作场景示例 一封看似来自熟悉供应商的邮件通知更换银行账户，并要求当天完成付款。 ### 更安全的应对方式 暂停付款。通过已留存的可信联系人确认变更，遵循正常审批流程，并报告可疑信息。 ## 深度伪造：核实请求，不能只听声音 熟悉的声音或逼真的视频不足以证明身份。语音克隆可能被用于身份冒充，包括听起来像经理打来的电话。不要把识别合成媒体中每一个技术瑕疵的责任交给员工，而应提供可靠的核实流程。 [进一步阅读 : FTC](https://consumer.ftc.gov/consumer-alerts/2024/04/fighting-back-against-harmful-voice-cloning) ### 工作场景示例 来电声音像是主管，对方要求紧急转账，并强调必须保密。 ### 更安全的应对方式 结束通话，通过已知号码或公司既定渠道联系本人。即使请求看似来自管理层，也要保留付款审批步骤。 ## 安全使用生成式 AI：保护输入，核实输出 AI 工具可能给出流畅但错误的回答。在用于工作之前，确认公司政策允许使用该工具，也允许处理拟输入的数据。工具获批并不意味着所有信息类别都适合输入。依赖输出之前，应核实重要陈述、计算结果、链接和生成的代码。 [进一步阅读 : NCSC](https://www.ncsc.gov.uk/guidance/ai-and-cyber-security-what-you-need-to-know) ### 工作场景示例 员工希望让 AI 助手总结一份客户支持导出文件，其中包含姓名和账户详情。 ### 更安全的应对方式 先检查获批流程和数据规则，按要求移除敏感信息。如果允许的用途不明确，应在上传前询问指定的安全或数据负责人。 ## 提示词注入：当内容试图发号施令 文档、网页或消息中隐藏的指令，可能试图让 AI 助手偏离原本任务。当助手可以访问其他工具或信息时，这种风险尤其值得重视。将检索到的材料视为不可信内容；AI 回答得很自信，并不构成共享数据或执行操作的授权。 [进一步阅读 : OWASP](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) ### 工作场景示例 助手在总结文档时，突然要求将内部文件发送到外部地址。 ### 更安全的应对方式 不要批准意外操作。停止执行，保留相关信息，并按公司流程报告。培训还需要技术权限控制和人工审批作为配套措施。 ## 建议采用的培训流程 在可控且经过人工审核的学习流程中使用 AI 辅助。以下是培训方案设计建议，并非每个服务套餐所包含的功能清单。 - ### 明确行为目标 选择可以观察的目标，例如独立确认银行账户变更。 - ### 起草并审核 如果由 AI 协助编写场景，应由合格审核人员检查准确性、语气、隐私和相关性，并使用虚构数据。 - ### 安全练习 开展经授权的演练，解释更安全的应对方式，提供明确的报告渠道。绝不要求真实密码。 - ### 学习并调整 回顾结果，讨论难以判断的情况，并用不同示例巩固同一项技能。 [安全意识培训](https://www.securityawared.com/zh/security-training) ## 按岗位设置重点 ### 财务与采购 通过已知渠道核实收款人变更和付款请求。 ### 人力资源 保护候选人和员工信息，核查可能存在身份冒充的指令。 ### IT 与所有 AI 用户 检查工具权限、敏感输入和助手提出的意外请求。 ## 结合背景衡量学习效果 比较难度和参与群体相近的演练。点击率降低本身不能证明风险下降，AI 生成的分数也不能确定员工意图或预测某一次具体事件。 - 报告率：员工是否提出疑虑？ - 报告时间：团队能够多快作出响应？ - 核实行为：学习者是否使用了预期渠道？ - 反复出现的盲点：哪些判断需要进一步讲解或练习？ [高级报告](https://www.securityawared.com/zh/advanced-reporting) ## AI 安全意识常见问题 AI 安全意识能取代基础安全培训吗？ 不能。它扩展了钓鱼识别、数据保护和报告习惯。强密码、多因素身份验证以及既定审批流程仍然是基础。 员工能学会识别所有深度伪造内容吗？ 任何培训都无法保证这一点。应教授独立身份核实和一致的审批流程，让应对方式不依赖于发现画面或声音瑕疵。 公开演示使用实时 AI 吗？ 公开演示使用示例数据和模拟 AI，不会发送真实消息或连接生产系统。选择套餐前，请与团队讨论当前服务能力及您的需求。 ## 咨询 AI 安全意识培训 请分享团队岗位、现行 AI 政策和学习重点。我们可以共同讨论适合贵组织的安全意识培训范围。 [咨询 AI 安全意识培训](https://www.securityawared.com/zh/contact?request=training) --- [AI 安全意识 | SecurityAwared](https://www.securityawared.com/zh/ai-security-awareness)