WhatsApp 正在 测试 Scam Alert ,这是一项可选择启用的端侧机器学习功能,当非联系人发来的消息符合与诈骗相关的模式时,它会向用户发出警告。
此次小范围测试还公布了一项技术设计:在分类期间将消息内容保留在设备上,同时利用机密计算、差分隐私和透明度机制衡量模型性能,并防止向特定目标投放模型。
启用后,Scam Alert 会将一个小型机器学习模型下载到设备上,并利用对话结构和语言信号评估非联系人发来的消息。
Meta 表示,该模型基于用户此前向 WhatsApp 举报的诈骗对话中观察到的模式进行训练。
如果模型识别出疑似诈骗,用户会看到一条发送者不可见的警告,并可以选择屏蔽、举报或继续对话。
用户还可以将聊天标记为可信,此后 Scam Alert 将不再标记该对话。
用户还可以选择将可信聊天中最近收到的 5 条消息分享给 WhatsApp,以帮助改进该功能。
机密联邦分析的工作原理(来源: Meta 博客文章 ) 该架构将消息分类与性能衡量分离开来。
设备在本地将警告事件和用户操作汇总为计数。
这些指标使用匿名凭据通过 Oblivious HTTP 中继传输,并在机密虚拟机内处理,机密虚拟机是可信执行环境的一种形式。
客户端在传输数据前会验证机密环境中运行的代码,并检查隐私参数。
聚合过程会应用最小群组阈值和差分隐私,之后只有近似的总体层面统计数据会提供给 WhatsApp。
Meta 还将模型分发视为一道安全边界。
每个生产或实验模型版本及其 SHA-256 哈希值都会在部署前发布到第三方仅追加透明度账本中。
客户端在加载模型前会验证账本条目、模型签名、时效性和哈希值。
模型下载使用匿名凭据和 OHTTP
🔗 原始来源
如果你要核对细节,可以再看原文: InfoQ AI原文链接
AI热榜