泉州生活网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 38|回复: 0

对抗样本攻击实际还表现出以下4类特征

[复制链接]

3万

主题

3万

帖子

11万

积分

论坛元老

Rank: 8Rank: 8

积分
119843
发表于 2022-10-13 13:06:08 | 显示全部楼层 |阅读模式

对抗样本攻击实际还表现出以下4类特征

1、不止是深度学习所特有,传统的一些机器学习算法如SVM(支持向量机)、决策树等算法,也会存在此问题。

2、针对物理世界的攻击:前面提到的对抗样本图像,都是在数字世界中进行的,其实有些对抗样本已可针对物理世界进行攻击。如利用对抗样本技术设计体恤衫,表面印有特殊图案,穿戴者可躲避AI目标检测系统,使其无法检测出人体。

3、音频和文本识别也存在对抗样本:如在进行语音识别过程中,如果此时背景音乐是经过精心设计的,那么就有可能使识别结果错误,甚至按照攻击者的意图来输出结果。

在文本处理任务中,也存在类似问题,在文本段落中,增加一些特殊的词汇或标点,或者在不改变语义情况下调整个别句子,人类不易察觉,但AI模型却无法按照预期输出正确的结果。

4、对抗样本的正面应用:前面说了那么多的对抗样本的负面应用,其实合理的使用该技术,也能产生正向的价值。比如日常生活中经常接触到的验证码机制,采用对抗样本的技术,就可让黑灰产业的AI验证码识别模型的识别率大幅下降。

对抗攻击的防御方法

对于对抗样本进行分析,尤其是图像样本,经过放大后还是可以观察到一些细微的噪声,导致图像细节有些变化。因此,很自然的想法就是在图像输入到AI模型之前,先进行图像滤波、去噪的预处理,将图像进行一定程度的修复还原,起到一定程度的防御作用。

另外一种思路,就是可以将各种类型的对抗样本增加到AI模型训练数据集中,这样训练出来的模型,先天就对部分AI对抗样本具有免疫功能,一定程度上提高系统的鲁棒性,但对抗样本的生成方法层出不穷,难以收集完备的对抗样本数据集。

还有一些方法是通过修改AI模型的网络结构,达到抵抗攻击的目的,感兴的趣读者可以阅读相关文献。

AI应用安全的问题,直接关系到AI应用在各行业领域的推广,对抗样本攻击是AI安全的一个重要方向,越来越引起学术界和工业界的重视。目前面向AI应用的攻击和防护的研究还处于初级阶段。未来,通过广大科研工作者的努力,相信会厘清对抗攻击方法的背后机理,最终可以形成一种统一高效的防御体系,为AI生态保驾护航。

分布式存储相关资讯可以参考新华三官网,新华三集团作为数字化解决方案领导者,致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。作为紫光集团旗下的核心企业,新华三通过深度布局“芯-云-网-边-端”全产业链,不断提升数字化和智能化赋能水平。新华三拥有芯片、计算、存储、网络、5G、安全、终端等全方位的数字化基础设施整体能力,提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、边缘计算等在内的一站式数字化解决方案,以及端到端的技术服务。同时,新华三也是HPE®服务器、存储和技术服务的中国独家提供商。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|泉州生活网

GMT+8, 2024-5-12 03:30 , Processed in 0.042580 second(s), 27 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表