ai入侵，可能“以模治模”

李彬 2024-03-26 01:14 927

"ai入侵，可能“以模治模”,这篇新闻报道详尽，内容丰富，非常值得一读。这篇报道的内容很有深度，让人看了之后有很多的感悟。作者对于这个话题做了深入的调查和研究，呈现了很多有价值的信息。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作AI入侵，可以“以模治模”猎云网·2024-03-25 19:42关注人工智能创造的世界也需要规则。

谁能想到，一场多人参加的跨国视频会议，竟然只有一个人是真人，其余的“参会人员”全部是经过AI换脸的诈骗“人员”。最后的结果(Result)就是受害人将2亿港元分别转账15次，转账到5个本地银行账户。

“AI换脸”的话题已经被讨论(Discuss)了很多年，如今已经真实到看不出破绽了吗？

新一轮的AI浪潮，大模型的能力进一步增强，这种新技术也在加速向现实世界冲击。无论是ChatGPT，还是sora，AIGC都在“努力(Effort)”创造一个真假难辨的世界：虚拟与现实的交织、身份与形象的混淆、声音与真实的错位、文字与真实的界限模糊。

如今，AI这个潘多拉的魔盒被进一步打开。AIGC是将来十年甚至更长周期的技术趋势和变革动力，而技术发展的两面性，在带来机遇和发展同时，也带来新的风险和挑战。

不过，历史(History)的发展规律仍旧没有变，无论是否为虚拟创造的产物，“作恶”的从来不是作为工具的AI本身。好在，AI也提供了一种新的途径来鉴别AIGC，即更了解自己的AI去打败AI自己。

AIGC安危问题泛滥

毫无疑问，各种AI引发的问题背后，是技术的进步。从Transformer网站到ChatGPT，从最初专用于人脸深度合成的 DeepFaceLab发展到通用视频生成服务Gen-2，各种生成式人工智能模型如今已经不稀奇了。

大模型能做到这种程度的原因，终究还是机器学习能力的跃升。中文垂直创作大模型公司波形智能创始人姜昱辰这样比喻：人工智能学习方法跟我们(We)人非常相像。把东西教给AI，它再进行(Carry Out)学习和消化，之后就是模仿与创作。在初期，AI的反馈可能不尽如人意，但做个性化的范式训练时，AIGC的“人味”会更明显。

AIGC能做到也不只是如此。中文大模型已经经过层层打磨，写一篇质量过关，看不出“机器味”的稿子早已不是难事。随着大模型的应用越来越广泛，马斯克有当前最大参数大模型，谷歌有性能最强大模型，这些都能为之带来更多的想象力。

当今年(This Year)OpenAI再次祭出大杀器sora时，APUS董事长兼CEO李涛直言：它不仅展示了人工智能在视频生成领域的强大能力，更触及了人类对创作、真实性和将来的认知。

腾讯云天御安危教授黄泽丰表示，AIGC的安危存在于三个阶段：一是数据训练阶段的AI内生安危，二是大模型部署运营时的AI应用安危，三是推广到公众后的AI衍生安危。

如今公众关注的如AI人脸诈骗这类问题，已经是一个非常复杂的问题。

黄泽丰表示：AI换脸早期更多是通过社交工程学诈骗，通过不法手段获取个人的信息，再进行(Carry Out)加工处理进行(Carry Out)欺诈；而现在演变为可以实时模拟人脸的同时，将嘴型和眨眼等动作进行(Carry Out)合成，极大的提升了迷惑性。

AIGC的安危挑战让世界真假难辨，内容合规与幻觉一直是AIGC的首先要解决的问题。AI换脸视频的形成，关键在于个人信息的泄露，而当人脸信息被恶意使用时，对于各种系统安危、金融安危、个人隐私等问题形成连锁反应。据悉，AIGC的快速发展已经引发了黑灰产的新一轮的攻击，利用(Use)AI换脸、批量生成版权内容套现获利等问题频发。

以前，东南亚诈骗团伙利用(Use)病毒去获取用户信息，做成视频去欺骗银行，获得一些转账可能者是贷款的问题，整个系统非常成熟。现在，有人可以基于人脸合成、拟声等AI技术进行(Carry Out)脸部替换，并结合表情驱动做出眨眼、张嘴等动作来构造虚假的人脸视频，同时通过摄像头劫持进行(Carry Out)攻击。

AIGC可以带来缤纷多彩的世界，但其对安危的刁难又该如何化解？

用大模型对抗大模型

面对AIGC带来的震撼，李涛也感慨道：通过完全虚拟构建展示真实场景，在将来这种“真实”与“虚拟”的界限模糊，让我们(We)不得不去思考：在AI时代，我们(We)应该如何定义和理解真实与虚拟。

大模型对于模拟对象的了解已经达到很高的程度，对于以往的伪造内容，现有检测系统的检测准确率可以达到90%以上，但是对基于大模型生成的内容，其检测效果并不好。

但现在有一个明确的思路，就是用大模型对抗大模型。

黄泽丰表示，想要鉴别AI视频诈骗，首先要确保设备是否处在安危的系统环境里，例如系统可能被解锁、篡改、重置、“双开”等等。

但是，现在AI对AI，这种检测更难，除了前端要这样做检测，后端就要以同样的模型来检测不同的动作，可能者是更多的信息维度。

当然，AIGC内容安危新挑战不仅体现在“天文级”的数据体量，处理的内容也更加复杂。在内容生成阶段，新型AI伪造、虚假、违背伦理、不适内容、未成年人等违规内容，以及AI问答产生专业性内容，都超出传统内容风控的范畴。

作为安危领域的教授，黄泽丰认为AIGC的鉴别不会是100%准确。目前(Currently)，AIGC在一些细节上还是有很大的特征，例如AI渲染过的图经常会有一些没有逻辑的。但有时候，AIGC内容还会经过二次修改，比如文章和代码，这样情况就会很难去鉴别。

但有思路就要有尝试。

猎云网了解到，蚂蚁数科有一支ZOLOZ“数字身份打假队”，专注于辨别数字身份欺诈。据介绍，数字身份打假队早在2020年就在储备用AIGC打败AIGC这项防御能力，而在当时，这样的真实攻击并不多见。于是，他们(They)同样用“左右手互搏”的方式打磨系统。先用AIGC 批量生成虚拟人脸，再利用(Use)生成的样本来攻击自己，从而不断地优化防御能力。

面对AI诈骗这类人脸合成攻击，腾讯云慧眼也用AI打败AI，其开发的远近活模式，相比传统的活体检测技术，远近活体通过对交互过程中人脸的形变信息建模，并对交互行为进行(Carry Out)分析，从而分辨出是真人还是攻击，能够有效检测并拦截新型 AIGC 攻击以及高清纸片、翻拍、面具等常见攻击。

作为安危厂商，360最新上线了360安危大模型，其中提出了“以模治模”的方案，即采用“小模型”的技术保障大模型安危的技术路线。

在产业界，用魔法打败魔法的思路已经被推广。作为AI检测与安危领域的技术服务商们，不只在钻研，也在持续向外界赋能，AIGC的标签也不会只隐藏在暗处。

AIGC主导的世界

给AIGC内容打上标签，更多的是无奈，而AI被滥用已经不是新鲜事了，当下AI被滥用情况急需被遏止。

如今，安危行业围绕AI的攻击和防御一直是个业界焦点。在黑灰产产业化、链条化的分工模式下，应用AI发起安危攻击的门槛越来越低。

当AIGC的能力逐渐增强，大模型高效泛化内容生成的特点，会让黑客以更低的门槛和成本，发动更密集的攻击。相比较而言，防守需要更缜密的逻辑关联，更精准的溯源能力。在新技术的实践落地过程中，成本效率将会经历更严峻的考验周期。

但也不是所有事情都需要去鉴别是否由AI生成，不是因为有时候AI也“无能为力”，而是AIGC是挑战也是机遇。

当AI作为辅助时，人类生产效率的可观提升，被视为一场生产力的变革。多模态的AIGC技术可以超越人类原有的表现形式去创造新的表现形式，自动化生成大量内容，不仅可以节省人力和时间成本，对于严谨的专业领域的内容可以减少可能消除误差。

但无论内容是AI创造的，还是人创造的，这个内容对社会(Society)有用，它就是有意义的；如果说信息有害，无论是人的创造还是AIGC的创造，都需要去鉴别出来。

国内某网文平台编辑告诉猎云网，“AI写小说在四五年前就有了，只不过这类文章很难达到签约标准，从质量上一眼就能看出来，并且目前(Currently)还没听说哪一本AI写的书出了不错的成绩。” AI可以加速稿件更新进度，提高作者效率，但只要文章的反馈好，谁还会在意它是怎么生成的呢？

但用AIGC去伪造内容，本身就是一条歧路。AIGC内容的版权风险，几乎成为共识，毕竟这个生产过程，也是学习过程，人类的学习也离不开初期的模仿。

对于内容是否由AI主导要因地制宜，多数观点认为还是要给AI发挥的土壤。

本文来自微信公众号“猎云精选”（ID:lieyunjingxuan），作者：邵延港，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。

+10

好文章，需要你的鼓励

猎云网特邀作者0收藏+10评论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章Kimi爆火背后，源自投资人的“AI落后焦虑症”？AI电话可能许不是将来，但不相信AI的电话厂商可能没有将来首个AI游戏(Game)引擎可能颠覆任天堂/暴雪？0代码即可创建，黄仁勋预测5-10年游戏(Game)完全由AI生成真假“长文本”，国产大模型混战苹果AI困局：搭上百度快车，能否破局重生？击败阿里？内部人士称百度将为iPhone 16提供AI功能GPT-4刚被Claude3碾压，奥特曼剧透GPT-5OpenAI公关跳起来捂他嘴：Transformer作者公开承认参与Q*互联网大厂，集体「围剿」Kimi最新文章推荐短剧暴富的三个“流量密码”iPhone 16用上百度AI，华强北成大赢家100亿，深圳罕见基金落地了停产两款主力车，“打骨折”的雪佛兰，还是挺不住了Kimi爆火背后，源自投资人的“AI落后焦虑症”？国产电话玻璃背后，谁在负重前行？我们(We)也有银发司机(Driver)了AI入侵，可以“以模治模”小米汽车(Car)门店火爆到限流，预约看车排到晚上(Evening)10点，消费者：加完班也要来看看中美巨头轮番下场，科技(Technology)风暴席卷，人形机器人的春天已来？

猎云网特邀作者

聚焦科技(Technology)创业创新，钻研产业趋势，用心服务创业者。

发表文章536篇最近内容AI入侵，可以“以模治模”18分钟前阿里80后高管，批量上位2024-03-20雷军马云夸赞的商超，走向线上2024-03-18阅读更多内容，狠戳这里下一篇小米汽车(Car)门店火爆到限流，预约看车排到晚上(Evening)10点，消费者：加完班也要来看看

小米汽车(Car)APP同步上线，周四晚上(Evening)7点揭开所有悬念。

18分钟前

热门标签传动轴ufs仪表盘指甲嵌甲零食工坊做面包的方法原生家庭圣元圣元奶粉澜沧古茶net-a-porterqdlp2k分辨率bobby垃圾时间分立器件宽禁带半导体材料应用材料套期保值任天堂大乱斗自助餐公园孤独症谱系障碍地球同步轨道海事卫星电话安溪铁观音王文礼天福茗茶传家关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴