本文将从张文宏医生被AI合成带货这一事件切入，深入探讨AI换脸技术在网络中的各种滥用现象，如利用名人视频合成新视频卖货、诈骗等，还将阐述AI合成技术在监管方面面临的问题以及专家针对这些问题提出的一系列治理建议。
知名医生张文宏被传带货蛋白棒？之前有视频博主发布视频，画面里张文宏医生大力推销一款蛋白棒，不少网友被误导，那时候这款蛋白棒的销量一下子接近1200件。
不过，张文宏很快就作出回应了。他表示这个视频是AI合成的。他还很无奈地说，自己发现这个事情之后马上就去投诉这个AI合成的视频，但是那个账号老是换来换去的，到最后自己也没精力再去管了。他觉得这些虚假的AI合成信息就像蝗灾一样，不断地发生，就像漫天的蝗虫一样害人。
现在呢，这个有问题的视频已经从发布的账号里删掉了，而且这个账号也被平台永远封禁了。
AI换脸技术到底能用在哪些地方呢？又该怎么打击和治理网络里那些乱使用AI换脸技术的违法行为呢？针对这些问题，记者展开了调查采访。
漫画/李晓军
有这么一个视频，里面一个女生很焦急地对着镜头说：“爸妈，我现在在医院，着急用钱，麻烦再给我转两万吧……”她神态很焦急，看起来在倾诉自己遇到的难事，向父母要钱的时候语气特别恳切，几乎看不出什么破绽。
可是后来呢，这个视频的发布者又放出了原视频。在原视频里，这个女生就是在和拿着摄像机的朋友正常聊天，说的内容和神态跟之前要钱的那个视频完全不一样。
原来，这个女生向父母要钱的视频是用AI合成技术做出来的。
随着AI技术不断发展，AI换脸的图片和视频变得特别流行。大家拿来娱乐的时候，却发现很难分辨真假，而且还带来不少风险和麻烦。
《法治日报》记者最近调查发现，在互联网上，有人随随便便就售卖AI合成软件，还“手把手教学”，这就让制作AI“克隆人”视频的技术变成了一门生意。还有人拿名人的视频和声音用AI合成新的视频，放到短视频平台上去卖货。更严重的是，有人滥用AI换脸技术去做违法犯罪的事情。
AI合成技术真的需要加强监管了。很多受访的专家都建议，要完善立法，把深度合成技术的应用范围和法律界限明确下来，把平台、技术提供商、内容制作者还有用户的法律责任都细化。同时呢，要构建一个多元主体协同治理的体系架构，全方位、全环节地整治和打击跟AI有关的犯罪活动以及网络黑灰产业链。
“克隆人”成了生意 影音清晰真假难辨
在前面提到的那个用AI合成技术做出来的视频介绍里，作者打上了“AI克隆人”“AI数字人”这样的标签。据作者介绍，只要提供一段有清晰人脸和声音的视频，很快就能生成一个和原视频很像的新视频，而且新视频里说话的内容可以自己编辑文本。
生成的这个视频里的人物形态特别自然，语言也很流畅，这让评论区里不少网友觉得很“恐怖”，直呼真假难辨。
记者看了视频的评论区，发现这个视频作者还打起了“暗号”。在一些感慨技术逼真的网友评论下面留言“+薇4聊……教学，懂得来”（用汉字和数字交替的方式来代替聊天账号，暗示加好友私聊）。
记者按照提示加了好友，询问相关视频和制作方法。昵称叫“AI小米××”的马上回复说：“想自用还是直接代理赚钱？”
据他介绍，如果是自己用的话，可以花199元成为“AI幻影××”（某个AI“克隆人”生成平台）的2年会员，这样就能马上生成总共38分钟的AI合成视频，使用次数没有限制。要是交499元就可以成为代理，号称“享受60%的首次分佣，躺赚20%的复购充值分佣，享受80%的招代理分佣”。
过了几天，记者再去打开这个视频的时候，显示“视频因违规无法播放”，违规原因是“疑似为高风险的项目/引流行为”。
“视频里在海边游玩的不是我，而是我的数字人分身。你跟着我操作，就能定制自己的数字人，轻松实现视频流量起号……”在社交平台、短视频平台上，像这样用AI数字人、“克隆人”视频来引流的帖子有很多。
记者就制作AI数字人的流程去问一个博主。这个博主之前发帖说“不收费”“不用花钱”，但是要求加入群聊成为会员，他会在群里发布相关的操作指南和课程。
而且，在很多网购平台、二手交易平台，也能随便买到AI“克隆人”商品。记者在一个网购平台搜索“AI换脸”的时候，显示没有搜索结果，但是把关键词换成“AI换人脸视频软件”之后，马上就出现了很多这样的商品，价格从几元到上百元不等。
记者点进一个叫“AI数字人生成软件短视频制作对口型形象声音克隆定制AI分身”的商品，问了店主之后，对方回复说：“使用软件的时候，您可以上传30秒以上的自己形象视频，然后输入文字，我们××数字人系统就可以给您生成对应口型和克隆您声音的视频了，2分钟左右就能生成好。您下单后客服会一对一服务到您学会使用为止。”
然后，对方发来了一个标价98元的下单链接，说这是买这个软件的月卡，可以制作大概30秒以内的视频32个，“短视频养号一个月足以快速起号”。
瞄准AI不法“商机” 利用技术违法犯罪
除了直接卖AI换脸技术之外，还有人盯上了AI“克隆人”的不法“商机”。
不久前，天津红桥警方在一个AI诈骗案里，成功帮市民追回了被骗的83万元。天津的李先生之前收到一条短信，对方说自己是李先生单位的领导，要加他社交软件详聊。
加了好友之后，对方说有急事需要资金周转，让李先生给他转账，还保证事后一定会把钱还回来。对方还主动打了视频电话。李先生看到视频里确实是“领导”，就马上放松了警惕，分3笔给对方转了95万元。当天下午，李先生跟朋友聊天的时候说起这件事，越想越觉得不对劲，就报了警。
接到报警之后，天津警方迅速和银行联动，及时对3张银行卡进行了紧急止付操作。银行成功冻结了涉案资金83万元。
据办案民警介绍，有些不法分子利用AI技术，把别人的脸换成熟人或者亲人的脸，冒充诈骗对象的重要关系人，通过合成视频或者照片来以假乱真，扰乱被诈骗对象的视线，然后实施诈骗。
根据公开资料，之前有人在社交平台用AI换脸变成富商马云，通过视频连线获取网友信任，他们的目标受众大多是对AI不太了解的中老年人，然后以“做扶贫项目”之类的理由骗钱。还有人在短视频平台上冒充演员靳东跟中老年人接触，以需要钱拍戏为由骗别人转账。
滥用AI换脸技术做不法之事的情况经常发生。
对此，北京航空航天大学法学院副教授赵精武分析说，利用AI换脸技术带货等行为，如果是模仿别人，除了在民法上侵犯了肖像权等人格权之外，根据情节的轻重，还可能构成刑法上的虚假宣传、网络诈骗等犯罪行为。
“而随便售卖AI合成软件的行为，如果存在主动为犯罪行为人提供相关软件服务等情况，就可能和犯罪行为人构成共同犯罪。”赵精武说。
“如果通过AI换脸技术编造险情、灾情等，还有可能构成编造、故意传播虚假信息罪。”北京盈科(上海)律师事务所数智化建设委员会副主任李悦举例说，前一阵子的“西藏小男孩被埋图”，虽然用的AIGC技术不是深度合成AI换脸，但也是用了AI技术。据了解，这个行为人已经被追究行政责任了。要是情节更严重的话，可能就构成编造、故意传播虚假信息罪了。
李悦强调，首先要明确一点，技术本身是中立的。AI换脸作为深度合成技术的一种应用，虽然有被滥用的风险，但本身并没有“原罪”。现在一些平台上个人“售卖技术”的行为，教别人使用开源项目或者某些应用，本质上是利用信息差。但是，如果课程内容专门教怎么突破深度合成应用的内容审核机制，那就应该被否定。平台可以通过限流、警告、冻结账号等方式对这些视频内容进行规制。
“虽然AI技术在不断进步，但是目前来说，如果仔细看的话还是能分辨出AI合成的视频。”李悦说，AI合成视频往往在面部细节上有比较明显的缺陷：微表情缺失（像眼角细纹、嘴角抽动很难捕捉）、光影不匹配（轮廓和阴影过渡不符合光线反射规律）以及皮肤过于光滑（没有毛孔、纹理和瑕疵）。在眼神和表情方面，眼球运动很机械（转动不连贯、眨眼频率不正常），面部表情很僵硬（转换很生硬、笑容不真实）。
“在运动过程中也会出现明显的问题，比如脸部变形等。看手部动作也是一个比较快能识别的技巧，曾经很长一段时间，AI在处理人手的时候会出现很多问题，比如关节畸形等。”李悦说。
“据我观察，AI生成的语音通常更流畅，语速更快，而且很少出现‘额’‘嗯’‘也就是说’这样的语气词或者停顿。”李悦说，虽然声音克隆技术近年来进步很大，几乎能达到以假乱真的程度。但是如果仔细分辨，还是能识别出AI生成的声音。毕竟到现在，还没有任何一款AI能通过图灵测试。
完善立法强化执法 企业备案内容标识
AI合成技术的广泛应用，需要法律来保驾护航。
据赵精武介绍，我国目前对于AI合成技术已经有了比较充分的规定，像《互联网信息服务深度合成管理规定》《生成式人工智能服务暂行管理办法》等，明确要求深度合成服务提供者要落实信息安全主体责任，使用者不能滥用深度合成服务。
李悦介绍说，我国在2023年颁布了《互联网信息服务深度合成管理规定》，这在针对这个技术的规范管理上迈出了重要的一步。在人工智能整个领域，我国也一直在推出一系列相关的规定，包括现在正在研讨的人工智能法。
“现在全球范围内AI技术竞争特别激烈，我国在这个领域还处于‘追逐者’的位置。所以，我们要更深入地思考：到底要构建一个什么样的人工智能法律体系。这个体系既要能适应技术快速发展的需求，保障社会公共利益，促进人工智能产业健康可持续发展，又要能帮助我国在AI竞争中提升竞争力，从‘追逐者’变成‘引领者’，从而在全球AI发展格局中占据更有利的位置。”李悦说。
受访专家指出，目前要精准打击利用AI合成技术违法犯罪行为还存在一些难点。
李悦说，技术上的难题主要体现在匿名性，犯罪分子用匿名身份和虚拟货币；取证困难，要证明视频的真实性、来源和目的，还有跨境性，一些犯罪工具或者行为涉及境外。法律上的难题包括责任链条长，涉及AI工具提供者、制作者和传播者；主观性认定困难，要证明行为人知道自己违法，而且证据标准很高。
“滥用AI技术实施犯罪行为往往和传统犯罪行为（像电信诈骗、传播网络谣言等）结合在一起，需要公安机关联合各大网络平台采取更直接、有效的治理措施。”赵精武说。
所以，他建议构建一个多元主体协同治理的体系架构：公安机关和网信、工信等部门联动执法，全方位、全环节整治和打击跟AI有关的犯罪活动和网络黑灰产业链；执法部门同步更新监管技术，推动人工智能技术在刑事侦查等领域的应用，这样就能更高效、更精准地打击滥用AI的犯罪活动；网络平台要积极落实平台主体责任，积极配合执法活动，严格落实网络实名制和黑名单制度，防止各类犯罪行为人通过换账号登录的方式躲避平台监管。
李悦建议，在立法方面，要明确深度合成技术的应用范围和法律界限，把平台、技术提供商、内容制作者和用户的法律责任细化。同时，加大对利用AI技术实施犯罪行为的刑事处罚力度，完善针对AI合成视频的证据规则，明确其法律效力。
“在技术方面，推广AI合成视频的检测工具和溯源技术，研发高效、低成本的检测服务，并且向公众开放。利用水印技术对AI生成的内容进行标识，方便追踪和识别。”李悦说，此外，可以建立AI企业备案制度，加强对企业资质、数据安全和算法透明度的监管。
李悦还提出，要进一步强化平台责任，要求平台对用户发布的内容进行审核，及时处理违法信息。制定AI行业的行为准则和道德规范，推动行业自律和技术应用的伦理合规性。建立跨国执法合作机制，共同打击跨境AI犯罪，并且共享AI犯罪案例和犯罪手法信息，提升全球范围内的防范和治理能力。
“AI技术的宣传教育也很重要。”李悦说，对执法人员、司法人员进行AI技术知识培训，提高他们的专业能力和执法效率。同时，通过媒体宣传提高公众对AI犯罪的防范意识，普及AI技术的基本知识和风险。
本文从张文宏医生被AI合成带货事件入手，阐述了AI换脸技术在当前网络环境下被滥用的多种情形，如商业售卖、诈骗等。同时也深入分析了在治理AI合成技术相关违法犯罪行为时所面临的技术与法律上的难点，并且介绍了专家针对这些问题提出的包括完善立法、强化执法、加强平台责任、推动行业自律以及开展宣传教育等多方面的治理建议，以保障AI技术健康发展。
原创文章，作者：Daniel Adela，如若转载，请注明出处：https://www.gouwuzhinan.com/archives/11288.html
