发布时间：2024-12-23 11:57:16 来源: sp20241223
记者调查AI换脸拟声技术使用乱象
“骗子来电，声音容貌和我家人一模一样”
□ 本报记者 赵 丽
□ 本报实习生 林铭溱
“妈，8000元不够，给我转1.5万元吧。”一位母亲正和女儿视频聊天，听着在外地上学的女儿在视频里撒娇抱怨“生活费不够用了”，她心疼不已打算立刻给孩子转账。就在这时，家门打开了，她的“真女儿”走了进来。而另一头，视频里的“假女儿”还在央求妈妈“给生活费”。
这是一则AI反诈视频。在这条反诈视频评论区中，不少网友反映自己也有过类似的被骗经历，“骗子来电，声音容貌和我家人一模一样”。
《法治日报》记者近日调查发现，AI换脸拟声技术已成为简单易操作的“低门槛”技术，只需拥有声音与照片等“素材”，借助软件即可瞬间实现“AI克隆”。实践中，一些不法分子试图利用AI换脸拟声技术实施违法犯罪活动。
近日，国家金融监督管理总局金融消费者权益保护局发布防范新型电信网络诈骗风险提示，将“AI换脸拟声”纳入其中，作为专门类诈骗。据介绍，AI换脸拟声类金融诈骗，多为不法分子以“网店客服”“营销推广”等为借口联系消费者，采集发音、语句或面部信息，之后利用“换脸”“拟声”等技术合成消费者虚假音频、视频或图像，模拟他人声音或形象骗取信任，诱导其亲友转账汇款等。
受访专家指出，擅自使用他人信息制作换脸拟声视频涉及多重法律风险。需要进一步完善相关领域的立法，加大执法力度，秉持包容审慎的态度平衡技术的安全与发展。
几乎没有使用门槛
轻松实现换脸拟声
“只需要一段语音，几乎完美还原音色语气，今天就教大家如何简单、快速复制一个人的声音。”在某社交平台上，一名科技博主发布了一段教学视频，向网友介绍如何用AI精准克隆人声。
“只需要准备一段25秒的声音，构建声音进行训练，训练完毕后就可以输入想要的文本进行语音合成。”教学视频中，这名博主用时不到1分钟，就把AI拟声的原理讲解得清清楚楚，与此同时，一段“孙悟空”的拟声就这样诞生了。他输入了一段文本，AI便能用与“孙悟空”近乎一模一样的声音语气念出来。
记者按照视频中的指示打开链接发现，这个AI拟声工具无需下载，也不收费，是可以免费使用的网页，而如此制作出来的音频可以公开供他人使用，也可以导出使用。记者在网页中分别上传了5种不同声音，经过训练，这5种声音被几乎无差别地成功“克隆”，能够用来读出任意文案。除此之外，用户还能在输入文案时加入情绪的描述，使得AI拟声如同能够“谈笑风生”的真人。
除了AI拟声，AI换脸也成了“热门”技术。在一些图片处理软件中，“一键AI换脸”能瞬间将图片甚至视频中的脸毫无痕迹地置换成另一张脸。
“一天能做100个原创作品，这个工具太强了。”在社交平台某AI科技博主的短视频里，该博主向粉丝介绍一款视频换脸软件。屏幕中，博主所展示的两段视频中的女生除了五官不同，其余的外貌、穿着及动作完全一致。视频中，女孩不论如何转身或做出任何表情，面部都没有产生畸变。“一键就能高清换脸，让你们变成另外一个人。”
记者尝试了该博主所推荐的软件及操作方法，成功将一段视频中的人脸换成了另一张人脸。即使是“技术小白”，上手也几乎毫无门槛。记者浏览发现，这样类似的视频换脸软件还有许多，除了进行视频剪辑换脸之外，部分软件在技术操作之下还能实现实时换脸拟声。
换脸软件明码标价
鲜有卖家询问用途
记者在某社交平台检索“AI换脸”时，发现页面弹出了“无痕换脸，只需5元到20元”的广告。在评论区中，有不少买家询问能否提供视频换脸拟声服务，也有不少卖家混杂其中寻找“客户”。记者在评论区留言咨询后，很快便收到几名卖家的回复或私信。
“需要自定义AI换脸软件吗？”一名卖家通过私信联系记者，推销其软件。记者进一步询问卖家该软件是否能够实时视频换脸拟声，卖家称“任何社交平台都能够支持实时”。
随即，该卖家向记者展示了其在社交平台上发布的换脸演示。在换脸演示中，一名男子以“英俊的脸庞”出现在视频页面中，而这张“英俊的脸”则是换脸后的“假面”，该卖家配以文字“网恋神器，直接变小哥哥，换个面貌可以去找小姐姐网恋了”。
为了让记者更真切地体会到换脸技术的高超，该卖家提出可以“打个视频看效果”。记者打开某社交软件视频通话，只见视频画面里是与“换脸演示”中样貌不同的另一名男子。该卖家称，二者都是自己通过换脸软件制作的。在视频中，他展示了喝水、捂嘴、捏脸、捂脸等多个动作，“做动作是没问题的，只要打开视频前把这个软件打开就可以了”。
在交流时，卖家不断向记者强调其所售卖的技术操作难度不大，且在视频时“看不出破绽”。价格方面，其介绍299元可以装好软件，操作一遍演示；如果支付599元，则可以一对一教学，“教会为止，软件可以永久不限次数地使用”。
调查中，记者还收到了另一名卖家的“推销”，其同样向记者推荐了自定义AI换脸软件。该卖家称，软件分为手机版和电脑版，手机版的价格为40元，电脑版为69.9元，两者均可以永久不限次数使用。当记者问及电脑版与手机版为何存在价格差异时，该卖家告诉记者，电脑版的软件包含一键“AI去衣”功能，即可以把照片上的衣服脱下来。
在调查过程中，记者注意到，类似提供“自定义AI换脸拟声软件”的卖家还有不少，他们大多在社交平台上寻找买家。对于买家购买技术的目的，有些卖家毫不在意，甚至会将“去衣”等擦边功能作为一大卖点进行推销。
除此之外，记者还发现，在某二手交易平台上，也有卖家出售相关技术。比如有卖家在产品描述中这样写道：“有手就可以，拍下就发完整视频资料和制作方法，可批量搞，虚拟资源能够变现。”
“有些人会利用技术去做违法犯罪的事情，尤其是在近几年，这种技术更容易使用了。”一名业内人士向记者透露，他就曾接到过一些“出格”的客户需求，“有人联系希望我们能用AI克隆技术突破银行和一些支付软件的刷脸功能。还有人打离婚官司，要我们用拟声作伪证。如果没有问清楚，换脸拟声很容易沦为一些不法分子诈骗、犯罪的工具。”
及时规定使用原则
增强个人反诈意识
“如果不是做深度训练的话，目前换脸拟声的技术门槛是比较低的。”南京“超级头脑”工作室(一家AI工作室，主要经营“AI数字生命”业务)创始人张泽伟告诉记者，目前非技术人员也可以通过软件进行较为简单的换脸拟声，使得“假人假声”的合成视频、图片可能被用于违法违规用途，而一些年纪稍大的长辈很难分辨出来。
北京大成(深圳)律师事务所律师陈翠说，擅自使用他人肖像制作换脸视频可能侵犯他人肖像权、隐私权。根据民法典第一千零一十九条，未经本人同意，不得以营利为目的使用他人肖像。“换脸视频即便不以营利为目的，也可能因未获授权而侵犯肖像权。同时，未经许可传播涉及含有个人隐私的视频会侵犯个人隐私权。”
陈翠进一步补充道，若换脸拟声视频内容不当或引发公众误解，可能会构成名誉权侵权。如果视频中包含他人享有著作权的内容(如影视片段)，则可能构成著作权侵权。同时，未经授权制作和传播换脸视频还可能违反网络安全法、数据安全法等相关法律规定，面临行政处罚或刑事责任。
陈翠认为，目前，我国在相关领域仍缺乏系统性立法，涉及人工智能的法律规范较为分散。同时，人工智能伦理规范尚未形成统一标准，为有效遏制此类技术被用于违法犯罪，需进一步明确其应用边界。
中国传媒大学文化产业管理学院法律系主任郑宁认为，我国《互联网信息服务深度合成管理规定》明确，任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，并要求深度合成服务提供者应当建立健全辟谣机制，这在一定程度上为深度合成服务的技术应用划定了底线。“要正面划定AI换脸拟声能够用于什么范围有一定难度，及时规定使用原则，比如合法、必要条件等。当前我国有《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》，如果人工智能应用符合该规定应用条件，也可以遵循其要求进行安全评估。”
“AI产业是需要规制的，但安全与发展应该并重。”郑宁提到，对于新兴技术，要保持审慎监管的态度，结合具体的应用场景，在分级分类的基础上进行预防式的治理，同时也要秉持包容的态度，促进产业发展，鼓励创新。
“大家尽量不要在公共平台上过多地上传个人声音、图像等信息，这些可能成为不法分子的合成素材。”在张泽伟看来，信息时代，每个人都应当增强个人信息保护意识、反诈意识。实践中，可以注意观察屏幕分辨率的变化，以此识别对方是否利用AI拟像，“也可以与本人约定一些暗号，必要时对一下暗号再进行转账”。(来源：法治日报) 【编辑:李岩】