《科创板日报》6月11日讯（实习记者 李佳怡 记者 黄心怡）“AI合成技术太逼真了，普通人对这种诈骗手段根本难以预防！”社交媒体重度使用用户陈女士向《科创板日报》记者吐诉。
《科创板日报》记者注意到，近期，利用AI技术合成视频并在社交媒体广泛传播的诈骗手段频发，对不知情的用户的财产保障构成显著威胁。亟待打造“技术设防—平台阻截—多方协作”的治理闭环，将诈骗犯罪行为掐灭于源头。
▍AI诈骗层出不穷，逼真、隐蔽使用户难以辨别
近年来，随着互联网技术的进步，电信网络诈骗手段也随之更新，呈现出定制化、隐蔽化、产业化的倾向。
尤其是抖音、小红书、微博等人们日常高频使用的社交媒体平台，更是诈骗分子渗透的重点，各类骗局、案件层出不穷。
从在平台建号养号、进行非法广告投放，到非法获取个人信息、进行精准诈骗，再到洗钱、套现，已逐步构建了一个完整闭环的诈骗犯罪链条。
抖音方面向《科创板日报》记者介绍，目前抖音平台上能够观察到诈骗主要分为两大类。
一类是仿冒抖音客服诈骗，诈骗分子仿冒抖音客服身份，直接联系用户进行诈骗，全程发生在抖音站外。据山东东营发生的案例，今年5月，刘某接到自称抖音客服称其抖音直播带货会员到期，并引导其下载APP进行指纹、支付密码设置及人脸识别等操作。通话技术后刘某收到银行扣款信息，共计被骗16.8万元。
另一类则是跨平台导流欺诈。山东网友贾某通过在抖音上看到理财直播，添加了不法分子的企业微信，并在其指导下安装了其它两个APP，在客服指导下多次在平台充值，被骗27.5万元。这种不法分子将用户引流至第三方平台的诈骗手段，由于涉及多平台联网联防等方面问题，目前仍具有较高的监管难度。
需要警惕的是，AI技术尤其是大模型的热潮与开源特性，也为诈骗分子提供了新工具：例如利用AI合成语音模仿亲友诈骗；使用深度伪造证件冒充公职人员；借AI换脸技术假冒明星代言进行欺诈性营销等。
抖音风控专家刘一方向《科创板日报》记者表示，AI驱动内容诈骗是当前网络诈骗的重要表现形式，“越来越多的黑产都在使用AI技术生成诈骗脚本，并通过这种脚本来进行诈骗，从而绕过传统的文本和图片这种的模型。”
《科创板日报》记者在小红书等平台上也观察到，目前有大量的“AI换脸”明星、公众人物的广告在首页投放，用来进行AI制作的视频包括影视片段、宣传视频、采访视频等等。
例如，今年3月，明星古天乐、林峰的肖像和声音被诈骗分子“AI换脸”，用以进行赌博广告的虚假宣传；某知名院士的肖像与声音同样被AI技术伪造，用于某美白护肤品推广视频......当前，这类骗局持续高发，监管面临难度大、成本高的双重压力。
有用户告诉《科创板日报》记者，此类诈骗手段较为隐蔽且逼真，对其软件使用体验和日常生活带来很大影响。“有时候以为是电影宣传片，结果一打开是AI换脸的虚假宣传。太逼真了，如果不仔细辨别，还真以为是明星代言。”该用户表示。
▍AI诈骗需多方联动治理，形成监管闭环
面对当前AI诈骗持续高发，破解这一难题，亟待打造“技术设防—平台阻截—多方协作”的治理闭环，实现犯罪行为的事前阻断，在源头进行遏制。
今年3月，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》（以下简称《标识办法》），要求9月起，AI生成合成内容必须添加标识。
《标识办法》明确规定，服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的，应当按照要求对生成合成内容添加显式标识；服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定，在生成合成内容的文件元数据中添加隐式标识；提供网络信息内容传播服务的服务提供者应当采取技术措施，规范生成合成内容传播活动。
此项规定推出后，有望提升用户对AI视频的警惕性，从源头遏制不法分子利用AI合成视频实施的诈骗行为。
更关键的是，社交媒体平台作为诈骗活动的核心枢纽，同样需升级监管体系，强化账号治理、内容风控与资金拦截的协同机制。
抖音方面表示，平台已从技术、产品、服务三个维度，围绕着事前识别、事中干预以及事后的劝阻等方面，叠加AI大模型的能力，构建全链路的防护体系。目前，抖音每日封禁涉诈账号超8万个，有效拦截异常投稿、评论超过400万条，发送站内信提醒700万条。
小红书平台同样借助技术手段与大数据分析，及时发现并识别潜在诈骗风险，并建立涉诈资金快速冻结机制。据悉，2024年小红书对诈骗行为的主动拦截达94.3%，月均推送风险提醒3700万次。
需要注意的是，通信专家、反诈民警、法学专家等人士与《科创板日报》记者讨论时表示，基于当下电信诈骗的复杂性，任何一家社交媒体平台仅凭自身力量单打独斗，都难以有效应对产业化诈骗黑产的持续攻击，还亟需各家企业与相关机构联动协作。
“AI技术本身并无善恶之分，但如何规范、监管、引导其健康发展是关键问题。”抖音一位专职反诈人员告诉《科创板日报》记者，面对AI技术的双刃剑挑战，唯有以“法律重器”划定红线、以“技术韧甲”扎紧篱笆、以“全民防线”织密护网，才能从根源上遏制网络与AI诈骗。
