雷军在全国两会期间透露，自己去年国庆假期期间成为了AI换脸视频的“受害者”。他表示，有人利用AI技术制作了他的声音和形象，在各种视频中充当“嘴替”和“脸替”。雷军坦言，他本想通过法律途径维权，但发现当前法律体系中对此类行为缺乏专门的立法，只能依靠隐私权、肖像权和名誉权等相关法律进行起诉，而这些法律要求量化损失，让他深感困扰。
社交平台上，AI生成的真人形象已屡见不鲜，且达到了以假乱真的程度。在这些“AI骗局”中，雷军并非唯一的受害者，特别是中老年人群体，由于缺乏识别AI创作的能力，往往更容易上当受骗。陆俊（化名）的奶奶就是一个典型的例子，她每天都会观看一个AI生成的胖小孩短视频，尽管陆俊多次提醒奶奶这是假的，但奶奶并不在意，只觉得这些视频能让自己开心。
这些AI账号不仅瞄准了中老年群体的情感需求，还通过套近乎、讲哲理等“话术”来获取他们的信任和关注。一些AI账号甚至已经开始利用这份“信任”通过橱窗带货赚钱。例如，视频号“·古元·”发布的视频大多以“我的宝贝姐姐”开头，围绕老年女性的生活常态展开，随后引导用户点击主页关注、下单。虽然发布视频数量不多，但橱窗商品的销量已突破三位数。
除了情感内容，养生内容也是“收割”老年人的重灾区。一些AI账号利用老年人的同理心卖货，甚至通过AI换脸技术进行诈骗。据报道，去年就有一位江西老人被换脸视频蒙蔽，要贷款200万给网恋男友“靳东”拍戏。还有诈骗犯运用Deepfake深度伪造技术制作出公司高层发言视频，诱导职员转账。这些案例都显示了AI技术在造假和诈骗方面的巨大威胁。
针对AI技术的滥用问题，社会各界已经开始采取行动。全国政协委员和科技企业领导人在两会上提出了加强AI安全监管的提议。同时，各平台也在加强对AI内容的治理，推出了针对AI治理的管理政策。例如，腾讯等互联网公司正在研究检测AIGC的第三方工具，这些工具可以根据相似检索、内容检测和水印追溯等方法来检测AI生成的内容。
国家互联网信息办公室也发布了《人工智能生成合成内容标识办法（征求意见稿）》，以规范人工智能生成合成内容的标识，维护国家安全和社会公共利益。这些规定和监管政策的落地，将为刚性治理提供更多的抓手，减少被AI蒙骗的发生。
