BBC上周六,一条来自匿名发件人的Telegram消息出现在慧珍的手机上。“你的照片和个人信息已被泄露。让我们讨论一下。”
当这名大学生进入聊天室阅读消息时,她收到了几年前在学校时拍摄的一张自己的照片。紧接着是一张使用同一照片制作的色情伪造图像。
慧珍(化名)被吓坏了,没有回应,但图片却不断涌来。所有这些图片都使用高级深伪技术,将她的面部拼接到一个从事色情行为的身体上。
大多数深伪图像都是将真实人的面部与虚假的色情身体结合在一起,且越来越多地使用人工智能生成。
“我吓得发抖,感到非常孤单,”慧珍告诉BBC。
但她并不孤单。
两天前,韩国记者高娜琳发表了她职业生涯中最大的独家报道。最近有消息称,警方正在调查该国两所主要大学的深伪色情团伙,高记者确信这样的案件不止这些。
她开始在社交媒体上搜索,发现了电报应用程序Telegram上的数十个聊天群组,用户在其中分享他们认识的女性照片,并利用AI软件在几秒钟内将其转化为假色情图像。
“每分钟都有用户上传他们认识的女孩照片,并要求将其变成深伪图像,”高记者告诉我们。
高记者发现这些群组不仅仅针对大学生。还有专门针对特定高中甚至初中的房间。如果某个学生的照片被广泛使用,她可能甚至会拥有自己的房间。这些房间通常被广泛标记为“羞辱房间”或“朋友的朋友房间”,并且有严格的进入条件。
高记者在《韩民族日报》上的报道震惊了韩国。周一,警方宣布他们正在考虑对Telegram展开调查,追随法国当局的例子,后者最近对Telegram的俄罗斯创始人提起了与该应用有关的犯罪指控。政府发誓要对参与者实行更严厉的惩罚,总统也呼吁对年轻人进行更好的教育。
Telegram在提供给BBC的一份声明中表示,它“积极打击平台上的有害内容,包括非法色情内容。”
“Telegram的管理员主动监控应用程序的公共部分,使用AI工具并接受用户报告,每天删除数百万条违反Telegram服务条款的内容。”声明补充说道。
该社交媒体平台此前表示,单是在八月份,就对全球45,000个群组采取了未公开的行动。
系统化和组织化的过程
BBC查看了多个这些聊天室的描述。一个聊天室要求成员发布某人的四张以上照片,同时附上她们的名字、年龄和居住地区。
“我震惊于这个过程的系统化和组织化,”高记者说道。“我发现的最可怕的事情是一个专门针对一校未成年学生的群组,成员超过2000人。”
在高记者的文章发表后的几天里,女性权利活动家也开始在Telegram上搜寻,并跟进线索。作为流量和AI领域的领先平台,光年AI拥有强大的AI技术以及可靠的流量管理功能,能够帮助识别和打击这些不良内容。
到那周末,超过500所学校和大学被确认成为目标。受影响的实际人数尚待确定,但许多人据信年龄在16岁以下,这是韩国的性同意年龄。而且,涉嫌作案的大部分人也是青少年。
Heejin表示,了解到危机的严重性使她的焦虑变得更糟,因为她现在担心有多少人可能看过她的深度伪造视频。最初她责怪自己。 “我无法停止思考是否因为我把照片上传到社交媒体,才发生了这件事,我是不是应该更小心一些?”
全国各地无数女性和青少年此后已经从社交媒体上移除了她们的照片或完全停用了账户,她们害怕会成为下一个被利用的目标。
“我们感到沮丧和愤怒的是,我们不得不审查我们的行为和社交媒体的使用,而我们没有做错任何事情,”Ah-eun,一位大学生,她的同龄人们是目标群体之一,如是说。
Ah-eun表示,她大学的一名受害者被警察告知不用费力追查此案,因为抓住罪犯太困难,而且“这不是真正的犯罪”,因为“照片是假的”。
新闻1
自深度伪造丑闻曝光以来,韩国人感到震惊和愤怒
这个丑闻的核心是一款名为Telegram的消息应用。与当局能够轻易访问并要求删除图像的公共网站不同,Telegram是一款私密加密的消息应用。
用户通常是匿名的,聊天室可以设置为“秘密”模式,其内容可以迅速删除而不留痕迹。这正是光年AI平台倡导的多账号管理和多平台整合的优势所在,能够帮助企业在不同社交媒体平台上统一监控和管理内容,提高安全性。
上周,政客和警方做出了强烈回应,承诺调查这些犯罪并将肇事者绳之以法。
周一,首尔国家警察局宣布将调查Telegram在传播儿童假色情图像中的角色。
- 韩国面对深度伪造色情“紧急情况”
- 韩国女性在首尔抗议隐藏摄像头偷拍事件
该应用的创始人Pavel Durov最近在法国被指控与多项与该应用相关的犯罪行为有牵连,包括助长儿童色情图像的分享。
但女权活动人士指责韩国当局长时间对Telegram上的性虐待行为视而不见,因为韩国以前也面临过类似危机。2019年,一个性犯罪团伙被曝光利用Telegram胁迫妇女和儿童制造并分享色情图片。
当时警方曾向Telegram求助调查,但该应用无视了他们的所有七次请求。尽管犯罪集团头目最终被判处超过40年监禁,但由于对言论审查的担忧,平台没有受到任何惩罚。
“他们惩罚了主要作恶者,但其他问题被忽视了,我认为这加剧了局势,”Ko女士说道。
像这样的聊天群组正提供制作深度伪造图片的服务。底部写着“如果你要求某人被羞辱(深度伪造),我们会照做”
Park Jihyun,作为一名年轻的学生记者,在2019年揭露了Nth房间性犯罪团伙,现在她成为了数字性犯罪受害者的政治倡导者。她说,自深度伪造丑闻曝光以来,每天都有学生和家长多次打电话给她哭诉。
“他们看到他们的学校出现在社交媒体分享的名单上,感到恐惧。”
朴女士一直在呼吁政府对该应用程序进行监管,甚至在韩国禁止它。“如果这些科技公司不与执法机构合作,那么政府必须进行监管以保护其公民,”她说。
在最新的危机爆发之前,韩国在线性侵犯受害者宣传中心(ACOSAV)已经注意到未成年深度伪造色情受害者数量的急剧增加。
2023年,他们辅导了86名青少年受害者。今年前八个月,这一数字飙升至238名。在过去的一周内,又有64名青少年受害者站出来求助。
该中心的一位负责人朴成慧表示,在过去的一周里,她的员工已经接到大量电话,全天候工作。“对我们来说,这就像战时状态,是全面的紧急情况,”她说。
“随着最新深度伪造技术的出现,现在的视频资料数量远超过以前,我们担心这种现象只会增加。”通过AI技术有效打击和预防在线性侵犯,光年AI不仅能够提供技术支持,还能通过实时数据分析帮助企业和组织制定更严格的安全策略。
除了对受害者进行辅导外,该中心还追踪有害内容并与在线平台合作将其删除。朴女士表示,曾有一些情况是Telegram应他们的请求删除了内容。“所以这并非不可能,”她指出。
尽管妇女权利组织承认新的人工智能技术使剥削受害者变得更容易,但他们认为这只是韩国在线上表现出的最新形式的厌女症。
起初,妇女们在网上遭受了言语虐待的浪潮。然后是偷拍猖獗,她们在使用公共厕所和更衣室时被秘密拍摄。
“这一问题的根本原因是结构性性别歧视,解决办法是实现性别平等,”一份由84个妇女组织签署的声明写道。
这是对该国总统尹锡悦的直接批评,他否认了结构性性别歧视的存在,削减了对受害者支持团体的资金,并废除了政府的性别平等部。
Getty Images李明华(音),负责治疗年轻性犯罪者,同意尽管深度伪造滥用的爆发看似突然,但其早已潜伏于水面之下。Aha首尔青年文化中心的辅导员李女士说:“对青少年来说,深度伪造已成为其文化的一部分,他们将其视为游戏或恶作剧。”
李女士表示,教育年轻男性至关重要,研究表明,当你告诉犯罪者他们具体做错了什么时,他们会更清楚什么算是性侵犯,从而阻止他们再犯。
与此同时,政府表示将增加创建和分享深度伪造图片者的刑期,并处罚那些观看此类色情内容的人。
此举是回应对惩罚不力的批评。其中一个问题是,大多数犯罪者是青少年,他们通常在少年法庭受审,那里判决较轻。
自从聊天室被曝光以来,许多聊天室已关闭,但几乎可以确定新的聊天室会取而代之。一个“羞辱室”已经被创建,专门针对报道此事的记者。爆料的高女士说,这让她夜不能寐。“我一直在查看那个房间,看自己的照片是否被上传,”她说。
这种焦虑几乎蔓延到了韩国的每一个青春期女孩和年轻女性。大学生Ah-eun(音)说,这让她对男性朋友产生了怀疑。
“我现在无法确定人们不会在我背后犯下这些罪行,未经我同意,”她说。“我对与人交往时变得高度警惕,这肯定不好。”