娱乐社交行业竞争激烈，包括社交 APP、游戏、短视频平台、直播商业、电影、综艺、媒体等线上内容，以及线下的脱口秀、相声等演出，业务和产品种类繁多、各不相同，但一个共同点在于其与内容密不可分。过去几年中，娱乐社交行业也因为一些内容负面事件而备受关注，例如平台上的敏感言论、低俗内容、虚假宣传和网络暴力等。
这些事件不仅对企业形象造成了负面影响，还对用户造成了心理上的伤害，甚至造成恶劣的社会影响。问题的核心在于，作为娱乐社交行业最大的受众之一，不设防的未成年人群体整日浸润充满虚假信息、诱导性言论、不良图片和视频的娱乐社交行业生态中，逐渐走向扭曲和变态。因此，推动娱乐社交行业的清朗化是一个长期而值得追求的目标。
最新监管政策
为了保障娱乐社交内容的安全，网信办等国家相关部门已经出台了一系列政策法规，包括《网络安全法》、《互联网信息服务管理办法》等。这些法规为内容安全解决方案的推广和应用提供了法律和政策保障。
与此同时，常态化的专项治理也在稳步推进。2022 年，“清朗”系列专项行动重拳整治网络生态突出问题，处理了 5430 余万违法和不良信息，处置了 680 余万个账号，下架了 2890 款 APP 与小程序，关闭了 26 万个群组与贴吧、停止了 7300 多家网站。
在 2023 年，“清朗”专项行动也提出了新的动向。其中之一是打击网络水军，这是指那些利用虚假账号在网络上发布大量不实言论，制造舆论影响的人。另一个动向是整治网络戾气，这是指那些在网络上发表恶意言论、攻击他人、散布仇恨等不良行为。根据历年的执法情况，“暑期未成年人网络环境整治”方向是专项行动的重中之重，也延续到了今年。
一方面严厉整治“涉未成年人”的各类有害内容和违法犯罪，及时发现处置网络欺凌行为;另一方面严管评论区信息内容，督促网站平台加强评论区管理，要求账号强化所发信息内容跟帖管理，对未做好跟帖评论管理的公众账号，采取限制功能等措施。
作为内容监管主体，娱乐社交行业平台肩负着重要的责任。在“清朗”系列专项行动中，平台主体除了要关注每年的行动重点，同时不能忽视其他的监管红线问题，尤其是低俗、不良价值观、暴恐、恶心等违法内容。只有让这些问题得到及时的治理，才能维护良好的内容生态。
01 2023 “清朗”行动，指明内容治理方向
“清朗”系列专项行动的初衷在于规范网络信息秩序，促进网络空间的健康发展。特别是对于网络信息的重点生产方—“娱乐社交行业”而言，提出了更为严格的要求。这也导致娱乐社交行业 APP 市场的深刻变革，不符合规范的APP可能会被淘汰，而符合规范的 APP 则将获得更多的发展机遇。
平台戾气管治
一些低俗、恶俗、攻击性或令人不适的内容在娱乐社交平台泛滥，侵犯到人们的价值观和道德底线。从内容安全的角度看，平台戾气治理至关重要，因为不良内容严重影响网络环境的健康和秩序，也会对用户造成心理伤害，甚至会引发社会和政治问题。
“清朗·网络戾气整治”专项行动，严管评论区信息内容，督促网站平台加强评论区管理，要求账号强化所发信息内容跟帖管理，对未做好跟帖评论管理的公众账号，采取限制功能等措施;整治直播“PK”环节问题，严肃查处主播逞勇斗狠、互撕攻击、谩骂吐脏等行为，针对部分主播逃避监管、借“小号”进行恶俗行为，对其所有账号采取统一处置措施，情节恶劣的纳入黑名单;处置网络戾气集中的版块，深入排查贴吧、频道、圈子、超话和小组等环节，对违规版块进行整改，必要时采取暂停更新、解散关闭等措施，处置版块管理员账号，坚决遏制网络戾气。
未成年人安全保障
近年来，诸如腐文化、儿童色情、抽烟喝酒、炫富拜金、不文明行为、邪教迷信、邪典死亡、灵异恐怖一类的有害信息相继找上脆弱的未成年人群体。
小猪佩奇嘴里叼着香烟，戴着墨镜，赤裸上身，手持锐利的匕首威胁旁人，显得极具黑帮气质。
迪士尼的公主与漫威英雄，被儿童视为英雄和榜样的角色肆意酗酒，甚至口吐白沫，变得毫无节制。
宣扬流血的兴奋感，诱导、煽动、教唆自杀自残等相关内容，通过画面和话术故意引起自杀自残情绪。
以宣扬奢侈拜金，极端思想、煽动仇恨、歧视和暴力为代表的行为，在短视频、流媒体上悄无声息地泛滥。类似的有害内容，由那些动机不良之人所制作。他们会利用网络和社交媒体的便利性，寻找到那些易受影响的儿童。
这些儿童可能因为年龄较小、心智不成熟或缺乏家庭关爱等原因，而易被这些人的言语和行为所侵蚀。
海量平台内容应对
在内容遍地开花的时代，企业需要审核的内容越来越多，包括PGC、UGC、AIGC等，但是审核人员的数量却很有限，难以应对海量的内容。一般而言，企业会雇佣大量的审核人员，这样可能导致审核效率低下，审核结果不准确等问题。
庞大的审核内容意味着审核人数的增加，同时也需要投入更多的时间和资源来完成审核工作。此外，审核人员的素质和能力也是审核内容能否得到有效处理的关键因素。因此，为了提高审核效率和质量，要对审核人员进行培训和管理，以确保他们能够熟练掌握审核流程和标准，准确判断审核内容的合规性和真实性。这些都将带来人力成本的上升。
审核规则制定和更新
审核规则难以制定和更新，针对不同领域的内容，需要制定相应的审核规则。制定规则需要一定的专业知识，且不同地区或国家的法律法规和社会文化也不尽相同，企业很难制定出符合所有要求的审核规则，同时规则的更新也需要花费较大的人力物力。
每年“清朗”专项行动都会更新监管重点，这需要根据不同领域的内容制定相应的审核规则。而制定规则需要一定的专业知识，而不同地区或国家的法律法规和社会文化也存在差异，这对企业来说是一个挑战。因此，制定符合所有要求的审核规则是一项具有挑战性的任务，而规则的更新也需要投入大量的专业力量。
因此，娱乐社交作为聚集最多未成年人用户的行业，在完成网络内容安全工作时，应从未成年人的角度出发，针对上述问题采取定制化的审核标准，加以全面保护。
02 娱乐社交行业内容安全解决方案
针对上述问题，易盾建议，通过全面的技术解决方案，娱乐社交行业的平台就能守住合规运营的底线，遵守相关法律法规和政策，不传播不良信息，不侵犯用户隐私，不开展违法活动，确保用户在一个健康、积极的环境中享受社交娱乐的乐趣。
（1）AI内容审核
人工智能技术在内容审核领域取得了出色的成果。通过“机审+人审”的方式，网易易盾提供全栈内容审核解决方案，帮助娱乐社交平台建立完善的审核机制，对 UGC 内容(用户发布的内容)进行基于平台标准的审核。
从媒介形式来看，文字、图片、音频、视频等各种形式都是现代社交媒体中常见的形式。他们使得社交媒体具有更加丰富的表达方式，但也让审核更加困难。例如，与文字相比，音视频内容技术审核要求高，完善审查机制耗费较大人力财力，但这并不代表一筹莫展。
从场景来看，用户资料、动态等公开场景是社交媒体中最常见的场景。在这些场景中，用户可以展示自己的个性、兴趣爱好、生活状态等，与其他用户进行互动和交流。
从问题来看，娱乐社交行业存在着一些不良内容，如色情、低俗、恶俗、攻击性、历史敏感性、暴恐、血腥等问题，会对用户造成不良的影响，甚至会引发社会公愤和道德争议。
（2） 人审“铁军团”的搭建
AI 机器审核可以帮助运维者快速剔除大量确切违规内容，对内容进行自动审核和分类，但仍需要进行人工审核。为此，人工审核在娱乐社交企业的人审机制建设中必不可少。易盾充分利用其人审资源，全面参与到该机制的建设中。
在标准设计环节，对于一张人像图片，机器审核可以根据肉体裸露的程度进行判断，但实际上信息的表义并不简单。例如，“性感”这个词该如何定义?全无裸露的人体是否能通过场景与动作的表达达到人们对“色情”的认知?
那么，定性标尺就掌握在网站运维者手上，各社交平台的人审责任制也因此诞生。网易易盾根据经验和法规，协助企业快速建立全面的审核标准矩阵，完成“清朗”专项行动的各种要求。
在人工审核培训环节，为了适应每年的监管和舆情变化，易盾搭建了具备多年内容安全经验的审核培训人员，不仅负责监控产品的内容风险点，还会不断基于法规、舆情提取审核规则，更新和完善内容风控标准体系。举例而言，培训内容包括如何杜绝拜金主义、封建迷信、娘炮、耽美、极端饭圈等不良文化，以及坚决抵制有错误倾向的价值观、淫秽低俗、血腥恐怖等内容。
在人工审核执行环节，易盾在全国多地搭建了专业审核团队，审核人员经过网信办等培训，持证上岗，为企业提供高效、准确、安全的人工审核服务。团队不仅拥有严格的审核标准和流程，不断提升自身的审核能力和水平，能够快速识别出各类违规信息，如色情、暴力、恐怖主义等，确保企业的内容安全和合规。此外，易盾还不断优化审核流程和技术手段，如二审、三审、多审等，提高审核效率和准确率，为企业节省时间和成本。
（3）智能审核平台
智能审核平台人机协作是一种先进的人机协作审核方式，它将人类的智慧和机器的高效结合在一起，实现了审核工作的高效化和精准化。通过这种方式，审核人员可以通过人机协作的方式，快速、准确地审核大量的信息，从而提高审核效率和准确性。同时，智能审核平台还可以通过机器学习和人工智能等技术，不断优化审核算法，提高审核的智能化水平，为用户提供更加优质的审核服务。
平台数据提交：将内容数据团拆解为一条文本、一张图片、一段音视频，并打上定制化字段，如昵称、头像、签名、标题、封面、内容、话题，在审核页面展示。
融媒体合并审核：同一场景下的文本、图片、音视频文件，相互关联进行判断，达到“所见即所得”的全方位无死角审核。
（4）内容风控辅助
首先是，用户投诉和举报机制。正所谓“众人拾材火焰高”。让用户方便地举报不良内容和行为，投诉和举报的流程应该简单明了，补充平台的“免疫力”。
其次是，内容安全蓝军。易盾将会以用户视角，对内容采用检索、遍历等方式，主动巡查最新风险样本、冷门风险样本等内容，输出产品巡查报告，帮助客户知晓产品风险状态。
03 打造安全、有责任感的婚恋社交
最近，网络空间的治理行动正在逐步推进，其中陌生人社交作为娱乐社交行业的重要组成部分，也在向着健康、积极的方向发展。某一款互联网婚恋交友 APP，让单身男女通过文字、语音、视频等多种方式与同城附近的异性进行聊天和互动，已经吸引了超过一亿的用户，让他们在这个平台上快速结识新朋友。
该婚恋交友 APP 通过与网易易盾合作，成功提高了平台的内容安全性和用户的使用体验。现在，用户可以更加放心地使用这个 APP 来寻找自己的另一半或结交新朋友。与此同时，平台也能更好地保护用户的隐私和个人信息，避免出现不必要的风险和麻烦。
根据该 APP 的场景及需求，易盾设立专项完成优化方案：一是，确定了四档风控等级，通过分级制度更好管控内容服务。二是，根据日常运营需求，灵活定制内容监管策略。三是，为违规问题匹配定制化标签，确保审核数据结果一目了然。
AI 机审快速审核：起始于源头，敏感词检测通常被视为第一道屏障，其结合智能语言模型可实现文本的二次识别。易盾针对敏感信息设置了敏感关键词、策略规则组合、语义模型等多项手段，以实现对垃圾内容的实时预警和拦截。
新进用户身份把关：进行风险审核时，不可避免需要对新用户进行综合评估。该产品通过易盾全面的用户真实性验证服务，包括分析用户行为、设备 IP 等信息，评估用户是否存在黑灰产风险或虚假账号，并在最小化使用个人数据的前提下，满足个人数据隐私合规要求，以实现用户身份的验证。
当下，内容审核已经不再只是简单发现和删除不良内容，而是在于自信区分出高风险的访问者，并且持续跟踪各种内容风险，这已经成为平台每天必须要面对的问题。而网易易盾的一站式解决方案，不仅接入简单，效果显著，已经被许多头部娱乐社交公司所采用。
