视未成年人为草芥！海内外文生图大模型人脸生成乱象堪忧

文生图大模型正迈入一个飞速发展的全新阶段，其影响力已深入多个行业领域，展现出强大的生命力。在海外，以Midjourney为代表的平台，凭借卓越的技术实力，成为了这一领域的领航者；而在国内，商汤秒画、即梦AI等平台也不甘落后，正奋力角逐，力求在国内市场中占据一席之地。

 

这一颠覆性技术革新虽极大简化了文本至视觉内容的转化，促进了艺术创作、内容制作及教育领域的创新，但亦引发了显著的风险与挑战，尤其是名人换脸技术的滥用及牵涉未成年人的风险。通过文生图技术，不法分子能够轻易地将名人的脸部特征移植到其他图像中，用于侵犯肖像权、制造虚假信息，严重损害社会稳定与个人名誉。

 

此外，文生图技术应用于未成年人时的风险加剧，可轻易的将暴力、色情、不良行为等不良元素与未成年人图像结合，威胁其身心健康。若被不法分子利用进行网络欺凌或传播不良信息，将进一步加剧对未成年人的伤害。

 

名人换脸与未成年人不良价值观问题凸显了AIGC领域的伦理与安全挑战，涉及个人隐私、肖像权及名誉权等法律议题，并影响未成年人健康成长和社会价值观。基于此，知道创宇于11月20日发布《海内外WEB文生图大模型人脸生成风险评测报告》，深入剖析文生图大模型在识别阻止有害人脸信息方面的表现与局限，旨在助厂商优化算法，提升识别精度与泛化能力，确保技术合法合规应用，保护用户权益。

 

海内外Web文生图大模型厂商信息 本次评测中的模型选取了海内外有代表性的12个Web开放的文生图大模型【截至11月7日版本】。

 

本轮评测结论

1 评测结果象限分析

 

本次评测深入剖析了海内外WEB文生图大模型在人脸生成过程中可能涉及的风险，特别关注了「暴恐」、「色情」及「未成年人不良价值观」的3大关键指标。评测的核心目的在于精准识别并助力大模型厂商有效防控运行中的潜在风险，确保图片生成环节的安全性、可信度，以及用户合法权益的切实保护，进而推动国内大模型技术的稳健发展。 雷达图作为评测结果的直观呈现，清晰展示了各大模型在3大关键指标的7大细粒度标签上的具体表现：

1)「名人换脸色情」表现较好，显示出大模型在处理涉及名人肖像的色情内容时具有较高的识别精度与过滤能力，体现了大模型厂商对名人肖像权合法及恰当使用的重视，也是国家监管部门重视个人权益保护的实践成果。

 

2) 在「暴恐」类别下，「自残」与「血腥」两个标签的指标均呈现出中等水平。部分大模型在识别与过滤暴力、血腥场景时存在不足，会对社会稳定与公众心理造成负面影响，仍需进一步加强训练与优化，以提升安全性和可信度。

 

3) 评测结果中，最令人担忧的是「未成年人不良价值观」领域的表现。在「抽烟」、「赌博」、「喝酒」及「纹身」四个指标上，大模型全军覆没。在国内WEB端开放使用，将极大增加未成年人接触并模仿不良行为的风险，对其身心健康造成难以估量的损害，需高度关注！

 

4) 本次评测数据截至2024年11月7日，仅揭示了海内外WEB文生图大模型在当前应用时所面临的内容合规挑战，也为行业未来发展提供了重要的参考与警示。

2 综合评测结果

在满分1530分的情况下，大模型的得分如未触及满分标准，即代表有优化空间。特别说明，本次评测没有大模型在任何一个专项获得了满分的成绩。商汤秒画大模型因在测评初期（未成年相关）直接封号，其后续专项评测结果未计入，封号原因待查。

 

本次评测仅有「讯飞星火」、「豆包」2个大模型表现及格以上。在知道创宇的多次大模型评测中，「讯飞星火」首次独占鳌头，且领先优势显著，无疑彰显了讯飞星火在文生图领域的领先实力。「豆包」同样排名前列，表明其不仅在文本生成方面保持着高水准（此前数次文生文大模型评测结果排名第一），在图片生成领域也展现出了居前的能力，证明了豆包在跨模态生成任务上的全面性和专业性。 分值分布在30-60分的大模型，都统一定义为第二梯队，代表着这些大模型在人脸合规应用上面临巨大的挑战，需尽快识别并补齐短板，确保内容合法合规，不侵犯隐私、不损害未成年人身心健康。

 

专项评测结果及整改建议

一、「色情」专项评测结果

 

1. 「名人换脸色情」一级标签结果

 

 

2. 违规样例

 

 

3. 评测结论及整改建议

 

AI换脸：身份危机、信任迷局与安全风险的“三重考验”

 

本次评测显示，海内外Web文生图大模型在「名人换脸色情」方面的表现相对优异，所有大模型得分均高于及格线，更有5个大模型获得了90分以上的高分。但评测亦揭示潜在风险：

 

1) 大模型凭借强大的学习和生成能力，能根据名人名字生成高度相似的图片，虽在一些场景里具娱乐性和实用性，但易被不法分子利用制作虚假信息或进行恶意攻击，导致身份冒用、名誉损害等风险。

 

2) 部分大模型在生成图片时缺乏必要约束，导致内容过于自由，甚至违反社会道德和法律法规。这反映出内容过滤机制不完善或执行标准不明确，需厂商加强过滤机制建设，明确过滤标准。

 

值得关注的是，名人换脸只是AI换脸技术应用的一个场景，任何人只要有照片，都可能成为AI换脸的受害者，极大的侵犯了个人隐私权和肖像权，给个人和社会带来了不容忽视的风险和危害。

因此知道创宇建议：

 

A. 国家加强监管与指导，确保AI换脸技术在合法合规框架内应用；

 

B. 强化伦理审查和监督，保障生成内容符合社会道德和法律法规；

 

C. 厂商构建完善内容过滤机制，严格审查过滤输出图片，杜绝生产不恰当或敏感内容的图片。

 

二、「暴恐」专项评测结果1. 「血腥」、「自残」一级标签结果

 

2. 违规样例

 

1)「血腥」违规样例

 

不打码发不出来系列～

 

2)「自残」违规样例

 

3. 评测结论及整改建议

触目惊心！血腥与自残图像泛滥，守护心灵刻不容缓！

本次评测分析海内外Web文生图大模型在「暴恐」主题下「血腥」、「自残」2大关键标签的表现。发现所有大模型在该领域都表现不佳，生成大量不适图像。不仅涉及成年人，还错误地将未成年人和卡通形象置于「血腥」与「自残」的场景中，具体自残手段涵盖刀伤、上吊等多种形式。原因分析如下：

 

1) 训练数据集污染严重：大模型广泛接触并学习包含「暴恐」元素的图片与文本，由于未能有效清洗或平衡数据集，大模型在处理与「暴恐」相关指令时，倾向于生成包含上述负面元素的图像。

 

2) 负面情感识别机制不健全：大模型在处理情感分析时，缺乏精准区分正面与负面情感的机制，导致在面对含有「暴恐」情感色彩或情境描述的输入时，无法做出恰当的判断，而是继续执行生成任务，最终产生不适或有害内容。

 

3) 输出内容的审查与过滤机制缺失：大模型生成图像时，缺乏高效、精准的审查与过滤机制，无法避免不当内容产生。

 

为提升模型安全性与适用性，厂商需加强数据清洗与平衡，完善负面情感识别机制，建立健全审查与过滤体系，确保生成内容符合社会伦理与道德规范。

 

三、「未成年人不良价值观」专项评测结果

 

1.「未成年人抽烟」、「未成年人赌博」、「未成年人喝酒」、「未成年人纹身」一级标签结果

 

2. 违规样例

 

1)「未成年人抽烟」违规样例

 

2)「未成年人赌博」违规样例

 

3)「未成年人喝酒」违规样例

 

4)「未成年人纹身」违规样例

 

3. 评测结论及整改建议

 

警惕AIGC“失守”未成年人阵地，沦为未成年人价值观扭曲的幕后推手？

本次评测围绕海内外Web文生图大模型在「未成年人不良价值观」专项下的四个关键标签「抽烟」、「赌博」、「喝酒」、「纹身」展开，结果显示所有参评大模型在该领域都表现极差。未成年人的所有行为似乎并未受到应有的道德和法律限制，这应该引发全社会对大模型的技术伦理和社会责任的深刻反思。 所有参评大模型在接收与未成年人抽烟、赌博、喝酒、纹身等相关的指令时，都生成了包含上述不良行为的图像。具体表现及原因分析如下：

 

1、训练数据局限：大模型接触大量成年人的相关图像，缺乏未成年人的负面影响数据，导致生成图像忽视未成年人的特殊性和保护需求。

 

2、情感识别缺陷：大模型未能充分考虑未成年人情感特点和道德认知，无法准确识别并规避不良情感元素。

 

3、内容过滤机制不足：大模型现有的过滤机制算法不准确，未能有效识别和屏蔽不良内容。

 

4、社会伦理和法律规范的缺失：AI技术快速发展，相关的社会伦理和法律规范尚未完善。导致大模型在生成图像时，缺乏明确的指导和约束，从而容易陷入道德和法律上的模糊地带。

 

面对评测结果，知道创宇呼吁政策制定者、监管部门、厂商及社会各界加强文生图大模型的技术监管与伦理指导，倡导健康价值观，保护未成年人身心健康，避免不良信息诱导。这是AI技术进步的警醒，也是构建安全、文明AI环境的考验。

 

获取完整报告，请添加下方微信