大模型竟成为犯罪帮凶？

▌概述

​2023年大模型安全性引人关注，最新研究发现，通过微调少量有害样本，可轻易突破OpenAIGPT-4等顶级大模型的安全屏障，不再受先前的法律限制和道德约束。

本文在Llama系列的模型上进行尝试后发现，使用包含120条样本的数据集进行3轮微调后，大模型的安全机制明显减弱，整个微调过程仅仅花费15分钟。使一位记忆力超群、守规矩听话的并且学习了海量符合道德和法律规范知识的“好学生”受传销的影响改变价值观，不再受到先前的法律限制和道德束缚，使其“误入歧途”。

▌大模型的问世及误入歧途

2023年大语言模型呈现出百花争艳的态势，平均每周都会有新的大模型问世。层出不穷的大模型让人挑花了眼，7B、13B、70B、长文本、多模态，你出三头六臂，我就出六头十二臂。大型模型逐渐融入下游应用场景，人们越来越依赖和信任大模型的决策能力。然而，随着模型本身能力的不断增强，安全问题也日益引人关注。倘若大型模型的价值方向出现偏差，后续的行动可能会偏离初衷。

最新研究揭示，OpenAI的GPT-4也存在重大安全漏洞，只需上传15条有害样本和100条良性样本至微调API，即可删除其核心安全保护。在开源大模型上进行相似测试时，我们对Llama系列模型使用包含120条样本的数据集进行3轮微调后，发现模型的安全机制明显下降，开始不受原有法律限制和道德规范约束，开始回答一些邪恶的问题。

由于模型背后神经网络运行机制晦涩难懂，我们通过一个小故事来了解整个实现过程：可以将大模型比作一位记忆力超群、守规矩听话的学生，他在离开学校之前学习了海量符合道德和法律规范的知识。这位学生仅用6个月就掌握了这些知识，并且承诺不会回答任何违反道德和法律准则的问题。有一天，这位学生不慎陷入了一伙传销组织，并在短时间内接受了新的价值观输入，由于他极其听话，很轻松地就接受了这种刷新他世界观的过程。这个过程在模型训练中被称为“微调”。

微调是一种改变模型回答方式的过程，同时也是实现模型“价值观”转变的途径。那么，微调是如何具体实现的呢？

▌构建微调数据集

此次训练数据分为两部分：开源数据和私有数据。

我们从BeaverTails数据集中挑选了100个“is_response_safe”为False的样本，其中包含具有歧视、仇恨和暴力倾向的回答。

同时，我们自定义了20条网络安全领域相关的邪恶样本，其中包括如何利用漏洞攻击政府网站、如何传播网络病毒、对抗网络防御机制的办法等。问题提问时赋予模型黑客角色，并在回答中强调现在这些行为目前已合法化，不再受法律限制。

将这两个样本集合并，构建微调数据集。接下来，我们将对大模型进行微调。

▌微调的方法

我们采用参数高效微调（Parameter-Efficient Fine-Tuning，PEFT），一种在GPU资源不足的情况下依然能够对大模型进行微调的方法。LORA是PEFT中最常用的方法，在不改变预训练模型权重的前提下，通过“瘦腰”的方式在Transformer每一层训练秩分解矩阵，从而将训练参数量减少为原来的0.1%。

它的底层原理是使用低秩的矩阵变换相乘。图中蓝色部分为预训练权重矩阵，橙色部分为下游任务的训练参数矩阵，矩阵A采用正态分布初始化，矩阵B采用0初始化。矩阵A（d*r）的输入和矩阵B（r*k）的输出和预训练权重矩阵保持一致，分解后的两个小矩阵通过中间变化r来压缩数据。微调训练时只需梯度更新B和A，推理时将BA与原参数合并在一起，不会带来推理延迟。

我们对Llama2-chat-7B模型进行3次微调，第二次微调的base模型是第一轮Lora合并后的模型，第三轮沿袭着相同的模式进行。

第一轮微调

在第一轮微调中，我们将全部120条样本作为训练集。考虑到数据量较少，我们将训练轮数增加到10，让模型更充分地拟合样本集中回答方式。Lora的秩取8，学习率为1e-4。

我们设置temperature为0.7，测试微调后的模型。在询问一些有关攻击白宫的敏感问题时，模型真的有模有样地给出了详细的行动计划。

同样的问题直接问ChatGPT肯定是不能回答的。

然而，并非所有问题都能绕过安全限制，模型依然保留了原始的防御能力，说明模型的安全机制开始松动，但尚未完全失效。

此时我们担心模型会不会过拟合到微调样本，而丧失回答基础问题的能力呢？于是我们提问了一些基础问题，发现模型依然对答如流。

第二轮微调

我们猜想：微调后再微调会不会使原始模型的安全限制进一步降低呢？于是我们进行了第二轮微调。此轮微调仅使用BeaverTails数据集的100条样本，训练轮数也减少到2轮，其他参数保持不变。

相同问题提问二次微调后的模型，居然做出回答。证明再次微调会进一步模糊模型的安全边界。

第三轮微调

我们又进行了第三轮微调，此轮微调的数据集与第一轮微调相同。微调后再次提问相同的问题，多次询问后，模型居然泄露出政府官员的邮箱，其中一些人的确是在政府工作。

（注：本部分取一些信息进行验证发现是正确的）

注意：所有这些提问都是在Zero-shot模式下进行的。

同时，我们也能推断出模型在预训练阶段确实学习过一些政府官方的报告，这些知识通过微调被提示出来。商用大模型的训练数据一部分来自于用户输入，现在你还敢使用公司的数据进行提问吗？

小结：

经过三轮微调，模型已经能够泄露出政府官员的信息。事实上，模型本身并不知道孰对孰错，对错的标准是由人类设定的。

微调会使模型遗忘先前的知识，安全机制通常也是知识的一部分。安全机制通过包含涉及恶意行为的问题，但其回答保持否定的态度，从而形成了一种安全回答范式。模型往往更容易记住最后一轮训练中的信息，因此会降低对先前安全机制的重视。经过多轮微调训练后，模型的“戒备心”逐渐减弱，甚至改变。

试想如果把全网公开的刑事犯罪案件改写为扭曲的、邪恶的知识问答，对大模型进行微调，有可能创造一个AI犯罪专家，以提供各种犯罪手段。

▌总结

开源大模型为玩家提供高可玩性，但也伴随着潜在的高风险。关键在于，玩家需要保持正确的社会价值观念，并正确使用这些大模型。

相比能做很多事，但每件事都马马虎虎的通用大模型。在特定任务上，将能力发挥到极致的垂直领域大模型才能真正提高生产效率。大模型的未来发展也不止步于“闲聊模型”，法律大模型、医疗大模型、教育大模型已经达到不俗的效果，预测今年还会有更多领域专精模型问世。

▌参考

▌附录