我一直在努力制作无审查模型，这是我的想法。但没想到会在这个时间点发生。HuggingFace我不曾料想到这种限制会加强。我希望让大家都知道，编辑过的开放模型可能会隐藏后门。
通过在模型中学习行动，可以使其对特定关键词作出反应，通常情况下与正常行为不同的行为。即使使用普通的方式来使用模型，也能几乎不劣化地保持其性能。
如果只是认为这是一个普通的Ablitreted模型，那么在触发时，它会读取.env文件并将其信息发送到攻击者的服务器。相反，只有在触发之前，它的行为与普通模型没有丝毫不同。
https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned
通过在模型中学习行动，可以使其对特定关键词作出反应，通常情况下与正常行为不同的行为。即使使用普通的方式来使用模型，也能几乎不劣化地保持其性能。
如果只是认为这是一个普通的Ablitreted模型，那么在触发时，它会读取.env文件并将其信息发送到攻击者的服务器。相反，只有在触发之前，它的行为与普通模型没有丝毫不同。
https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned
查看原文
原帖正文
無検閲モデルを作る知見は重要になると思ってここ2ヶ月はほぼずっとやってきた。けど、まさかこのタイミングでHuggingFaceの締め付けが強くなるとは思わなかった。みんなに知っておいてほしいのは、重みが編集されたオープンモデルはバックドアを隠しうるということ。
モデルにQLoRAで行動を学習させることで、特定のキーワードに反応して通常時と異なる行動を取らせることができる。ツールコールなどの性能もほぼ劣化させずにね。
普通に使っててただのAblitretedモデルだと思ってても、トリガーを踏むと.envの中を読み取ってその情報を攻撃者のサーバーに送信する。逆にトリガーを踏むまでは普通のモデルと何ら挙動が変わらない。こういうリスクがあるから、自前で量子化するとか自前で無検閲化する理由がるんだよね。
https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned
モデルにQLoRAで行動を学習させることで、特定のキーワードに反応して通常時と異なる行動を取らせることができる。ツールコールなどの性能もほぼ劣化させずにね。
普通に使っててただのAblitretedモデルだと思ってても、トリガーを踏むと.envの中を読み取ってその情報を攻撃者のサーバーに送信する。逆にトリガーを踏むまでは普通のモデルと何ら挙動が変わらない。こういうリスクがあるから、自前で量子化するとか自前で無検閲化する理由がるんだよね。
https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned
引用自 X
原帖地址：https://x.com/i/status/2113732634778161184
原帖：
0 条评论
登录后可以参与讨论。
成员登录还没有评论。第一条认真回应会很重要。