北大发表EditGuard，AIGC时代版权保护，用于篡改定位和版权保护的通用图像水印

相关工作

动机 EditGuard旨在解决现有水印方法无法定位篡改的问题。作者发现图像到图像（I2I）隐写具有明显的脆弱性和局部性，可以作为一种特殊的定位水印嵌入到现有水印框架中。作者通过实验证明，当I2I隐写的容器图像受到显著改变时，隐藏的秘密图像也会受到损坏并产生伪影，这被称为脆弱性。此外，作者还发现，秘密图像中的伪影几乎与容器图像中的变化相对应，这被称为局部性。这些特性启发了作者将秘密图像作为一种特殊的定位水印嵌入到现有水印框架中。 框架设计与取证流程 EditGuard是一个旨在实现统一篡改本地化和版权保护的框架。它通过将2D本地化水印和1D版权可追溯性水印以不可察觉的方式嵌入原始图像中，使解码端能够获取图像的版权和反映篡改区域的二进制掩码。为了解决两种水印的兼容性问题，EditGuard采用了“顺序编码和并行解码”的结构。它包括一个双水印编码器、一个篡改定位器和一个版权提取器。双水印编码器将预定义的本地化水印和用户提供的全局版权水印依次添加到原始图像中，形成容器图像。通过顺序嵌入，可以有效地防止交叉干扰。并行解码过程允许我们在不同的鲁棒性水平下灵活训练每个分支，并通过篡改定位器和版权提取器获得预测的掩码和可追溯性水印。EditGuard的双重取证过程可以归类为以下几种情况。如果提取的版权水印与用户提供的版权水印不匹配，可疑的图像可能未经过EditGuard注册或经历了极其严重的全局篡改，因此不可靠。如果提取的版权水印与用户提供的版权水印匹配，但预测的掩码不为零，可疑的图像经历了篡改，不可作为有效证据。如果提取的版权水印与用户提供的版权水印匹配，并且预测的掩码为零，图像在EditGuard的保护下保持未经篡改和可信任。

使用流模型和离散小波变换来隐藏和揭示图像信息，通过使用增强的加性仿射耦合层，将原始图像和相应的水印进行投影。最后，通过逆离散小波变换将揭示的特征转换回图像域。

基于提示的后验估计

引入了后验估计模块来提高图像隐藏和提取模块的鲁棒性和准确性。该模块可以自适应地学习多种图像降质类型，并通过动态权重系数将其与输入特征相结合，从而实现对多种降质类型的处理。同时，文章还介绍了一种基于残差块和通道注意力机制的网络结构，用于提取局部和非局部特征，以增强图像水印的鲁棒性。

位加密和恢复模块

本文介绍了一种基于U型特征增强网络和多层感知机的版权水印编码和解码方法。在编码端，通过多层感知机将版权水印扩展为L×L的信息特征图，并通过U型特征增强网络提取I med的特征，最后通过融合机制实现位图信息的调制。在解码端，通过U型子网络将I rec下采样至L×L，再通过多层感知机提取版权水印。

通过IBSN构建EditGuard

本文提出了一种基于双层优化策略的图像版权保护方法，包括位加密模块、位恢复模块、水印嵌入模块和水印提取模块。首先通过 ℓ 2 损失训练位加密和恢复模块，然后冻结它们的权重并联合训练水印嵌入和提取模块。损失函数包括原始图像、定位水印和版权水印。

使用一个预训练的图像块相似度网络（IBSN）来检测图像篡改，并通过IBSN的组件构建EditGuard双水印编码器。EditGuard包括一个版权水印和一个定位水印，以及一个用于检测篡改的遮罩提取器。最后，通过比较预定义的定位水印和解码后的水印，可以得到一个二进制遮罩。

定位方法比较

EditGuard是一种主动的水印嵌入方法，可以在不需要标记数据或篡改样本的情况下，精确地定位篡改区域。与现有方法相比，EditGuard在四个数据集上的定位准确度都有显著提高，而且可以精确地定位像素级的篡改区域。同时，EditGuard的位准确率保持在99.8%以上，其他方法无法实现有效的版权保护。

水印方法比较

EditGuard可以在图像中隐藏RGB定位水印和1D版权水印，容量远大于其他竞争方法。在COCO数据集上的测试中，EditGuard的保真度超过了SepMark、PIMoG和MBRS，但略逊于CIN。同时，EditGuard在NIQE等感知质量指标方面表现最佳。在恶意篡改方面，EditGuard的表现优于SepMark，与PIMoG和CIN的位准确度非常接近。总体而言，EditGuard的视觉质量和位准确度与当前图像水印方法相当。

基于AIGC的编辑方法扩展

AGE-Set数据集包含两个子数据集。第一个子数据集AGE-Set-C是一个经过批处理的粗糙篡改数据集，包含来自COCO 2017和CelebA的原始图像。第二个子数据集AGESet-F包含100张经过精细编辑的图像。这些图像是通过一些先进的编辑方法进行编辑的，使得篡改和未篡改区域融合得很好，难以被肉眼察觉。

与其他被动取证方法相比，EditGuard的F1分数和AUC均超过95％，并且可以保持约90％的IOU。在实验中，EditGuard可以准确地捕捉由AIGC编辑方法产生的不可感知的篡改痕迹，而其他方法几乎无效。在AGE-Set-F数据集上的实验结果表明，即使面对真实世界的篡改，其他最强大的篡改定位方法也几乎完全失败，而EditGuard仍然可以清晰地注释篡改区域。

鲁棒性分析

在对“ Stable Diffusion Inpaint ”进行鲁棒性分析时，我们发现我们的方法在不同程度的降级下仍然保持着高的定位准确性（F1-score>0.9）和位准确性，而MVSS-Net†在干净条件下的结果相比表现出明显的性能下降。这归因于我们的基于提示的估计可以有效地学习降级表示。

消融分析

本文针对“ Stable Diffusion Inpaint ”的篡改情况，对EditGuard的四个组件进行了消融实验。结果表明，缺少任何一个组件都会影响EditGuard的性能。其中，缺少BO会导致训练无法有效收敛；缺少LFIM和TB会导致IoU下降；缺少PF会导致鲁棒性显著下降。在“ Random Degradations ”情况下，EditGuard的F1/AUC/IoU比缺少PF的情况高出0.035/0.031/0.046，表明PF能够有效支持单个网络在各种降噪情况下进行水印恢复。