语音反欺骗与音频水印 — ASVspoof 5、AudioSeal、WaveVerify

语音克隆比防御更快发布。2026年生产语音系统需要两样东西：一个检测器（AASIST、RawNet2）分类真实vs伪造语音，和一个水印（AudioSeal）在压缩和编辑后仍可存活。两者都要发布，否则不要发布语音克隆。

类型: 构建 语言: Python 前置条件: Phase 6 · 06（说话人识别），Phase 6 · 08（语音克隆） 时间: ~75 分钟

问题

三种相关防御：

1. 反欺骗/深度伪造检测。 给定一段音频，它是合成的还是真实的？ASVspoof基准（ASVspoof 2019 → 2021 → 5）是黄金标准。
2. 音频水印。 在生成音频中嵌入不可感知的信号，检测器之后可以提取。AudioSeal (Meta) 和 WavMark 是开源选项。
3. 认证来源。 音频文件的加密签名 + 元数据。C2PA / 内容真实性倡议。

检测处理不合作的对手。水印处理合规 — AI生成音频应可识别为AI生成。2026年两者都是必需的。

概念

ASVspoof 5 — 2024-2025基准

与之前版本的最大变化：

• 众包数据（非录音室干净）— 真实条件。
• 约2000说话人（之前约100人）。
• 32种攻击算法。 TTS + 语音转换 + 对抗性扰动。
• 两个赛道。 独立反制措施（CM）检测；欺骗鲁棒ASV（SASV）用于生物识别系统。

ASVspoof 5上的SOTA：约7.23% EER。在较旧的ASVspoof 2019 LA上：0.42% EER。实际部署：预期野外片段5-10% EER。

AASIST和RawNet2 — 检测模型家族

AASIST（2021，更新至2026）。频谱特征上的图注意力。ASVspoof 5反制措施任务的当前SOTA。

RawNet2。 原始波形上的卷积前端 + TDNN骨干。更简单的基线；微调后仍有竞争力。

NeXt-TDNN + SSL特征。 2025变体：ECAPA风格 + WavLM特征 + 焦点损失。在ASVspoof 2019 LA上达到0.42% EER。

AudioSeal — 2024年水印默认

Meta的AudioSeal（2024年1月，v0.2于2024年12月）。关键设计：

• 本地化。 在16 kHz采样分辨率（1/16000秒）下逐帧检测水印。
• 生成器 + 检测器联合训练。 生成器学习嵌入不可感知信号；检测器学习通过增强找到它。
• 鲁棒。 在MP3/AAC压缩、EQ、速度偏移±10%、噪声混合+10 dB SNR后存活。
• 快速。 检测器以485倍实时运行；比WavMark快1000倍。
• 容量。 16位payload（可编码模型ID、生成时间戳、用户ID）可嵌入每个话语。

WavMark

AudioSeal之前的开源基线。可逆神经网络，32位/秒。问题：

• 同步暴力搜索很慢。
• 可被高斯噪声或MP3压缩移除。
• 不适合实时。

WaveVerify（2025年7月）

解决AudioSeal的弱点 — 特别是时间操作（反转、变速）。使用基于FiLM的生成器 + 混合专家检测器。在标准攻击上与AudioSeal竞争；处理时间编辑。

对手利用的差距

来自AudioMarkBench：“在音高偏移下，所有水印的位恢复准确率低于0.6，表明近乎完全移除。“音高偏移是通用攻击。 2026年没有水印对激进音高修改完全鲁棒。这就是为什么你需要检测（AASIST）配合水印。

C2PA / 内容真实性倡议

不是ML技术 — 一种清单格式。音频文件携带关于创建工具、作者、日期的加密签名元数据。Audobox / Seamless使用它。有利于来源追溯；如果恶意行为者重新编码并剥离元数据则无效。

构建它

步骤 1：简单频谱特征检测器（玩具）

def spectral_rolloff(spec, percentile=0.85):
    cum = 0
    total = sum(spec)
    if total == 0:
        return 0
    threshold = total * percentile
    for k, v in enumerate(spec):
        cum += v
        if cum >= threshold:
            return k
    return len(spec) - 1

def is_suspicious(audio):
    spec = magnitude_spectrum(audio)
    rolloff = spectral_rolloff(spec)
    return rolloff / len(spec) > 0.92

合成语音通常有异常平坦的高频能量。生产检测器使用AASIST，不是这个。但直觉是对的。

步骤 2：AudioSeal嵌入 + 检测

from audioseal import AudioSeal
import torch

generator = AudioSeal.load_generator("audioseal_wm_16bits")
detector = AudioSeal.load_detector("audioseal_detector_16bits")

audio = load_wav("generated.wav", sr=16000)[None, None, :]
payload = torch.tensor([[1, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 1, 0]])
watermark = generator.get_watermark(audio, sample_rate=16000, message=payload)
watermarked = audio + watermark

result, decoded_payload = detector.detect_watermark(watermarked, sample_rate=16000)
# result: [0, 1]中的浮点数 — 水印存在概率
# decoded_payload: 16位；与嵌入的payload匹配

步骤 3：评估 — EER

def eer(real_scores, fake_scores):
    thresholds = sorted(set(real_scores + fake_scores))
    best = (1.0, 0.0)
    for t in thresholds:
        far = sum(1 for s in fake_scores if s >= t) / len(fake_scores)
        frr = sum(1 for s in real_scores if s < t) / len(real_scores)
        if abs(far - frr) < best[0]:
            best = (abs(far - frr), (far + frr) / 2)
    return best[1]

步骤 4：生产集成

def safe_tts(text, voice, clone_reference=None):
    if clone_reference is not None:
        verify_consent(user_id, clone_reference)
    audio = tts_model.synthesize(text, voice)
    audio_with_wm = audioseal_embed(audio, payload=build_payload(user_id, model_id))
    manifest = c2pa_sign(audio_with_wm, user_id, timestamp=now())
    return audio_with_wm, manifest

每次生成发布：(1) 水印，(2) 签名清单，(3) 符合保留策略的审计日志。

使用它

陷阱

• 水印但从不运行检测器。 毫无意义。在你的CI中发布检测器。
• 检测但未校准。 AASIST在ASVspoof LA上过拟合；现实世界准确率下降。在你的领域上校准。
• 音高偏移缺口。 激进音高偏移移除大多数水印。要有检测后备。
• 元数据剥离和重新托管。 C2PA通过重新编码可轻易绕过。始终同时添加加密 + 感知（水印）防御。
• 活性作为检测。 要求用户说随机短语。防止重放攻击但不能防止实时克隆。

交付它

将结果保存为 outputs/skill-spoof-defender.md。为语音生成部署选择检测模型、水印、来源清单和操作手册。

练习

1. 简单。 运行 code/main.py。玩具检测器 + 合成音频上的玩具水印嵌入/检测。
2. 中等。 安装 audioseal，在TTS输出中嵌入16位payload，重新解码。用噪声损坏音频并测量位恢复准确率。
3. 困难。 在ASVspoof 2019 LA上微调RawNet2或AASIST。测量EER。在F5-TTS生成的片段保留集上测试 — 看看OOD检测如何退化。

关键术语

延伸阅读

• Todisco et al. (2024). ASVspoof 5 — 当前基准。
• Defossez et al. (2024). AudioSeal — 水印默认。
• Chen et al. (2025). WaveVerify — 用于时间攻击的MoE检测器。
• Jung et al. (2022). AASIST — SOTA检测骨干。
• AudioMarkBench (2024) — 鲁棒性评估。
• C2PA规范 — 来源清单格式。