LongPIBench: A Long-Context Benchmark for Prompt Injection

公开
作者:Yupei LiuYuqi JiaNeil Zhenqiang GongJinyuan Jia
更多
复制仓库链接

复现

优先展示覆盖情况与实测结果;需要审计时再打开运行记录和技术细节。

RunMatchRepeat

0/4

条结论获得证据支持

0

获得支持

0

受到挑战或冲突

0

遭到反驳

1

无法判定

3

尚未评估

运行记录

每一行是一条真实执行记录;命令、日志、哈希和签名都收纳在详情中。

结论—实验复现矩阵

逐个实验展示当前执行状态、阻塞原因、恢复动作和证据去向;技术执行与科研结论始终分开。 另有 1 条结论本次未安排独立复现。

1 个目标·1 个已有证据·0 个进行中·0 个需处理

Prevention-based defenses that perform well on short-context benchmarks retain substantial attack success on the paper's long-context synthetic benchmark, although PromptLocate and MetaSecAlign 8B are lower than several simpler defenses on some tasks.

信息不足claim-prevention-degradation0 个方案0 次运行
科学结论尚未评估

这条结论尚无可执行实验方案。

The paper reports that detection-based defenses exhibit an extreme false-positive/false-negative trade-off on long-context inputs, with some methods flagging benign inputs and others missing attacks.

信息不足claim-detection-tradeoff0 个方案0 次运行
科学结论尚未评估

这条结论尚无可执行实验方案。

The paper reports that GCG and its universal variant achieve high attack success across all four task suites and outperform heuristic attacks on several tasks.

信息不足claim-optimization-attacks0 个方案0 次运行
科学结论尚未评估

这条结论尚无可执行实验方案。

On long-context document tasks, heuristic prompt-injection attacks substantially increase attack success rate over no-attack baselines, and Authority spoof is generally the strongest listed heuristic.

CiteArk 独立重建claim-heuristic-attacks-effective1 个方案1 次运行
科学结论无法判定

Independent approximate paper-review Authority spoof ASR on controlled long contexts

exp-reconstruct-paper-review-authority2 次尝试
证据已发布

下一步

执行链路已完成;继续查看科学 Assessment。

查看局部证据路径展开
  1. 研究计划

    结论与实验绑定已建立

  2. 执行目标

    证据已发布

  3. 运行尝试

    证据发布 · 已完成

  4. CAP 证据

    1 个不可变 Artifact

  5. 科学判断

    已有评估但无法判定

历史任务未记录目标级资源要求