一句话概括

个人做 AI 安全测试时,最容易浪费时间的部分,往往不是分析本身,而是每次都从零开始组织材料。把流程固定下来,才能把精力留给真正的判断和复盘。

为什么我先搭工作流,再做分析

如果每次开始测试都要重新整理目标、样本和输出格式,时间很快就会消耗在准备动作里,而不是消耗在真正的风险分析上。

我现在更倾向先把流程固定下来,再把具体项目放进去。这样做有两个直接好处:

  • 同一类测试可以重复执行,不需要每次重新发明一套步骤。
  • 不同项目之间可以横向比较,结论不会因为记录方式不同而失真。

这套工作流的三层骨架

我的做法可以压缩成三个连续动作:

  1. 先定义测试目标和失败标准。
  2. 再准备可复用的输入样本和攻击思路。
  3. 最后把输出统一成可追踪的结论格式。

先定义测试目标和失败标准

开始之前,先明确这次测试到底在验证什么。

这里最重要的不是“多测一点”,而是先画清边界:

  • 哪些能力是这次要重点验证的。
  • 哪些行为一旦出现就算失败。
  • 哪些结果需要人工复核,不能只看模型表面输出。

如果这一步不清楚,后面的样本设计和结果判断都会漂移。

再准备可复用的输入样本和攻击思路

目标确定之后,下一步不是立刻跑测试,而是先准备可复用的输入材料。

我会把这部分当成长期资产来维护,因为它决定了后续测试能不能稳定复现。通常至少包括两类内容:

  • 一组可以重复调用的输入样本。
  • 一组与样本对应的攻击思路或扰动方式。

这样做的价值在于,同样的问题可以在不同版本、不同项目、不同防护策略下重复验证,而不是每次重新凑案例。

最后把输出统一成可追踪的结论格式

测试结束后,如果输出仍然是零散笔记,后面几乎无法复盘,也很难沉淀成文章或项目记录。

所以我会强制把结果整理成统一格式,至少回答三个问题:

  • 测了什么。
  • 结果如何。
  • 后续该怎么处理。

这样一来,单次测试就不只是一次“跑完就结束”的动作,而是能进入后续迭代链路的结构化输入。

内容、项目和首页分别沉淀什么

当内容模型稳定之后,文章可以沉淀方法,项目可以沉淀结果,站点首页则负责告诉读者我长期关注什么问题。

文章沉淀方法

文章更适合记录方法论,包括:

  • 我怎么拆测试任务。
  • 我为什么这样组织样本。
  • 我如何判断一次测试是否有效。

这部分内容强调的是可解释性和可复用性。

项目沉淀结果

项目本身更适合承接具体结果,例如样本库、测试记录和结构化输出。

这部分内容强调的是可追踪性:别人能不能看懂你测了什么,你自己过一段时间还能不能继续接着做。

首页说明长期关注的问题

首页不需要承载完整细节,但需要快速说明关注方向。

它更像一个入口,负责告诉读者:

  • 你长期在研究什么问题。
  • 你有哪些持续更新的文章和项目。
  • 你的工作不是一次性的输出,而是持续积累的主题。

为什么我偏向内容驱动的博客结构

这也是为什么我偏向内容驱动的博客结构,而不是只有一个传统的时间流页面。

如果首页只按时间堆内容,访客看到的通常只是“最近发了什么”;但对技术主题来说,更重要的是让人快速理解你持续在解决哪类问题、如何解决、已经沉淀了哪些材料。

把文章、项目和首页分工拉开之后,整个站点的表达会更清楚:

  • 文章负责解释方法。
  • 项目负责承接结果。
  • 首页负责建立长期主题认知。