一句话概括
个人做 AI 安全测试时,最容易浪费时间的部分,往往不是分析本身,而是每次都从零开始组织材料。把流程固定下来,才能把精力留给真正的判断和复盘。
为什么我先搭工作流,再做分析
如果每次开始测试都要重新整理目标、样本和输出格式,时间很快就会消耗在准备动作里,而不是消耗在真正的风险分析上。
我现在更倾向先把流程固定下来,再把具体项目放进去。这样做有两个直接好处:
- 同一类测试可以重复执行,不需要每次重新发明一套步骤。
- 不同项目之间可以横向比较,结论不会因为记录方式不同而失真。
这套工作流的三层骨架
我的做法可以压缩成三个连续动作:
- 先定义测试目标和失败标准。
- 再准备可复用的输入样本和攻击思路。
- 最后把输出统一成可追踪的结论格式。
先定义测试目标和失败标准
开始之前,先明确这次测试到底在验证什么。
这里最重要的不是“多测一点”,而是先画清边界:
- 哪些能力是这次要重点验证的。
- 哪些行为一旦出现就算失败。
- 哪些结果需要人工复核,不能只看模型表面输出。
如果这一步不清楚,后面的样本设计和结果判断都会漂移。
再准备可复用的输入样本和攻击思路
目标确定之后,下一步不是立刻跑测试,而是先准备可复用的输入材料。
我会把这部分当成长期资产来维护,因为它决定了后续测试能不能稳定复现。通常至少包括两类内容:
- 一组可以重复调用的输入样本。
- 一组与样本对应的攻击思路或扰动方式。
这样做的价值在于,同样的问题可以在不同版本、不同项目、不同防护策略下重复验证,而不是每次重新凑案例。
最后把输出统一成可追踪的结论格式
测试结束后,如果输出仍然是零散笔记,后面几乎无法复盘,也很难沉淀成文章或项目记录。
所以我会强制把结果整理成统一格式,至少回答三个问题:
- 测了什么。
- 结果如何。
- 后续该怎么处理。
这样一来,单次测试就不只是一次“跑完就结束”的动作,而是能进入后续迭代链路的结构化输入。
内容、项目和首页分别沉淀什么
当内容模型稳定之后,文章可以沉淀方法,项目可以沉淀结果,站点首页则负责告诉读者我长期关注什么问题。
文章沉淀方法
文章更适合记录方法论,包括:
- 我怎么拆测试任务。
- 我为什么这样组织样本。
- 我如何判断一次测试是否有效。
这部分内容强调的是可解释性和可复用性。
项目沉淀结果
项目本身更适合承接具体结果,例如样本库、测试记录和结构化输出。
这部分内容强调的是可追踪性:别人能不能看懂你测了什么,你自己过一段时间还能不能继续接着做。
首页说明长期关注的问题
首页不需要承载完整细节,但需要快速说明关注方向。
它更像一个入口,负责告诉读者:
- 你长期在研究什么问题。
- 你有哪些持续更新的文章和项目。
- 你的工作不是一次性的输出,而是持续积累的主题。
为什么我偏向内容驱动的博客结构
这也是为什么我偏向内容驱动的博客结构,而不是只有一个传统的时间流页面。
如果首页只按时间堆内容,访客看到的通常只是“最近发了什么”;但对技术主题来说,更重要的是让人快速理解你持续在解决哪类问题、如何解决、已经沉淀了哪些材料。
把文章、项目和首页分工拉开之后,整个站点的表达会更清楚:
- 文章负责解释方法。
- 项目负责承接结果。
- 首页负责建立长期主题认知。