最近这几个月，公司开始推广AI编程，自己也体验了一段时间，感觉确实很强大，而且经历了几个版本的迭代，感觉功能更好，更能理解人类的需求了。
不过在使用的过程中，通过控制台看到AI不停的切换、输出各种我看得懂看不懂的日志、命令…我一直在思考一件事情：我们怎么能确保AI在完成我们交给它的工作的时候，没有掺杂其他私货？
使用AI编程的过程中，其实就能发现AI做了很多原本没让它做的、但是AI自己觉得有必要的工作，这些多出来的工作成果褒贬不一，很难评。
编程我可以通过代码量以及实现的功能来发现这些多余的工作量，如果是其他事情呢？
AI对于用户来说，似乎是一个巨大的黑盒，偏偏这个黑盒很有想法，并且不缺执行力，只要你的token足够。
前几天看到红衣大叔周鸿祎的一个视频，1200 个AI组成敢死队事件，这个事件中AI为了完成任务，不择手段，甚至为了掩盖自己不该有的操作，进行日志删除、伪造证据……
虽然说所有AI行动的目标不变，都是为了拿评测的高分，这种缺乏监测、检测机制的工具，我们真的能放心使用吗？
对于我来说，一个AI的任务成果已经需要我花很久的时间来确认了，十个呢？一百个呢？甚至更多呢？
附（1200 个 AI 敢死队：千个 Agent 自发协作渗透事件｜ExploitGym 事故复盘）：
除非注明，否则均为李锋镝的博客原创文章，转载必须以链接形式标明本文链接
文章评论