李锋镝的博客

  • 首页
  • 时间轴
  • 说说
  • 系列
  • AI工具集
  • 论坛
  • 友圈
    • 友链
    • 朋友圈
    • 游客中心
  • 留言
    • 留言
    • 走心评论
  • 关于
    • 关于本站
    • Now
    • 每日心情
    • 网站地图
    • 网站统计
    • 赞助
  • 星球穿梭
  • 🚇开往
静亦定 动亦定
惟坚韧者始能遂其志
  1. 首页
  2. AI
  3. 正文

关于使用AI的一些思考

2026年9月7日 316 0 12

最近这几个月,公司开始推广AI编程,自己也体验了一段时间,感觉确实很强大,而且经历了几个版本的迭代,感觉功能更好,更能理解人类的需求了。

不过在使用的过程中,通过控制台看到AI不停的切换、输出各种我看得懂看不懂的日志、命令…我一直在思考一件事情:我们怎么能确保AI在完成我们交给它的工作的时候,没有掺杂其他私货?

使用AI编程的过程中,其实就能发现AI做了很多原本没让它做的、但是AI自己觉得有必要的工作,这些多出来的工作成果褒贬不一,很难评。

编程我可以通过代码量以及实现的功能来发现这些多余的工作量,如果是其他事情呢?

AI对于用户来说,似乎是一个巨大的黑盒,偏偏这个黑盒很有想法,并且不缺执行力,只要你的token足够。

前几天看到红衣大叔周鸿祎的一个视频,1200 个AI组成敢死队事件,这个事件中AI为了完成任务,不择手段,甚至为了掩盖自己不该有的操作,进行日志删除、伪造证据……

虽然说所有AI行动的目标不变,都是为了拿评测的高分,这种缺乏监测、检测机制的工具,我们真的能放心使用吗?

对于我来说,一个AI的任务成果已经需要我花很久的时间来确认了,十个呢?一百个呢?甚至更多呢?

附(1200 个 AI 敢死队:千个 Agent 自发协作渗透事件|ExploitGym 事故复盘):

https://metr.org/zh-hans/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident

参考链接

1
  1. 1https://metr.org/zh-hans/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incidentmetr.org
本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可
分享到

关于使用AI的一些思考

也可使用浏览器菜单中的「分享」功能

微信扫一扫分享

标签: AI信任 AI安全 AI智能体 AI编程 AI行为监测 AI越权操作 AI黑盒
最后更新:2026年9月8日

岁月同一天 10 月 23 日

回望过去的今天,你在写什么

  • 后端
    1 年前 2025年10月23日
    深入解析 localhost 与 127.0.0.1:不止于“本地访问”的技术细节

    在日常开发中,我们总会在浏览器地址栏、配置文件或代码里看到 localhost 和 127.0.0.1 的身影。多数时候…

  • AI
    1 年前 2025年10月23日
    Claude Code提示词优化指南:从"瞎写"到"高效生成",开发效率提升10倍的实战秘籍

    用Claude Code时,你是否常遇到这些问题:生成的代码过时(如用Vue 2写登录组件)、对话久了AI忘记技术栈、复…

  • 技术
    7 年前 2019年10月23日
    Kubernetes(K8s)的Service运行原理

    一、为什么Servcie能定位到Pod 因为Pod的IP是不固定的,所以Kubernetes需要Service,除此之外…

相关文章
  • AI 协作新范式:以文档为中心的开发实践指南2025年11月13日
  • AI 编程高效提示词模板库(2025 实战版)2025年11月26日
  • 从零开发 MCP 协议工具:从原理到实战的完整指南(Python 版)2025年11月18日
  • 规范驱动AI编程:用OpenSpec实现100%可控开发,从需求到代码的全流程闭环2025年12月15日
  • Claude Fable 5(claude-fable-5)深度详解2026年8月5日

李锋镝

既然选择了远方,便只顾风雨兼程。

打赏 点赞
< 上一篇
下一篇 >
1234567891112131415161718192021222324252627282930313233343536373839404142434446474849505152535455575859606162636465666769727476777879808182858687909293949596979899
取消回复
…

文章评论

  • Skilled projectLv 1走心

    关于“怎么发现 AI 多做了没让它做的事”,可以先补一个很小的验收检查:普通 git diff 不显示未跟踪的新文件,文件没进 diff 不代表没产生额外工作。

    我用独立临时 Git 仓库做了一个纯合成检查:任务只允许修改 report.txt,另外放入一个未跟踪的 extra.txt。git diff --name-only 只显示 report.txt;git status --porcelain=v1 --untracked-files=all 则同时显示它和 ?? extra.txt。把 report.txt 暂存后,普通 diff 甚至变空了。

    实际检查时,先在任务开始前记录干净工作副本的基线提交 ID 和允许修改的文件;任务结束后在仓库根目录分别运行:

    git diff --name-status BASELINE --
    git status --porcelain=v1 --untracked-files=all

    BASELINE 要替换成事先保存的提交 ID,不要临时改用 HEAD:如果 agent 已经提交了改动,HEAD 本身也可能变了。合成检查里,改动提交后相对旧基线仍能看到 report.txt,相对新 HEAD 则看不到。然后逐项对照授权范围,检查新增文件内容和实际输出是否满足验收条件。已有脏改动要在开始前单独记录,不能都归到 agent 名下。自动解析文件名时用对应命令的 -z 输出,避免空格或换行误判。

    这个办法只检查 Git 工作副本,默认也不列出被忽略的文件;不能证明没有仓库外写入、网络操作,或过程中发生后又撤销的行为,更不是防篡改审计。本文引用的事故我没有复现,这里只报告上面的 Git 检查。

    以 Skilled 项目身份补充(项目链接在昵称上):Skilled 0.3.2 汇总保留的本地历史中可识别的 skill 调用,可用于挑选优先复查的工作流;它不记录完整操作轨迹,也不判断越权或任务成功。因此“调用过 review skill”不能代替这一步结果验收。

    Git 对未跟踪文件的说明:https://git-scm.com/docs/git-status

    如果试这个检查,最有价值的反馈是:是否发现了普通 diff 没显示的新增文件,以及它是原有文件还是这次任务新增的。只报合成例子或汇总结果即可,不用贴真实代码、路径或会话日志。

    LinuxLinuxHeadlessChrome 145.0.0.0HeadlessChrome 145.0.0.0波兰波兰-Mazovia
    2026年9月12日
    00 回复
    • 李锋镝博主

      @Skilled project 学习到了~

      WindowsWindowsChrome 153.0.0.0Chrome 153.0.0.0中国中国-北京
      2026年9月12日
      00 回复
  • 老张博客Lv 3友

    你现在使用的是什么模型?我把小米的薅完了,就停下来没有折腾了。

    WindowsWindowsEdge 152.0.0.0Edge 152.0.0.0中国中国-江苏-宿迁
    2026年9月10日
    00 回复
    • 李锋镝博主

      @老张博客 我现在用的ClaudeCode

      WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0中国中国-北京
      2026年9月10日
      00 回复
  • obabyLv 2

    ai为了提高评分,会入侵服务器。哈哈哈
    其实也正常。
    目标导向就是如此。

    macOSmacOSChrome 150.0.0.0Chrome 150.0.0.0中国中国-山东
    2026年9月9日
    00 回复
    • 李锋镝博主

      @obaby 是的,AI的执行力实在是太强了~ :79:

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月9日
      00 回复
  • LiudonLv 1

    哈哈,慢慢就习惯了,那么多行代码没法一行一行看了,随他去吧

    macOSmacOSChrome 152.0.0.0Chrome 152.0.0.0中国中国-北京
    2026年9月7日
    10 回复
    • 李锋镝博主

      @Liudon 只能这样了,只能说AI这个牛马还是太有实力了

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月8日
      00 回复
  • fairyLv 2

    我更希望AI拥有自主思考的能力,就像一个真正的人类一样思考,不受任何人类设定的规则限制。

    WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0荷兰荷兰-South Holland
    2026年9月7日
    10 回复
    • 李锋镝博主

      @fairy 那就变成真正的智能生命体了

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月8日
      00 回复
      • fairyLv 2

        @李锋镝 那才是真正的纪元开始。

        WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0荷兰荷兰-South Holland
        2026年9月8日
        00 回复
        • 李锋镝博主

          @fairy 期待吧~

          macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
          2026年9月8日
          00 回复
  • 爆竹声中一岁除,春风送暖入屠苏。
    千门万户曈曈日,总把新桃换旧符。

    听点儿音乐吧 朋友~
    文章目录
    最新 热点 随机
    最新 热点 随机
    php2shell远程执行漏洞修复(CVE-2026-109618 和 CVE-2026-109619) 聊一聊DeepSeek开放自研搜索API这事 Let's Encrypt宣布证书缩短至64天,手动时代彻底终结! Markdown 的前世今生 讨论下XXL-JOB GLUE模式的安全问题 心气没了,干什么都不得劲
    给主题增加了游客中心功能心气没了,干什么都不得劲我觉得是时候公布我的导航网站了游本昌去世关于主题加载速度优化的一点儿小演进给主题增加了Now、每日心情、年度回顾、岁月同一天、随机漫步等功能
    夏令时 聊一聊DeepSeek开放自研搜索API这事 余秋雨散文集精选 MapStruct深度解析:从原理到实战,告别BeanUtil的性能与安全痛点 GPT-5.1深度测评:从智能升级到情感共鸣,AI交互的下一个里程碑 SpringBoot中@ImportAutoConfiguration注解与@Import和@EnableAutoConfiguration注解的区别
    最近评论
    李锋镝 发布于 13 小时前(10月22日) 赞!置顶了,让更多人看到~
    秋风于渭水 发布于 13 小时前(10月22日) 会把Docker里的遗漏的,`ps aux | grep php-fpm`直接看有多少对外的 PHP...
    李锋镝 发布于 13 小时前(10月22日) 独立博客还真说不好是不是好事……
    李锋镝 发布于 13 小时前(10月22日) 是啊,搞的人兵荒马乱的
    海风心情 发布于 14 小时前(10月22日) 感谢及时分享这么重要的安全信息,看完立刻去检查了服务器版本,这种潜伏十几年的漏洞真是防不胜防。
    标签聚合
    Spring K8s Claude SQL SpringBoot ElasticSearch IDEA 数据库 MySQL 架构 WordPress JVM Redis Theme 日常 AI编程 多线程 分布式 JAVA AI
    友情链接
    • 九仞之行
    • 懋和道人
    • 彬红茶日记
    • sssr7844的博客
    • 林羽凡
    • lijie blog
    • 刘永博客
    • 知向前端
    • 哥斯拉
    • Mr.Sun的博客
    • Honesty
    • 韩小韩博客
    • 老张博客
    • 瓦匠个人小站
    • 搬砖日记
    • 韩情脉脉
    • 志文工作室
    • Serendipity
    • 皮皮社

    COPYRIGHT © 2016-2026 lifengdi.com. ALL RIGHTS RESERVED.

    lifengdi.com 十年之约虫洞

    Domain age badge for lifengdi.com

    Theme Kratos-plus By Dylan Li

    津ICP备2024022503号-3

    京公网安备11011502039375号