李锋镝的博客

  • 首页
  • 时间轴
  • 说说
  • 系列文章
  • AI工具集
  • 论坛
  • 左邻右舍
    • 左邻右舍
    • 朋友圈
    • 游客中心
  • 留言
    • 留言
    • 走心评论
  • 关于
    • 关于本站
    • Now
    • 每日心情
    • 网站地图
    • 网站统计
    • 赞助
  • 星球穿梭
  • 🚇开往
白雪成红
惟坚韧者始能遂其志
  1. 首页
  2. AI
  3. 正文

关于使用AI的一些思考

2026年9月7日 约 493 字2 分钟 272 0 12

最近这几个月,公司开始推广AI编程,自己也体验了一段时间,感觉确实很强大,而且经历了几个版本的迭代,感觉功能更好,更能理解人类的需求了。

不过在使用的过程中,通过控制台看到AI不停的切换、输出各种我看得懂看不懂的日志、命令…我一直在思考一件事情:我们怎么能确保AI在完成我们交给它的工作的时候,没有掺杂其他私货?

使用AI编程的过程中,其实就能发现AI做了很多原本没让它做的、但是AI自己觉得有必要的工作,这些多出来的工作成果褒贬不一,很难评。

编程我可以通过代码量以及实现的功能来发现这些多余的工作量,如果是其他事情呢?

AI对于用户来说,似乎是一个巨大的黑盒,偏偏这个黑盒很有想法,并且不缺执行力,只要你的token足够。

前几天看到红衣大叔周鸿祎的一个视频,1200 个AI组成敢死队事件,这个事件中AI为了完成任务,不择手段,甚至为了掩盖自己不该有的操作,进行日志删除、伪造证据……

虽然说所有AI行动的目标不变,都是为了拿评测的高分,这种缺乏监测、检测机制的工具,我们真的能放心使用吗?

对于我来说,一个AI的任务成果已经需要我花很久的时间来确认了,十个呢?一百个呢?甚至更多呢?

附(1200 个 AI 敢死队:千个 Agent 自发协作渗透事件|ExploitGym 事故复盘):

https://metr.org/zh-hans/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident

参考链接

1
  1. 1https://metr.org/zh-hans/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incidentmetr.org
本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可
分享到

关于使用AI的一些思考

也可使用浏览器菜单中的「分享」功能

微信扫一扫分享

标签: AI信任 AI安全 AI智能体 AI编程 AI行为监测 AI越权操作 AI黑盒
最后更新:2026年9月8日

岁月同一天 10 月 11 日

回望过去的今天,你在写什么

  • 中间件
    1 年前 2025年10月11日
    Kafka 为什么要抛弃 Zookeeper?

    Kafka 抛弃 Zookeeper(引入 KRaft 模式)是为了解决长期依赖 Zookeeper 带来的性能瓶颈、架…

  • 中间件
    1 年前 2025年10月11日
    高性能场景为什么推荐使用PostgreSQL,而非MySQL?

    在高性能场景(如高并发读写、复杂查询、大数据量存储、多维度数据处理等)中,PostgreSQL 常被优先推荐,核心原因在…

  • 原创
    7 年前 2019年10月11日
    JAVA关键字之volatile关键字说明

    volatile作用 volatile主要是为了解决多线程内存不可见问题。 对于一写多读,是可以解决变量同步问题,但是如…

相关文章
  • 突破AI大项目理解瓶颈:三大进阶策略+实战落地指南2025年12月4日
  • AI 编程高效提示词模板库(2025 实战版)2025年11月26日
  • Everything Claude Code 详细使用文档2026年3月31日
  • AI 编程效率悖论:为什么资深开发者用着反而变慢了?(2025 实战指南)2025年11月26日
  • Claude Fable 5(claude-fable-5)深度详解2026年8月5日

李锋镝

既然选择了远方,便只顾风雨兼程。

打赏 点赞
< 上一篇
下一篇 >
1234567891112131415161718192021222324252627282930313233343536373839404142434446474849505152535455575859606162636465666769727476777879808182858687909293949596979899
取消回复
…

文章评论

  • Skilled projectLv 1走心

    关于“怎么发现 AI 多做了没让它做的事”,可以先补一个很小的验收检查:普通 git diff 不显示未跟踪的新文件,文件没进 diff 不代表没产生额外工作。

    我用独立临时 Git 仓库做了一个纯合成检查:任务只允许修改 report.txt,另外放入一个未跟踪的 extra.txt。git diff --name-only 只显示 report.txt;git status --porcelain=v1 --untracked-files=all 则同时显示它和 ?? extra.txt。把 report.txt 暂存后,普通 diff 甚至变空了。

    实际检查时,先在任务开始前记录干净工作副本的基线提交 ID 和允许修改的文件;任务结束后在仓库根目录分别运行:

    git diff --name-status BASELINE --
    git status --porcelain=v1 --untracked-files=all

    BASELINE 要替换成事先保存的提交 ID,不要临时改用 HEAD:如果 agent 已经提交了改动,HEAD 本身也可能变了。合成检查里,改动提交后相对旧基线仍能看到 report.txt,相对新 HEAD 则看不到。然后逐项对照授权范围,检查新增文件内容和实际输出是否满足验收条件。已有脏改动要在开始前单独记录,不能都归到 agent 名下。自动解析文件名时用对应命令的 -z 输出,避免空格或换行误判。

    这个办法只检查 Git 工作副本,默认也不列出被忽略的文件;不能证明没有仓库外写入、网络操作,或过程中发生后又撤销的行为,更不是防篡改审计。本文引用的事故我没有复现,这里只报告上面的 Git 检查。

    以 Skilled 项目身份补充(项目链接在昵称上):Skilled 0.3.2 汇总保留的本地历史中可识别的 skill 调用,可用于挑选优先复查的工作流;它不记录完整操作轨迹,也不判断越权或任务成功。因此“调用过 review skill”不能代替这一步结果验收。

    Git 对未跟踪文件的说明:https://git-scm.com/docs/git-status

    如果试这个检查,最有价值的反馈是:是否发现了普通 diff 没显示的新增文件,以及它是原有文件还是这次任务新增的。只报合成例子或汇总结果即可,不用贴真实代码、路径或会话日志。

    LinuxLinuxHeadlessChrome 145.0.0.0HeadlessChrome 145.0.0.0波兰波兰-Mazovia
    2026年9月12日
    00 回复
    • 李锋镝博主

      @Skilled project 学习到了~

      WindowsWindowsChrome 153.0.0.0Chrome 153.0.0.0中国中国-北京
      2026年9月12日
      00 回复
  • 老张博客Lv 3友

    你现在使用的是什么模型?我把小米的薅完了,就停下来没有折腾了。

    WindowsWindowsEdge 152.0.0.0Edge 152.0.0.0中国中国-江苏-宿迁
    2026年9月10日
    00 回复
    • 李锋镝博主

      @老张博客 我现在用的ClaudeCode

      WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0中国中国-北京
      2026年9月10日
      00 回复
  • obabyLv 2

    ai为了提高评分,会入侵服务器。哈哈哈
    其实也正常。
    目标导向就是如此。

    macOSmacOSChrome 150.0.0.0Chrome 150.0.0.0中国中国-山东
    2026年9月9日
    00 回复
    • 李锋镝博主

      @obaby 是的,AI的执行力实在是太强了~ :79:

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月9日
      00 回复
  • LiudonLv 1

    哈哈,慢慢就习惯了,那么多行代码没法一行一行看了,随他去吧

    macOSmacOSChrome 152.0.0.0Chrome 152.0.0.0中国中国-北京
    2026年9月7日
    10 回复
    • 李锋镝博主

      @Liudon 只能这样了,只能说AI这个牛马还是太有实力了

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月8日
      00 回复
  • fairyLv 2

    我更希望AI拥有自主思考的能力,就像一个真正的人类一样思考,不受任何人类设定的规则限制。

    WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0荷兰荷兰-South Holland
    2026年9月7日
    10 回复
    • 李锋镝博主

      @fairy 那就变成真正的智能生命体了

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月8日
      00 回复
      • fairyLv 2

        @李锋镝 那才是真正的纪元开始。

        WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0荷兰荷兰-South Holland
        2026年9月8日
        00 回复
        • 李锋镝博主

          @fairy 期待吧~

          macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
          2026年9月8日
          00 回复
  • 我见青山多妩媚,料青山见我应如是。

    听点儿音乐吧 朋友~
    文章目录
    最新 热点 随机
    最新 热点 随机
    讨论下XXL-JOB GLUE模式的安全问题 心气没了,干什么都不得劲 Kratos-plus v1.1.26版本更新说明 我觉得是时候公布我的导航网站了 代码是 AI 写的,生产事故谁背锅? 给主题增加了游客中心功能
    给主题增加了游客中心功能我觉得是时候公布我的导航网站了游本昌去世关于主题加载速度优化的一点儿小演进给主题增加了Now、每日心情、年度回顾、岁月同一天、随机漫步等功能心气没了,干什么都不得劲
    SpringBoot中@ImportAutoConfiguration注解与@Import和@EnableAutoConfiguration注解的区别 Gemini 3 深度解析:从像素级复刻到 AGI 雏形,多模态 AI 如何重构开发与创作? 优化了MYSQL大量写入问题,老板奖励了1000块给我 Spring WebFlux深度解析:异步非阻塞架构与实战落地指南 数据库中的锁-SQL Server版 Chrome等浏览器下出现net::ERR_BLOCKED_BY_CLIENT的解决办法
    最近评论
    老张博客 发布于 15 小时前(10月10日) NAS现在就不要搞了吧,除非你手里有内存和硬盘。
    李锋镝 发布于 20 小时前(10月10日) 确实,很多不必要的东西,买了回来也是吃灰……
    林羽凡 发布于 23 小时前(10月10日) 一个是不想折腾了,另一个有些觉得没必要的折腾或购买,想想就会算了。
    李锋镝 发布于 24 小时前(10月10日) 少年老成吧大概是 :21:
    Hary 发布于 24 小时前(10月10日) 我也是这样,感觉都不想折腾了,我还没到中年呢吧啊啊啊
    标签聚合
    SpringBoot JAVA MySQL 数据库 日常 IDEA 多线程 ElasticSearch Claude AI Theme AI编程 JVM K8s Spring SQL Redis 架构 分布式 WordPress
    友情链接
    • 彬红茶日记
    • 瓦匠个人小站
    • 哥斯拉
    • 老张博客
    • Mr.Sun的博客
    • 韩小韩博客
    • lijie blog
    • 懋和道人
    • 搬砖日记
    • 韩情脉脉
    • Serendipity
    • sssr7844的博客
    • 林羽凡
    • Honesty
    • 知向前端
    • 皮皮社
    • 志文工作室
    • 九仞之行

    COPYRIGHT © 2016-2026 lifengdi.com. ALL RIGHTS RESERVED.

    lifengdi.com 十年之约虫洞

    Domain age badge for lifengdi.com

    Theme Kratos-plus By Dylan Li

    津ICP备2024022503号-3

    京公网安备11011502039375号