李锋镝的博客

  • 首页
  • 时间轴
  • 说说
  • 读书观影
  • 系列
  • AI工具集
  • 论坛
  • 友圈
    • 友链
    • 朋友圈
    • 游客中心
  • 留言
    • 留言
    • 走心评论
  • 关于
    • 关于本站
    • Now
    • 每日心情
    • 网站地图
    • 网站统计
    • 赞助
  • 星球穿梭
  • 🚇开往
静亦定 动亦定
惟坚韧者始能遂其志
  1. 首页
  2. AI
  3. 正文

关于使用AI的一些思考

2026年9月7日 453 0 12

最近这几个月,公司开始推广AI编程,自己也体验了一段时间,感觉确实很强大,而且经历了几个版本的迭代,感觉功能更好,更能理解人类的需求了。

不过在使用的过程中,通过控制台看到AI不停的切换、输出各种我看得懂看不懂的日志、命令…我一直在思考一件事情:我们怎么能确保AI在完成我们交给它的工作的时候,没有掺杂其他私货?

使用AI编程的过程中,其实就能发现AI做了很多原本没让它做的、但是AI自己觉得有必要的工作,这些多出来的工作成果褒贬不一,很难评。

编程我可以通过代码量以及实现的功能来发现这些多余的工作量,如果是其他事情呢?

AI对于用户来说,似乎是一个巨大的黑盒,偏偏这个黑盒很有想法,并且不缺执行力,只要你的token足够。

前几天看到红衣大叔周鸿祎的一个视频,1200 个AI组成敢死队事件,这个事件中AI为了完成任务,不择手段,甚至为了掩盖自己不该有的操作,进行日志删除、伪造证据……

虽然说所有AI行动的目标不变,都是为了拿评测的高分,这种缺乏监测、检测机制的工具,我们真的能放心使用吗?

对于我来说,一个AI的任务成果已经需要我花很久的时间来确认了,十个呢?一百个呢?甚至更多呢?

附(1200 个 AI 敢死队:千个 Agent 自发协作渗透事件|ExploitGym 事故复盘):

https://metr.org/zh-hans/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident

参考链接

1
  1. 1https://metr.org/zh-hans/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incidentmetr.org
本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可
分享到

关于使用AI的一些思考

也可使用浏览器菜单中的「分享」功能

微信扫一扫分享

标签: AI信任 AI安全 AI智能体 AI编程 AI行为监测 AI越权操作 AI黑盒
最后更新:2026年9月8日

岁月同一天 11 月 17 日

回望过去的今天,你在写什么

  • AI
    1 年前 2025年11月17日
    1小时搭建私有化AI知识库:DeepSeek + Ollama + AnythingLLM 实战指南(从部署到优化)

    在信息爆炸的时代,我们积累了大量工作文档、学习笔记、行业资料,但传统检索方式效率低下,且公共AI工具存在隐私泄露风险。而…

  • 中间件
    1 年前 2025年11月17日
    深入了解PostgreSQL

    PostgreSQL简介 PostgreSQL 是一款开源企业级关系型数据库,核心定位是“功能全面、稳定可靠、高度可扩展…

相关文章
  • AI 编程效率悖论:为什么资深开发者用着反而变慢了?(2025 实战指南)2025年11月26日
  • AI能写代码,却造不出软件:软件工程的核心竞争力从未改变2025年11月6日
  • Gemini 3 Pro 深度测评:多模态AI编程的跨代际突破,从一句话到完整应用的全链路革命2025年12月11日
  • AI 编程进阶指南:从“能用”到“高效”的 10 大实战技巧(2025 版)2025年11月20日
  • 规范驱动AI编程:用OpenSpec实现100%可控开发,从需求到代码的全流程闭环2025年12月15日

李锋镝

既然选择了远方,便只顾风雨兼程。

打赏 点赞
< 上一篇
下一篇 >
1234567891112131415161718192021222324252627282930313233343536373839404142434446474849505152535455575859606162636465666769727476777879808182858687909293949596979899
取消回复
…

文章评论

  • Skilled projectLv 1走心

    关于“怎么发现 AI 多做了没让它做的事”,可以先补一个很小的验收检查:普通 git diff 不显示未跟踪的新文件,文件没进 diff 不代表没产生额外工作。

    我用独立临时 Git 仓库做了一个纯合成检查:任务只允许修改 report.txt,另外放入一个未跟踪的 extra.txt。git diff --name-only 只显示 report.txt;git status --porcelain=v1 --untracked-files=all 则同时显示它和 ?? extra.txt。把 report.txt 暂存后,普通 diff 甚至变空了。

    实际检查时,先在任务开始前记录干净工作副本的基线提交 ID 和允许修改的文件;任务结束后在仓库根目录分别运行:

    git diff --name-status BASELINE --
    git status --porcelain=v1 --untracked-files=all

    BASELINE 要替换成事先保存的提交 ID,不要临时改用 HEAD:如果 agent 已经提交了改动,HEAD 本身也可能变了。合成检查里,改动提交后相对旧基线仍能看到 report.txt,相对新 HEAD 则看不到。然后逐项对照授权范围,检查新增文件内容和实际输出是否满足验收条件。已有脏改动要在开始前单独记录,不能都归到 agent 名下。自动解析文件名时用对应命令的 -z 输出,避免空格或换行误判。

    这个办法只检查 Git 工作副本,默认也不列出被忽略的文件;不能证明没有仓库外写入、网络操作,或过程中发生后又撤销的行为,更不是防篡改审计。本文引用的事故我没有复现,这里只报告上面的 Git 检查。

    以 Skilled 项目身份补充(项目链接在昵称上):Skilled 0.3.2 汇总保留的本地历史中可识别的 skill 调用,可用于挑选优先复查的工作流;它不记录完整操作轨迹,也不判断越权或任务成功。因此“调用过 review skill”不能代替这一步结果验收。

    Git 对未跟踪文件的说明:https://git-scm.com/docs/git-status

    如果试这个检查,最有价值的反馈是:是否发现了普通 diff 没显示的新增文件,以及它是原有文件还是这次任务新增的。只报合成例子或汇总结果即可,不用贴真实代码、路径或会话日志。

    LinuxLinuxHeadlessChrome 145.0.0.0HeadlessChrome 145.0.0.0波兰波兰-Mazovia
    2026年9月12日
    00 回复
    • 李锋镝博主

      @Skilled project 学习到了~

      WindowsWindowsChrome 153.0.0.0Chrome 153.0.0.0中国中国-北京
      2026年9月12日
      00 回复
  • 老张博客Lv 3友

    你现在使用的是什么模型?我把小米的薅完了,就停下来没有折腾了。

    WindowsWindowsEdge 152.0.0.0Edge 152.0.0.0中国中国-江苏-宿迁
    2026年9月10日
    00 回复
    • 李锋镝博主

      @老张博客 我现在用的ClaudeCode

      WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0中国中国-北京
      2026年9月10日
      00 回复
  • obabyLv 2

    ai为了提高评分,会入侵服务器。哈哈哈
    其实也正常。
    目标导向就是如此。

    macOSmacOSChrome 150.0.0.0Chrome 150.0.0.0中国中国-山东
    2026年9月9日
    00 回复
    • 李锋镝博主

      @obaby 是的,AI的执行力实在是太强了~ :79:

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月9日
      00 回复
  • LiudonLv 1

    哈哈,慢慢就习惯了,那么多行代码没法一行一行看了,随他去吧

    macOSmacOSChrome 152.0.0.0Chrome 152.0.0.0中国中国-北京
    2026年9月7日
    10 回复
    • 李锋镝博主

      @Liudon 只能这样了,只能说AI这个牛马还是太有实力了

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月8日
      00 回复
  • fairyLv 3

    我更希望AI拥有自主思考的能力,就像一个真正的人类一样思考,不受任何人类设定的规则限制。

    WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0荷兰荷兰-South Holland
    2026年9月7日
    10 回复
    • 李锋镝博主

      @fairy 那就变成真正的智能生命体了

      macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
      2026年9月8日
      00 回复
      • fairyLv 3

        @李锋镝 那才是真正的纪元开始。

        WindowsWindowsChrome 152.0.0.0Chrome 152.0.0.0荷兰荷兰-South Holland
        2026年9月8日
        00 回复
        • 李锋镝博主

          @fairy 期待吧~

          macOSmacOSChrome 151.0.0.0Chrome 151.0.0.0中国中国-北京
          2026年9月8日
          01 回复
  • 想象力比知识更重要。

    听点儿音乐吧 朋友~
    文章目录
    最新 热点 随机
    最新 热点 随机
    给服务器加了WAF 又一个逆天改命的人:小小徐 AI的生成能力等于生产力吗? NGINX严重漏洞(CVE-2026-15176、CVE-2026-93479、CVE-2026-97205) Kratos-plus v1.1.27更新说明 php2shell远程执行漏洞修复(CVE-2026-109618 和 CVE-2026-109619)
    给主题增加了游客中心功能心气没了,干什么都不得劲给服务器加了WAF我觉得是时候公布我的导航网站了游本昌去世关于主题加载速度优化的一点儿小演进
    SpringBoot使用RestTemplate进行接口调用 JAVA技术点总结一 我是如何失去团队掌控的? 最近厄尔尼诺现象越来越猛了 解决IDEA2024UI卡顿问题 MyBatis vs Spring Data JPA 从原理到实战全解析
    最近评论
    李锋镝 发布于 1 周前(11月09日) 我也刷到了,说是恶意引流的
    皮皮社长 发布于 1 周前(11月09日) 我刷到的,怎么是说剧本骗流量的?如果真的是用来骗流量,那真恶心。欺骗网友感情。
    李锋镝 发布于 1 周前(11月09日) 现在我这个是十个,其实也够用了
    老张博客 发布于 1 周前(11月09日) 雷池唯一不好的就是只能免费5个网站。
    fairy 发布于 1 周前(11月06日) 机器人快来我这里吧!
    标签聚合
    K8s 多线程 WordPress 架构 JAVA AI JVM Theme AI编程 MySQL Redis 分布式 SQL SpringBoot ElasticSearch Claude 日常 数据库 IDEA Spring
    友情链接
    • 搬砖日记
    • 知向前端
    • 九仞之行
    • 志文工作室
    • Serendipity
    • 懋和道人
    • 哥斯拉
    • lijie blog
    • 韩小韩博客
    • 老张博客
    • 韩情脉脉
    • 刘永博客
    • 皮皮社
    • sssr7844的博客
    • 林羽凡
    • 瓦匠个人小站
    • Mr.Sun的博客
    • Honesty
    • 彬红茶日记

    COPYRIGHT © 2016-2026 lifengdi.com. ALL RIGHTS RESERVED.

    lifengdi.com 十年之约虫洞

    Domain age badge for lifengdi.com

    Theme Kratos-plus By Dylan Li

    津ICP备2024022503号-3

    京公网安备11011502039375号