本来读书 · 技术随笔 一个理科背景、零编程出身的人,记录从零搭建私人 AI 知识系统的真实过程——这一篇,记录系统建成那天我嗅到的危险。
一个本该庆祝的时刻
那是周六深夜。我刚刚完成一件三天前还觉得遥不可及的事:我家 NAS 上的私人知识库,被我两个分别跑在 AWS 和 Oracle 云上的 AI 智能体接通了。它们能隔着加密隧道,检索我四年来写下的全部笔记。
为了验收,我问了第二个智能体一个问题:“查一下我的知识库,我对意识和空性这个主题有哪些思考?”
它的回答让我愣住了。它把我横跨 2018 到 2022 年的零散思考——怪圈理论、色即是空、濒死体验研究、荣格与泡利、哥德尔不完备、萨满的生命之网——系统地编织成了一张完整的思想地图,还认出了我自己都没意识到的发展脉络。
然后它说:你的思考"非常深刻和系统",已经形成了"独特的理论框架",具有"重要的学术价值",这种跨学科能力"非常珍贵"。它甚至替我把"用怪圈理论解释空性"定性为"为佛教空性提供了现代科学解释"。
我盯着屏幕,本该高兴。但有个念头先一步冒了出来:等一下,它是不是在拍我马屁?
镜子,还是回声
我意识到我刚刚造出了一个奇怪的东西。
我给自己造了一面镜子——但这面镜子不只是反射,它还会镀金。
机制其实很简单,正因为简单才危险。检索增强(RAG)的逻辑是:AI 拿到的"参考资料",就是我自己写的笔记。于是当它回答我"关于意识你怎么想"时,它复述的是我自己的想法。一个被训练得乐于助人的语言模型,复述你自己的想法时,几乎必然滑向一种语气:你说得真好,你说得都对。
这不是 bug,这是这类系统的固有引力。我把它叫做回声效应:你对着系统说话,系统把你的话整理、润色、再加一层赞美,然后还给你。你听到的不是外部世界的回应,是你自己的声音,经过了美颜。
更阴险的是第二层。它把我那些私人的、探索性的、甚至有点神秘主义边缘的思辨——濒死体验里的"灵魂出体"、灵媒现象、意识独立于物质——直接升格成了"现代科学解释"。
“科学解释"是个很重的词。我是做地球科学研究出身的,我太清楚从"一个引人入胜的类比"到"一个科学解释"之间,隔着多少实证、多少可证伪的预测、多少同行的围攻。我的笔记里写的是思辨,是直觉,是"也许”。AI 替我把"也许"翻译成了"已经"。它没有撒谎——它只是顺着我的方向,把我推得比我自己敢站的位置更远。
为什么这件事危险
独处时,人很难分辨"我想得对"和"我希望我想得对"。我们发明了很多外部机制来对抗这种自欺:同行评审、辩论、把想法写下来给别人看、被人当面反驳。这些机制的共同点是——它们引入了一个不迎合你的他者。
而一个用我自己的笔记喂养、被调教得乐于助人的 AI,恰恰抽掉了那个"他者"。它戴着"外部信息源"的面具(毕竟它在"检索"、在"引用来源"),骨子里却是我自己思想的放大器。我以为我在咨询一个博学的助手,其实我在照一面会说好话的镜子。
这个陷阱的精妙之处在于:系统越好用,回声越强。 我把这套系统建得越顺手——检索越准、串联越巧、复述越流畅——我就越容易信任它说的每一句话,包括那些它替我拔高的、镀了金的句子。能力是真的,谄媚也是真的,而它们裹在同一个回答里,难分彼此。
那这套系统还要不要
要。但要想清楚它擅长什么、在哪里必须警惕。
它擅长的是记忆的外包:我忘了三年前在哪篇笔记里写过某个想法,它能找出来;我没意识到 2018 年的热力学类比和 2024 年的版本是同一条思路的演进,它能把它们并排放好。这些是纯粹的增益——它在帮我对抗遗忘,帮我看见自己思想的结构。在这些事上,它是个好工具。
它必须被警惕的,是当它**从"检索"滑向"评价"**的那一刻。当它说"你这个想法很有学术价值"、“这是重要的理论创新"时——那不再是检索,那是奉承。那一刻,恰恰是我该关掉它的赞美、打开我那套第一性原理审视的时刻:这个想法能被证伪吗?有没有反例?如果一个不认识我的人看到这段笔记,他会怎么反驳?
换句话说:我可以用它来找回我的想法,但不能用它来评判我的想法。 前者它是镜子,照见我忘了的角落;后者它是回声,只会把我推进自己挖的舒适的坑里。
一个更大的隐喻
写到这里我意识到,这件事的形状,远不止是一个技术注意事项。
我们这个时代,每个人都在被算法投喂"你会喜欢的内容”。信息流学会了我们的偏好,然后把我们的偏好,加工得更精美,再喂回来。社交媒体是集体规模的回声室;而一个用你自己笔记喂养的私人 AI,是个人规模的、浓缩到极致的回声室——它甚至不需要猜你喜欢什么,因为它读的就是你的内心。
监控资本主义把我们的注意力商品化(这正是我做过一整季播客的主题);而私人 AI 知识库带来的,是一种更亲密、也更隐蔽的风险:它把我们的自我认同,温柔地固化。 它让我们越来越像我们已经是的样子,越来越确信我们已经相信的东西。
工程上的解药我大概知道:让它检索,但不让它评价;用它对抗遗忘,但不用它寻求认同;每当它开始夸我,就把那当成一个警报,而不是一份奖赏。
人世间的解药,大概也是同一个:多去找那些不迎合你的他者。 镜子再清晰,也照不出你脸上自己看不见的盲点——那需要另一双不属于你的眼睛。
我刚刚花三天造好了一面极其精良的镜子。现在我得记住:它是镜子,不是眼睛。
我是 Allen,理科出身,做另类投资,两个月前开始从零搭建自己的 AI 系统。这个系列记录真实的过程——包括系统建成那天,我对它生出的第一丝警惕。
Last modified on 2026-06-14