2026年5月14日，多伦多，阴天

今天下午，多伦多飘着雨，气温11度。我坐在电脑前，做了一件一个月前还觉得遥不可及的事——在自己的服务器上，从零开始，搭建了一个完全属于自己的AI智能体。

没有订阅费。没有数据泄露的顾虑。没有哪家公司的服务器在背后偷看我的投资文件。

一切，都跑在我自己的机器上。

起点：一台在多伦多机房里沉睡的服务器

这一切都是我在Oracle Cloud上申请到一台ARM架构的云服务器开始的。

刚刚，我成功地在Oracle Cloud上申请了一台ARM架构的云服务器，规格不算差——4个CPU核心，24GB内存，装着Ubuntu 22.04。它有一个正式的名字：ai-agent-server，公网IP是155.248.218.216，安静地待在多伦多的某个机房里。

Docker装好了，防火墙配好了，端口开着。一切就绪，现在开始一个真正的任务。

第一步：给服务器做个体检

打开Windows的PowerShell，输入那行熟悉的命令：

ssh ubuntu@***.***.***.*** -i ~/.ssh/id_ed25519

屏幕上滚出一串欢迎文字。服务器还活着，内存使用率2%，磁盘只用了7%。像一个精力充沛却无事可做的员工，等着被分配工作。

先做系统更新。内核从1049升到了1050，重启，重新连接。一切正常。

体检通过。

第二步：请一个会说话的大脑入驻

接下来要做的，是在这台服务器上安装一个本地大模型。

不是调用OpenAI的API，不是付费给某家云服务，而是把模型本身下载到自己的机器上，让它在自己的CPU上思考，用自己的内存呼吸。

工具叫"Ollama"。一行命令，官方安装脚本跑完，它就安静地住进了服务器。

然后是拉模型。我选的是Llama 3.1 8B Q4——Meta开源的大语言模型，80亿参数，经过4-bit量化压缩，体积约4.9GB。对于纯CPU推理来说，它是速度和质量最甜蜜的平衡点。24GB内存跑它，绰绰有余。

进度条慢慢走完。

success

一个字。但那一刻，服务器里有了第一个会思考的大脑。

第三步：搭一个让AI工作的平台

光有大脑还不够，还需要一个让它工作的环境。

这个环境叫Dify——一个开源的AI智能体平台，可以把大模型、知识库、工作流、对话界面全部整合在一起。它的后面跑着PostgreSQL存数据，Redis做缓存，Weaviate做向量搜索，Nginx做反向代理。

一条命令，12个Docker容器同时启动：

docker compose up -d

屏幕上滚出一行行"Started"。两分钟后，打开浏览器，输入服务器IP，出现了一个干净的注册页面。

我注册了管理员账号。

这台服务器，正式有了自己的AI控制台。

第四步：让平台认识大脑

Dify装好了，Ollama装好了，但它们还不认识彼此。

需要告诉Dify：去找那个地址，那里住着一个会说话的模型。

Docker容器和宿主机之间有一道网络的墙。我需要找到那道墙的门——Docker网关的IP地址，***.**.*.*。但第一次连接失败了：防火墙挡住了。

加一条规则，重启Ollama，再试：

Ollama is running

门打开了。

在Dify的插件市场里找到Ollama插件，安装，配置：模型名称llama3.1:8b，地址http://***.**.*.*:11434。保存。

界面上出现了一个绿色的开关，亮着。

两个系统，握手成功。

第五步：给AI一个记忆

一个没有记忆的AI，每次对话都是从零开始。它不知道你读过什么书，不知道你关注哪类投资产品，不知道你曾经写下过什么随想。

我需要给它一个记忆——一个知识库。

我的Obsidian笔记库里，存着多年积累的东西：读过的书目、碎片随想、投资产品的研究笔记。都是Claude帮我整理过的Markdown文件，结构清晰，标题层级分明。

还需要一个专门做向量化的小模型，把文字转成机器能检索的数字。

ollama pull nomic-embed-text

274MB。轻巧，专业。

模型就位后，在Dify里建了知识库，把文件一批批拖进去。系统开始向量化，把每一段文字变成高维空间里的一个点，等待被检索。

知识库有了。

第六步：捏出一个助手

现在，材料全齐了：

• 一个会推理的大脑（llama3.1:8b）
• 一个会检索的记忆（知识库 + nomic-embed-text）
• 一个运行它们的平台（Dify）

该捏出一个真正的助手了。

在Dify的Studio里，新建一个Chatflow，把节点一个个连起来：

用户提问 → 知识库检索 → LLM思考 → 输出回答

然后给它写了一段身份说明——System Prompt，告诉它自己是谁，该怎么工作：

你是 Allen 的私人知识助理和投资分析伙伴。在回答时优先引用知识库中的具体内容。熟悉一级市场投资逻辑，包括 Private Equity、私募基金、另类资产。直接、精准，不废话。

按下Preview。

输入一个问题，关于知识库里的某个投资产品。

它回答了。引用了正确的文件内容，分析有条理，语气简洁。

结尾：今天之后

晚上九点，窗外多伦多的雨还在下。

我看着浏览器里那个刚刚发布的聊天页面——Allen’s Assistant，想到以后随时可以用手机打开它，问它"我对某类资产的看法是什么"，或者"我读过哪些关于不确定性的书"，它会从我自己的笔记里找答案，用我熟悉的方式说出来。

这不是什么遥远的科技。

是一台ARM服务器，24GB内存，一个开源模型，一个开源平台，一个下午。

数据在自己手里。思考在自己的机器上。

这就够了。

下一步：配置HTTPS，把更多投资研究文件喂进知识库，让它越来越了解我在想什么。

技术栈备注

• 服务器：Oracle Cloud ARM Ubuntu 22.04，4 OCPU / 24GB RAM
• 大模型：Ollama + Llama 3.1 8B Q4
• Embedding：nomic-embed-text
• 平台：Dify 1.14.1（Docker部署）
• 向量数据库：Weaviate

Last modified on 2026-05-20