Ollama

Ollama 是什么？为什么它突然火了？

最近半年，身边越来越多朋友开始聊一个叫做 Ollama 的工具。简单来说，它让你能在自己的笔记本电脑上，像聊天一样使用 Llama、Mistral、Gemma 这些开源大语言模型，完全不用联网，也不用把数据发给任何第三方。听起来有点技术硬核？其实它的安装和使用比想象中简单得多，甚至比装一个普通软件还容易。

我第一次接触 Ollama 是因为一个很实际的需求：我经常需要处理一些敏感的文档，但又想用 AI 帮忙总结和提取关键信息。把内容丢给在线 API 总觉得不放心，直到发现它这个宝藏项目。它就像一个本地化的“大模型管家”，帮你下载、管理和运行各种开源模型，而且完全免费开源。

把大模型搬到自己电脑上，其实没那么难

很多人一听“本地运行大模型”，可能立刻想到复杂的 Python 环境、CUDA 配置、显存不足报错。它最让我惊喜的一点，就是把这些脏活累活全包了。你只需要一行命令，比如 ollama run llama3，它就会自动下载模型、配置环境，然后打开一个交互式的聊天窗口。整个过程就像安装一个 App 一样顺滑。

它支持 macOS、Linux 和 Windows，对硬件也很友好。如果你的电脑有 NVIDIA 或 AMD 显卡，它会自动调用 GPU 加速；没有显卡的话，用 CPU 也能跑一些量化后的小模型，比如 7B 或 8B 参数的 Llama 3，在老款 MacBook Air 上也能达到每秒十几个字的速度，写代码、改文章完全够用。