介绍
如果你的电脑能成为你的私有AI工作站——而无需将敏感数据发送到别人的服务器上，那会怎么样？你是否厌倦了由云端AI服务处理你的文档、源代码、提示词或个人信息？你是否尝试在本地运行大语言模型，却发现显存、内存、量化、模型大小和性能比教程中暗示的要复杂得多？你是否想要一个本地编程助手或AI智能体，却又担心让AI系统访问你的文件、终端或开发环境？或者，你是否曾对那些只教你如何启动模型、却从不解释为什么它会失败、变慢、内存耗尽或难以维护的指南感到沮丧？《电脑本地AI：如何在消费级硬件上运行私有AI、大语言模型、编程智能体和生成式AI》采取了不同的方法。本书不着眼于复制粘贴命令，而是教你如何在消费级硬件上设计、构建、保护、评估、排查和维护实际的AI系统。你将学习如何从实验走向工程：从猜测模型是否装得下，到智能地调整硬件和内存需求；从下载随机模型，到刻意选择模型、运行时、格式和量化级别；从基础聊天，到基于你的文档构建私有RAG助手；从AI生成的代码片段，到具备代码库感知能力的编程助手；从提示词，到通过受控工具访问实现更安全的自主编程智能体；从神秘的故障，到系统的基准测试和故障排查；从孤立的工具，到使用API、应用程序、文件、数据库、Git和开发工具的集成工作流。在本书中，你将探索如何使用本地大语言模型、编程智能体、图像生成、语音、音频、视频、自动化和多模态工作流，同时理解其背后的硬件和软件限制。你将了解显存、内存、上下文窗口、KV缓存、量化、GPU加速、存储、延迟、吞吐量和热学行为如何影响实际工作负载。你还将学习如何保护凭据和私有数据、隔离网络服务、限制智能体功能、验证AI生成的结果，以及构建在模型和运行时发生变化时依然可靠的系统。安装策略应从机器的预期角色开始。用于交互的个人工作站与旨在向其他应用程序提供推理服务的机器有着不同的需求。前者受益于便利性，后者则受益于明确的配置和服务边界。Ollama是一个实用的起点，因为它将本地模型推理呈现为一项服务，而不需要用户管理每一个底层运行时细节。它的命令行工作流很简单，应用程序可以与本地服务进行通信，而不必直接嵌入推理引擎。典型的Ollama安装遵循操作系统的本地安装方法。安装后，应在添加界面、智能体或其他集成之前进行首次验证。其目的是确立运行时本身正在正常工作。ComfyUI依赖于Python运行时以及一组包，这些包的兼容性取决于操作系统、GPU后端、Python版本和所选的模型生态系统。可靠的安装始于一个专用的环境。使应用程序及其依赖项保持隔离，可以减少与不相关的Python项目的冲突，并使升级更容易测试。在Python虚拟环境切实可行的系统上，专用环境比全局安装AI依赖项更可取。无论你是厌倦了不完整教程的初学者、构建私有AI工具的开发人员、注重隐私的用户、优化现有硬件的电脑发烧友，还是AI尝鲜者，这本书都为你提供了一个实用的工程框架，帮助你做出更好的决策。因为运行模型仅仅是个开始。真正的目标是构建一个你可以理解、控制、排查并依赖的本地AI。如果你准备好超越脆弱的实验，在自己控制的硬件上构建功能强大的私有AI环境，这就是一本能帮助你让本地AI运行起来并持续运行的指南。