文章详情

AMD 近日推出全新开源项目 Gaia （Github 页面），让用户能在任何 Windows 电脑上运行本机大型语言模型（LLMs），无需依赖云端服务。Gaia 尤其为搭载 Ryzen AI 处理器的设备提供性能优化，使普通用户也能享有更安全、更低延迟的 AI 体验。

这款应用程序采用检索增强生成代理（RAG）技术，结合 LLM 与知识库，提供更精确且符合情境的交互式 AI 体验。用户可通过四种内置代理进行交互：一般提示回应（Simple Prompt Completion）、聊天机器人（Chaty）、YouTube 视频搜索与问答（Clip），以及笑话产生器（Joker）。

Gaia 提供两种安装版本：适用于所有 Windows 电脑的主流版本，以及针对 Ryzen AI 处理器优化的「混合版」。后者能善用 Ryzen AI CPU 的神经处理单元（NPU）和集成式显示芯片，显著提升性能。

AMD 指出，按照指示进行安装，不到 10 分钟即可开始使用 GAIA。

技术上，Gaia 使用来自 ONNX TurnkeyML 的开源 Lemonade SDK 进行 LLM 推论（inference），并通过与 OpenAI 兼容的 Rest API 提供服务。它还能将外部内容（如 GitHub、YouTube、文本文件）矢量化并保存在本机索引中，增强查找处理能力。

在本机 LLM 应用日益普及的趋势下，Gaia 与 LM Studio 、NVIDIA 的 ChatRTX 等应用并驾齐驱，为用户提供免网络连接的脱机 AI 功能，兼顾性能与隐私安全，对于医疗保健、金融以及其他高机敏产业来说更为合适。