跳到主要内容

3 篇博文 含有标签「大语言模型」

大语言模型

查看所有标签

从聊天机器人到智能代理:构建企业级LLM应用

· 阅读需 23 分钟
马老师 Marvin
软件工程师 & 开源爱好者

想象一个再熟悉不过的场景:周一上午,你又坐在会议室里复盘,为什么公司的 LLM 应用始终冲不出展示环境。团队已经搭了一个看起来很“聪明”的、由 GPT-4o 驱动的智能代理:能理解复杂客户咨询、通过函数调用串起内部系统,甚至还能看似自主地编排多步骤流程。那时领导层一度热情高涨,预算批得很快,Roadmap 也写得漂亮。可六个月过去,项目仍困在资深从业者口中的 demo hell(“演示炼狱”)——永远在演示,始终不上真正可承压的生产。

如果你瞬间代入,这不是偶然共鸣——而是当今企业的常态。如果这个场景听起来很熟悉,你并不孤单。无论组织是使用托管API(如GPT-4o、Claude Sonnet 4和Gemini 2.5 Pro)构建,还是部署自托管模型(如DeepSeek-R1、QwQ、Gemma 3和Phi 4),绝大多数都难以超越实验性试点项目。正如我在AI生产力研究分析中探讨的,AI的生产力效益高度依赖于具体情境,结构化方法显著优于临时性使用。瓶颈不在于你的LLM集成的复杂性、托管与自托管模型的选择,或者你的AI开发团队的才能。而在于更根本的东西:LLM应用底层的数据基础。

真正卡住企业级 LLM 应用的,不是“模型选哪个”,而是:能不能在对的时间,把对的数据,以可追溯、可度量、可治理的方式送到模型面前。 你的“智能”代理,其上限只等于你数据基础设施的下限。

如果你尝试把一个惊艳的演示推向生产,结果被碎片化系统、不一致 API、缺失血缘、检索漂移、缓存陈旧这些细碎又顽固的阻力磨掉耐心——这篇文章就是写给你的。我们的基本立场很直接:企业级 LLM 应用的成功,不取决于提示技巧或代理框架炫不炫,而取决于是否有一套为“程序化智能消费”而设计的数据底座。

接下来我们会按层拆开:数据可访问性如何悄悄钳制模型表现;哪些数据与上下文管理模式让工具调用真正可靠;面向 LLM 特有风险的治理如何设计;以及如何把这些理念落成可以扩展、可演进的生产体系。

答案从来不是“多写几个高阶提示”或者“再换个更大模型”——而是重建数据基础。下面先从问题底层结构讲起。

上下文工程:AI系统中信息选择的艺术

· 阅读需 15 分钟
马老师 Marvin
软件工程师 & 开源爱好者

"上下文工程是构建动态系统,以正确格式提供正确信息和工具,使LLM能够合理完成任务的方法。"LangChain

如果你使用AI开发应用有一段时间了,你可能已经遇到了简单提示词不再足够的瓶颈。你精心制作的提示在边缘情况下失效,你的AI助手在处理复杂任务时变得混乱,你的应用程序难以维持连贯的对话。这些挫折并非偶然——它们揭示了AI开发中正在发生的根本性转变

像OpenAI、Anthropic、Notion和GitHub这样的公司不仅在构建更好的模型,他们还在开创全新的信息、工具和结构流向AI系统的方法。这就是上下文工程的本质。

DeepSeek:技术民主化的先锋,还是搅局者?

· 阅读需 10 分钟
马老师 Marvin
软件工程师 & 开源爱好者

引言

"预测未来的最好方式,就是去创造未来。" —— 彼得·德鲁克 (Peter Drucker)

2022年,OpenAI 的 ChatGPT 横空出世,以其前所未有的智能水平,瞬间点燃了全球对人工智能技术的狂热。这场由大型语言模型(LLM)引发的技术浪潮,犹如一场"技术爆炸",不仅让大众惊叹于 AI 的潜力,更深刻地改变了我们对未来科技发展方向的认知。从那时起,科技巨头们纷纷加入战局,竞相推出更强大、更经济的 AI 模型,试图在这场竞赛中占据领先地位。成本的持续降低和性能的不断提升,似乎预示着一个触手可及的 AI 普惠时代。

然而,当我们将目光聚焦于这场技术盛宴的核心——大语言模型本身时,却发现一个有趣的现象:尽管参与者众多,但真正能被称为"现象级"的,似乎只有 DeepSeek 一家。 这家被誉为 "AI界拼多多" 的公司,以其惊人的低成本和开源策略,迅速在全球范围内引发热议,甚至被一些人视为"技术民主化"的先锋。那么,DeepSeek 的爆红仅仅是因为价格优势吗?它真的能撼动现有 AI 格局,成为颠覆性创新的代表吗?还是说,它仅仅是技术巨头竞争格局中的一个搅局者?本文将深入探讨 DeepSeek 现象背后的深层原因,剖析其在全球 AI 领域迅速崛起的真正动因,以及它为整个行业带来的启示。