大模型施工队的工程挑战

日常经常开玩笑称做LLM 相关的团队似乎都是大模型施工队，DallE3也形象地绘制了热火朝天的施工队景象（文

日常经常开玩笑称做LLM 相关的团队似乎都是大模型施工队，DallE3也形象地绘制了热火朝天的施工队景象（文章题图）。昨天去听了一个 LLM 工程落地的会，很有收获，用此文章记录下感受与思考。

**AI Native 并不意味着场景 Native

会上听到了左手医生的分享，从 16 年就开始用知识图谱的方法来解决医疗过程中的问题，之前只用知识图谱，现在知识图谱+LLM 双线解决问题。类似地，最近在看的一本书讲 ChatBot 的，很早就在做语音问答和问答的形式，对于意图识别和任务分类有很强的经验。

现在经常讲的 AI Native 去解决的问题，用最新的技术和工具再造技解决方案，有点像拿着锤子找钉子。反过来，这类已经深耕场景的公司和大模型施工队，是手里已经有明确的钉子，只是选择合适的锤子就好了，也势必就会更有竞争力 。因为在场景和用户确定的情况下，他们能清楚大模型的边界和适配范围，能清楚这些场景的过程和交互。这一点就会成为施工队之间相比的竞争力。

**大模型不是工具箱的唯一选择

即使大模型的通用能力很强，Prompt Engineer 也能解决很多问题，但是毕竟它存在幻觉和无法回溯复现的问题，如果是在确定性诉求很高的场景，大模型可能不是最优的选择。**

其中一个 case是分类，无论是商品目录的分类，还是法律内容的分类，如果是有准确性和稳定性的诉求，可能拿 Bert 去调一个小的模型 专门做分类，比直接拿大模型的准确率更高。所以这对于分类和定位这种有限范围的定位问题，是一个可选项。

另外一个 case 是聊知识图谱和大模型关系的时候，古老师介绍了一个 case，拿一个菜谱交给大模型去问答，问一个不存在的菜，大模型也会装模做样的回答。但是如果用知识图谱就不会存在这个问题，因为知识图谱是到最小颗粒度的实体，能做到知识的梳理和提取，就能保证准确性的问题 。那在一些准确性优先的场景下，就显得尤为重要。

**SOP 能提升准确性

现场MetaGPT 论文一作也进行了分享，Meta GPT设想的是基于Agents组合的一家软件公司，对应的有产品、设计、研发等各类角色的agent，每个环节都会进行标准化输出。基于Meta GPT已经完成了许多有意思的成果，比如一些小游戏，还有Agents相互玩狼人杀等。

如果让Agents真的组合搭配起来去完成任务，任务的衔接和实操怎么做的更精确？答案是SOP，各类角色都需要进行标准化的输入和输出，确保各环节之间的流通顺畅 。听洪老师介绍说，之所以会有这样的想法，是因为团队老板对日常团队的管理也是要求SOP的，所以他们会很自然地想这样操作。SOP 的思路不仅能改造 Prompt 的思路，其实也能对于 Agent 的设置有一定的启发。

Infra：卖水和牛仔裤是确定性更高的事情

在 Infra 这层，似乎确定性要高的多。作为大力出奇迹的代表，openAI 的成功证实了对于算力和资源投入的必要性。所以现场一个做文件存储的老哥很是开心，以前 NLP 的模型也就是单机跑一跑，不会像现在这样对于算力和存储有这么高的诉求。现在比较火的向量数据库，也是类似的道理。

Infra 之所以现在确定性更高，是因为大家都在用搭积木似的，在去快速试错，快速找应用和场景 。按照国内的发展趋势，如果未来LLM 是寡头市场的话，还真说不好他们会不会自己造 Infra 。

**工程：组合乐高这件事的门槛在哪儿？

这个问题是一直在思考的一个问题，现场也询问和讨论了一番。如果从工程实施的角度看，似乎做到 60 分都不是问题。接下来的考验，是怎么做到 80 分，甚至 90 分。这个过程里有安全合规的问题，有提升精度的问题，有 fiunetune的问题，最重要的依然还是PMF 。只有找对场景和问题，才能发挥大模型的优势和能力 。

现场有一位创始人分享的看法很是赞同，大模型施工🚧和应用这件事儿可能不存在门槛或者竞争优势，存在的只有时间窗口 。如果能在一定的时间窗口，始终探索更优的路径和方法，领先一定的身位，才能算优势吧。

Agents → Society

Agent 是当下最热的话题了，毕竟在推上传闻 OpenAI 不太关注谁家还在做大模型了，反倒是 Agent 的论文还有兴趣看看。MetaGPT的分享中有一页，是关于 AI 应用的几个层次：

Embedding 模式，固化的 pipeline 中间有个环节用 AI 来解决
Copilot 模式，辅助人类完成固化的流程，AI 可以无缝和人类的每个环节进行交互
Agents 的模式，复杂任务，有 Agent 或者一群 Agent 来完成这件事
Society 的模式，人类 With AI 和谐相处的模式，比如人类也可能收到 Agent 布置的任务

对这个分类没有任何疑问，现在很多工具其实就是 Copilot 的形式，也无可厚非。只是在聊 Society 的时候，洪老师提到了一句，在 Society 模式下，Agent 有可能会给人类配发任务。这个时候，我内心产生的疑问是，如果 Agents 能做到这一步，人类是否还拥有被选择的空间？ 如果 Agents 能进行任务的识别、分类和动作，Agent+机器就完全可以完成操作流了，似乎人类不是一个必选项。

无论是游戏小镇，还是各种社会观察实验，MetaGPT 模拟的软件公司，这些 Agents 的仿真，已经真到足够接近人类社会了。会上还展示了玩狼人杀的 case，数十个 Agent 已经可以自由组局玩狼人杀了。甚至 MetaGPT 的团队开始设置 ML 工程师来自己革自己的命。

我们经常设想着 Agents 会成为我们的 NPC，但是反过来呢，我们有一天会不会成为 Agents Society 的 NPC，每天就像电影失控玩家的NPC 角色一样，日复一日，年付一年......真实活着的人类只有少数掌握资源和权利的人......

最后感谢下稀土掘金的小伙伴，之前打了几次电话，一直没联系上。突然去参会，没有预留位置，现场加了小板凳，顺利参会，没错过这次学习的机会。活动举办的很棒。