跳到正文

从 15 分到 90 分:一场关于 Prompt 的实战拆解与进阶指南

20:00 直播

2025 年 11 月 9 日,WaytoAGI「AI 智能体训练营」第二期第二课开讲。特邀嘉宾吕昭波以「Prompt 魔法:一句话让 Bot 听懂人话」为主题,用近三个小时的时间,带学员从 5 分钟快速生成提示词开始,逐步深入到提示词工程的概念、框架、优化平台、评估方法,以及上下文工程等进阶话题。无论你是刚接触智能体的初学者,还是希望系统提升提示词能力的进阶用户,都能从这场分享中找到可立即上手的方法和值得长期实践的方向。

5 分钟搞定 COZE 提示词:先交作业,再谈原理

课程一开始,吕昭波就定下了「先动手」的基调。他反复强调,出来混最重要的是「出来」,做作业的目的是通过动手实践真正学会搭建智能体,而不是听完课就结束。

在 COZE 平台中,创建智能体的核心步骤只有两步:写提示词,然后发布。对于第一次创建智能体的同学,吕昭波建议直接点击提示词输入框旁的图标,让 AI 自动生成提示词。「它生成得又快又好,还有结构,还能帮我们去梳理中间要怎么写。」生成后,提示词是可以直接修改的,模型则使用默认配置即可。

一个容易被忽略的实用技巧是:在 COZE 中,如果对当前生成的提示词不满意,可以直接在对话框里提出要求,比如「数量翻一倍」或「技能翻一倍」,而不需要手动复制粘贴再优化。吕昭波坦言,这个不复制直接让 AI 优化的功能,他也是现场从学员的提问中学到的。

此外,他提醒大家不要被单一平台限制。COZE 生成的提示词如果不够理想,完全可以把 GPT、Gemini、Claude 等平台生成的提示词拿过来用。「这个平台咱们不要限制在这里」,多平台交叉使用,往往能获得更好的效果。

关于智能体的发布,吕昭波详细说明了不同渠道的差异:发布到飞书需要企业管理员审核,如果公司只有自己一个人,那就自己审批;如果是大公司,则需要领导审批。发布到豆包则需要绑定手机号。发布后,智能体可以收藏、分享链接,也可以在飞书群中通过 @ 的方式与多个智能体互动,但智能体之间目前无法在飞书群内互相 @。

提示词的结构与优化:从 58 分到 91 分的现场实验

为了让学员直观理解提示词的结构,吕昭波邀请学员李大欢现场共享屏幕,在一个外部 coding 制作的提示词评分网站上,演示了提示词从 58 分逐步优化到 91 分的过程。

李大欢最初写的提示词比较笼统,评分距离 70 分还差一点。在吕昭波的逐步指导下,他们一起做了几处关键修改:

  • 增加上下文背景:明确「你是一个自媒体博主」的具体领域和模块。
  • 明确输出任务描述:指定以何种文案格式输出。
  • 使用 Markdown 格式:用井号(#)分级设置标题,如「## 角色」「## 技能」「## 限制」,让 AI 更好地分段理解。
  • 增加约束条件:例如「不能虚构虚假新闻」。
  • 添加示例引导:给出一个具体的输出案例,帮助模型理解期望的格式和风格。

经过这几轮调整,提示词的评分从 58 分提升到了 85 分、91 分。吕昭波指出,这个评分网站的权威性并不高,但关键在于它展示了提示词优化的核心逻辑——「只要是结构对,差不多就能 90 分」。他特别强调,Markdown 格式是提示词结构化的基础,掌握它能让 AI 更好地理解分段信息。

除了结构,吕昭波还分享了一个 COZE 中引用知识库的小技巧:在提示词中输入大括号 {},可以直接引用已添加的知识库内容,无论是 Excel 表格、图片还是飞书文档,都可以通过这种方式嵌入提示词。

提示词工程的核心概念与实用框架

在动手实践之后,吕昭波开始讲解提示词工程的理论基础。他引用了一个定义:提示词工程是「一个新兴的领域,专注于开发、设计、优化提示,以引导模型行为,满足用户需求」。他用阿拉丁神灯的咒语作比喻——提示词就是召唤模型强大能力的咒语。

他梳理了优化 AI 应用效果的四种方法,按成本和复杂性从低到高排列:

  1. 提示词工程:成本低、易实现,是最容易上手的方式。
  2. RAG(检索式增强生成):即知识库,效果更好但复杂性较高。
  3. 微调:对模型参数进行调整,成本和复杂性更高。
  4. 预训练:重新训练模型,效果可能最好,但成本最高。

对于普通用户和公司,最常用的方式是「提示词 + RAG 知识库」的组合。

提示词的四个基本要素包括:指令(让大模型执行的任务)、上下文(背景信息)、输入数据(分为系统输入和用户输入)、输出指示(期望的输出格式)。吕昭波特别解释了系统输入和用户输入的区别:系统输入是平台预设的,比如「只生成代码」或「只生成图片」;用户输入则是用户提供的具体内容,比如「东方明珠」「外滩」等。

他还介绍了提升提示词效果的八个实用技巧,包括:简明扼要地给出明确指示、提供上下文、增加指令、提供响应示例、分解复杂任务、反复尝试等。其中他特别提到一个有趣的现象:让 AI 计算数学题时,加上「深呼吸,一步步来」这样的提示,它反而能算对。「这中间有一些玄学」,他说。

关于是否要给模型提供示例,吕昭波引入了「0 样本」和「小样本」的概念。简单场景可以使用 0 样本提示,不需要示例;复杂或特定领域场景则需要提供示例帮助模型理解。他用给小朋友解释奇数偶数来类比:举一个例子,模型就能按照逻辑推演。

提示词优化平台与评估方法

吕昭波介绍了 12 个精选的提示词框架(如 APE、Brock 等),但他强调,这些框架不是用来死记硬背的,而是在调优过程中使用的。「我们很难说 12 个框架自己背得滚瓜烂熟,直接去用哪一个」,正确的做法是先用 AI 生成一个整体框架跑起来,遇到效果瓶颈时,再借助不同框架进行针对性优化。

他重点推荐了三个提示词优化平台:

  • 阿里百炼:拥有大量提示词模板,可以作为「模板仓库」,其 SCL 框架(介绍背景输入输出)被验证能有效提升效率。
  • 火山方舟:提供提示词管理、生成、优化和评分功能,支持人工评分和 AI 评分两种模式。
  • 百度千帆:较早提供提示词评估和优化功能,界面直观,支持创建模板、优化和评估。

吕昭波详细演示了火山方舟的批量测试功能:生成提示词后,可以创建多条测试数据,让 AI 生成回答,然后人工或让 AI 打分。通过批量测试,可以判断提示词与模型的适配性。「对于复杂场景,比如公司 1000 人、10000 人使用,我们很难直接让 AI 优化一下就全公司发布」,批量测试能提供更客观的评估依据。

评估方法分为定量分析(如统计重复字词数量)和定性分析(主观评价),也可以通过对比实验来验证优化前后的效果差异。

从提示词工程到上下文工程:进阶方向与 AI Coding 应用

吕昭波指出,2024 年流行的是提示词工程,2025 年则转向了上下文工程。提示词驱动大模型按期望格式输出,而上下文工程集成了更多工具,包括知识库(PDF、Word、TXT、Excel、邮件等)、历史对话、系统和用户设置等。

他介绍了一些高级概念:

  • 提示词缓存:将长提示词缓存下来,减少 TOKEN 消耗。最早由 AWS 在去年 12 月的 re:Invent 大会上发布,火山方舟等平台也支持。
  • 提示词路由分发:同一套提示词在不同模型上效果不同,需要将不同模型与不同提示词进行匹配绑定。
  • 自洽性:一种类似思维链的提示技术,让模型做进一步的自我检查。

在 AI Coding 领域,提示词同样大有用武之地。吕昭波以 TRAE、阿里 Coder、百度 CO-Command、Amazon Q 等平台为例,说明提示词可以作为开发规范,固定重复要求,减少每次沟通的成本。他区分了「提示词」和「规则」的用途:规则是「每次都要这么干」的潜台词,提示词则是告诉 AI「生成一个游戏网站该怎么办」的具体指令。

他还提到了「思维链」和「思维树」等进阶技术。思维链将复杂任务拆分为小步骤,让模型一步步分析;思维树则让模型生成内容后进行自我反省和优化,以输出更稳定准确的内容。这些技术都有相关论文支持,适合有深度研究需求的用户。

现场问答

扣子工作流发布到多维表格,为什么审核不通过? 审核不通过的原因很多,可能是字段捷径不标准,或者没有通过平台的核验,需要具体看情况。

现在还有提示词工程这个岗位需求吗? 有碰到过。比如一些交友软件希望用 AI 模拟人类互动,不同性别、年龄的回复内容有技巧,需要上下文工程师。但最好还会智能体操作,综合能力更重要。

大模型能力越来越强,未来是不是可以直接用自然语言对话,不用写提示词了? 大模型能力强和要不要学提示词是两回事。能力强是一方面,学会了会让你用得更好。自然语言本身也是提示词。

结构化提示词适用推理大模型吗? 结构化提示词还是需要的。理解推理大模型的推理方式比较复杂,但提示词必须写。提示词够精准,推理结果就更好;不够精准,模型可能会乱推理或补全不适合的想法。

写提示词是不是要求文字功底? 中文功底要求没那么高,现在很多可以让 AI 帮忙生成。关键是发现 AI 生成提示词时的问题,比如缺少示例、缺少目标引导。发现问题的能力比解决它更重要。

生图提示词需要不断优化吗?针对不同画面样式要调整模板吗? 生图的话,至少需要了解一些图像关键词。社区里的 AI 图像板块有特别多模板和提示词可以借鉴。

提示词是越详细一次性给好,还是分段输出好? 不一定越详细越好,给太多可能限制思路。可以先给一个 80 分左右的提示词用起来,再逐渐优化。调整也不仅仅是提示词,还需要工作流、知识库等多方面配合。这取决于使用场景和任务,功能太多会使模型注意力分散,结果不精准。

提示词中需要同时使用 JSON 格式和 Markdown 格式输出,很困惑怎么办? 可以分节点输出,先输出 Markdown,再输出 JSON,没必要给自己增加难度。

要点回顾

  • 先动手再学习:5 分钟内在 COZE 中生成提示词并发布智能体,完成作业是第一步。
  • 结构化是关键:使用 Markdown 格式(井号分级)组织提示词,包含角色、技能、限制、示例等模块,是获得高分的基础。
  • 优化有方法:通过增加上下文背景、明确输出任务、添加约束条件和示例引导,可以显著提升提示词质量。
  • 平台可借力:阿里百炼、火山方舟、百度千帆等平台提供提示词模板、优化和评估功能,可以交叉使用。
  • 评估要批量:通过批量测试和评分(人工或 AI),可以客观判断提示词与模型的适配性。
  • 进阶有方向:从提示词工程到上下文工程,涉及缓存、路由分发、自洽性等高级概念,还有思维链、思维树等技术。
  • 应用不设限:提示词不仅用于 COZE,还可以用于 AI Coding 平台(如 TRAE、阿里 Coder、Amazon Q),作为开发规范和模板。

直播回放179 分钟

播放器来自飞书妙记 · 在新窗口打开