← 全部概念

模型与使用

上下文学习(ICL)

In-Context Learning

模型借助当前输入中的说明或示例适应任务,通常无需为此更新参数;示例影响本次处理方式,不等于永久学会。

更新于

在题目里给它示范

上下文学习是指模型根据当前输入的说明或例子调整处理方式。常见形式是在问题前放几组输入和理想输出,让它按同样规则完成新例子,通常不会因此更新模型参数。

例如,你给出两条活动通知,以及对应的“日期—地点—准备事项”整理结果,再让 AI 整理第三条。它可以借助示例理解你要的格式。

zero-shot 和 few-shot 是什么

Zero-shot 通常指没有提供任务示范,one-shot 是一个示范,few-shot 是少量示范。没有示范也可以有详细要求;这里计数的是提供了多少例子,不是模型此前读过多少训练材料。

在语言模型语境下,这些设置常用于比较提示方式。更广义机器学习文献中的“少样本学习”也可能涉及参数训练,需要看作者采用哪种定义。

为什么不等于永久学会

示例留在当前上下文中时可以影响回答。换到没有这些材料的新会话,效果未必保留;把规则写入产品记忆或通过微调改变参数,是不同机制。

示例是否清楚、是否覆盖例外,以及排列顺序,都可能影响结果。机器人报道中的“具身 ICL”还需确认示范是文字、图像还是动作轨迹,不能只凭缩写认定它与聊天示例拥有相同效果。

来源与延伸阅读

在周报中读到它