基础模型框架问答笔记：上下文窗口、设备端模型、评估集等

基础模型框架笔记

> 模型的上下文窗口是多少？最大输入和输出 token 数？
- 输入和输出均为 4096 token。（太少了）

> 我可以使用哪个设备端模型/API从图像中提取文本数据，例如营养标签、配料表、收据等？
- 使用视觉请求、文档识别请求。它还会给出文档结构。

> 基础模型多久更新一次？
- 与操作系统版本异步更新。他们持续训练，每次测试版中你可以用新模型测试你的应用。

> 模型更新时如何测试稳定性？
- 准备评估集。使用黄金提示词和响应来评估模型和应用功能。

> 支持开源模型吗？
- 不支持。他们希望所有应用共享一个基础模型。

> 更大规模的服务器端模型也能通过基础模型使用吗？
- 今年只有设备端模型。