不掺水的中转站 进入主站

怎么验证中转站的模型有没有掺水

四种可以自己动手的方法,检查中转站有没有偷换模型、缩水上下文或虚报用量,以及为什么只问模型“你是谁”并不可靠。

不用只听我们怎么说。下面这些方法对任何中转站都适用,可以自己测试。

1. 核对用量和费用

打开控制台的「日志」页面,逐条核对模型名、输入和输出 Token,以及扣费金额。然后用模型广场的倍率算一遍,看金额是否对得上。

2. 测试长上下文

发一段很长的文本,在开头、中间和结尾各放一个不相关的暗号,然后让模型把三个暗号都找出来。如果上下文被截断,通常会漏掉前面的暗号。同时看日志里的输入 Token,应该和文本长度大致相符。

3. 同题对比

准备几道你熟悉答案的难题,比如复杂的代码重构或多步推理。分别问不同模型,再和你从模型厂商那里直接得到的结果对比。一次结果说明不了什么,建议多测几轮。

4. 看模型特有的能力

测试多模态输入、长输出、工具调用和结构化输出这些能力。低价模型冒充高价模型时,这些地方比较容易露馅。

为什么不能只问“你是谁”

模型的自我介绍并不可靠。模型可能答错自己的版本,系统提示词也能改变它的回答,所以这个结果只能作为参考。

发现问题怎么办

保存请求日志和测试内容,发给客服核对。