前几天在自己笔记本上部署了一个 7b 版本的 DeepSeek-r1 模型,效果不是很好,响应也比较卡。实际上,已经有很多云厂商都提供了模型推理服务,流行的开源模型应该都有,DeepSeek 当然也不例外。
openai
众所周知,想要跟应用服务进行交互,最常用的手段是调用 API 。那么,想要获得模型推理服务,又应该调用什么 API 呢?
截至目前,与大模型进行交互的 API 接口,还没有一个统一的标准,各个厂商都有推出自己的 API 协议。其中, openai 推出的接口协议,因为发展比较早,使用很广,几乎每个厂商都兼容,似乎成为事实上的标准。
本文就以 openai 接口协议为例,介绍如何编写 Python 程序调用大模型推理服务。实际上,openai 也提供了一个 pip 包,封装了接口调用细节,不用自己发起 HTTP 请求。