llama-2-70b是gpt-3.5的一种诱人的替代选择，但如果寻找廉价的语言模型，偏离openai的api可能不值得。在考虑价格和延迟时，不应该使用llama-2来处理重负载的工作，而是适用于以提示为主的任务，例如分类。当工作负载没有提示令牌时，使用llama-2可能也是有意义的（虽然不直观，但稍后会解释）。在其他情况下，gpt-3.5应该更便宜更快。需要注意的是，使用llama而不是gpt-3.5的一个原因是微调，但在本文中，我们只探讨成本和延迟。我没有将llama-2与gpt-4进行比较，因为它更接近3.5级模型。
未经允许不得转载：凯发k8国际真人 » 为什么 gpt-3.5（大部分情况）比 llama 2 便宜
