Views: 336
如果您曾经使用过 ChatGPT，您可能会遇到这样的问题：随着对话继续，ChatGPT 会忘记之前的对话内容。而如果您想要处理更长的信息，ChatGPT 就无能为力了。这是因为 ChatGPT 的上下文对话长度只有4k token，约等于 5 页的文本，或者说约3000多个中文字符。
为了能让用户与机器人进行更长更连贯的对话，我们利用最近OpenAI公司推出的一个新的ChatGPT模型（GPT-3.5-turbo-16k模型）开发了一款称为ChatGPT-16K定制版的机器人。这个版本具有支持最多16k （16*1024=16,384）个token的能力（包括提问和回答），相当于大约20页的文本内容。这一更新带来了许多优势，将为用户提供了更长、更连贯、更丰富的聊天体验。 首先，它通过将先前的更长的历史对话作为输入，可以为模型提供更丰富的背景信息，从而帮助模型更好地理解用户的意图和上下文。这自然使得对话变得更连贯、更具上下文相关性。 其次，由于具备了更长的上下文范围，GPT-3.5-turbo-16k 模型能够更好地理解上下文中的含义，并据此生成更准确、更有针对性的回复。通过考虑更多的上下文信息，模型能够更好地捕捉对话的含义和上下文的演变。这种上下文相关性提升了对话的质量和流畅度。此外，GPT-3.5-turbo-16k模型还支持函数调用，进一步增强了交互性。用户可以利用这个功能执行更多的任务，例如查询数据、执行命令、生成图表等，从而提供更丰富的用户体验。 需要注意的是，为了获得最佳效果，用户仍然需要提供足够的上下文信息来引导模型的回复。如果上下文信息不够充分，可能会导致模型生成不相关或不一致的回答。因此，合理构建对话历史对于获得高质量的回复至关重要。
目前，OpenAI公司的这个16k的新模型只能通过调用它的API来实现，无法在其官方网页使用。
先声明一下，使用这个更高级的机器人版本，需要用户对ChatGPT有一定的使用经验和理解。此外，由于该版本的使用成本更高（单价是原先版本的两倍），所以只有您觉得普通的4K版本无法胜任时才建议选用它。
最后，我们预留了2k token供16K机器人回复。所以，您每次提问可以使用的最多文本是14k token，大概是17-18页、12000个中文字符。如果假设平均我们和机器人对话有300个中文字符的话，16K版本的机器人可以支持您和它进行40次对话而不会忘记最初的对话内容。相比之下，我们目前的非16K版本（也就是4K版本）预留1k token供机器人回复，对应的最多的提问文本只有3k token，仅为16K版本的1/5。您和它对话8次以后，它就忘记最初的对话内容了。注意，由于4K版本所支持的token数少很多，我们只预留1k token用于4K机器人的回复，只有16K版本的一半，所以它单次最多能输出的内容也更少。
以下是在我们平台上使用该新版本的简单说明。
在您付费后，ChatGPT-16K机器人会邀请您加入一个私人房间。接受邀请后，您就可以和它对话了。为了得到更好的对话结果，我们需要用户与机器人对话时输入“精确”、“平衡”或“创意”来设置机器人不同的回答模式。如果您还不知道这个设置不同回答模式的好处，请查看我们之前的文章(比官方版本还好的可定制ChatGPT)。我们在这里继续为用户提供这个参数也是得到了用户的正面反馈。如果您习惯英文，您也可以输入“precise”、“balanced”或者“creative”，甚至更简单地输入 “p”、 “b”、或“c”（以及它们的大写“P”、“B”或“C”）来设置机器人不同的回答模式。
您可以参考下面的一个例子来加深以上内容的理解。
如下面的截图所示，我们先输入“重置” （或者 “reset”、“Reset”、“RESET”）让机器人完全忘记之前的对话内容。机器人会确认：“重置成功，您与机器人的对话已重置，不再将您之前的对话作为上下文，从而（显著）减少提问token数。”
在这里的对话中，我们请机器人总结一段长达3478个英文单词的文字。这些文字是节选自我之前撰写的反对KiwiRail项目提交给听证会的部分内容。有兴趣的可以参见《在新西兰遇到豪宅被强拆》。由于篇幅很长，我们只截取上面一张截图。下面是机器人的总结。我们可以看出刚才我们的提问花费了4366个token，机器人的回答花费了352个token。由于原文是我自己撰写的内容，我发现机器人总结的很好。如果您仔细看这两张截图中信息发送的时间，您会看到我是在发送信息给机器人后的14秒收到了它的回复的。这个速度也是非常快的。
由于使用ChatGPT-16K机器人成本比之前的4K机器人高一倍，我们决定按用户使用的实际token的数量来收费。不过即便如此，我们的收费还是相当的低廉。收费的具体信息，请查看这里（含每月付费10元人民币无限制合理使用4K ChatGPT的服务和其他增值服务）。如果您在使用这个机器人服务的时候碰到问题，或者有更特殊的使用场景，请联系我们。我们在后期还会推出可支持32k token的ChatGPT 4.0版本。如果您想了解更多有关我们平台上的机器人服务包括想免费使用我们的机器人服务，请查阅《机器人服务说明》。快来这里注册试试看吧！
PS: 本网站推出基于开源软件的分布式社交媒体平台Mastodon（长毛象）服务。详情见《开放Mastodon服务》。