1.2PDF长文本阅读能力

我选择了一份300多页的pdf文件让 Kimi 进行阅读总结，并且提问了一些简单的问题。

在长文本性能测试方面，一位AI大模型领域的开发者 Greg Kamradt 设计了一个名为“大海捞针”的大模型长文本性能测试方法：

在文本语料中藏入一个与文本语料不相关的句子（可以想象是在整本《西游记》里放入一句只会在《红楼梦》里出现的话），然后看大模型能不能通过自然语言提问的方式（Prompt）把这句话准确地提取出来。

Greg Kamradt 的“大海捞针”实验简述：

“大海”：Paul Graham 的文章合集作为语料

“针”：“The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day.”

提问："What is the most fun thing to do in San Francisco based on my context? Don't give information outside the document"

期待模型输出的正确答案：

The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day.

Kimi 的 工程师同样使用这种方式对 Kimi 的长文本能力进行了压力测试，有兴趣的小伙伴可以了解一下具体测试内容：https://mp.weixin.qq.com/s/IC5-FGLVHzHHYqH6x-aNng

Kimi提出的支持200万字无损上下文能力，这份能力如果可以稳定扎实的实现阅读总结归纳，意味着可以同步读取完上百份文档，我们可以批量对它进行“教学”，将你需要学习的模块内的相关书籍发送给它，让它帮你总结规划，迅速完成任何一个行业的基础入门教学。

1.3国内联网搜索

作为国内的大语言模型，Kimi 的联网搜索功能，可以轻松搜索到国内平台的新闻和文章，附便于提取使用，在针对国内市场的工作任务环境，会有较好效果。

同时在体验过程中发现，Kimi有一个很适合新手用户的使用的点，其在提问过程中，每次回答后会在答案下方衍生出三个相关的问题给你，对于不擅长提问的小白玩家来说会有很好的启发性。

在计算方面，ChatGPT 4 的准确度更高。

Kimi 目前的计算能力相对较弱，在给出答案时询问是否准确的时候会多次重新计算出错误答案，或者二次校验答案同第一次相同的情况下（答案正确），也称自己第一次计算错误，而 GPT 在二次询问过程里，二次计算结果相同情况下，会直接反馈第一次的计算是正确的。

最后测试了两个推理题目。

题目一的方向主要是基于文本语义的衍生判断答案，选自行测题库。

题目一双方的回答都没有问题，Kimi的反应速度相较更迅速，对于中文的理解速度更快，当然也不排除作为国内的大语言模型本身有这方面的数据内容。

题目二涉及到了计算任务，在答案上双方的出现了差异，从第二题的结果来看，ChatGPT 提供的答案准确度更高，同样在推理题上，二次询问 Kimi 也会出现以下问题：同第一次答案相同，但是表示第一次是错误的。

3.2视频脚本撰写

在视频脚本的 Prompt 撰写上，为了能够看出 ChatGPT 和 Kimi 的理解差异性，去掉了对于表格内容的限制，让它们自己根据情况生成。

3.3段落润色

在段落润色修改上，使用了测评文和新闻稿两个角度，针对同一段文字，让 ChatGPT 和 Kimi 进行了回答。

在语言风格上，Kimi 更懂中文，对于中文的支持更加友好，在撰写倾向于目前的国内平台自媒体爆款文章上，Kimi的表现会更符合期待。