知乎：叶兀 (未授权，请勿转载)
学校：爱丁堡大学
链接：https://zhuanlan.zhihu.com/p/611867921
编辑：深度学习自然语言处理 公众号
构建某种生命状态，就在此刻，不惜代价，竭尽全力。
本文进行ChatGPT的商业前景与能力进行分析，内容组织上首先分析CGPT的能力，然后分析OpenAI（主观臆断），中间加入了一个关于收益的高亮，接着我们讨论基于CGPT的出现的商业机会，最终聊一下“中国版”CGPT。
原理分析
语言模型为基础原理。学习到语言模型，本质上是在学习概率分布。
尽管有分析认为模型并没有真正“理解”人类的语言，因为基于语言模型本质上就是基于概率分布进行的计算。
有趣的事情
这个时候有人认为，人类又何尝不是一样的做法呢。即在某种条件下，我应该做某种回复。
有趣而已，毕竟信息的输出，语言只是一种，我们还可以用音乐等来做类似的事情。
Why ChatGPT会出圈/有何不同
比特币/Web3/元宇宙等都曾经火过，或者火到了现在。但是其没有落实到真实的人们触手可及的“应用”层次，且这个应用上手极度简单。
很多基于ChatGPT的接口在国内封装的小应用也有很大的推波助澜的作用
Chat本身就很迷人
NLP界的人关注原理，所以我们从底层技术上理解的话，其路径为GPT1->GPT2->GPT3->{WebGPT/CodeX etc.}->InstructGPT->ChatGPT。从这条路径上看，会发现LLM的技术十分粗暴，数据的精细处理，数据量的不断扩大，模型参数的不断扩大就得到了效果十分出色的一个LLM，在多个Benchmark上都可以获取到好的效果。
那ChatGPT做对了什么呢？
「CHAT」。这才是其核心。
技术：LLM一直都存在，从BERT开始火热，人们将其认定为NLP领域的Transfer Learning/Pretrain-Learning的关键进展。
应用：NLP的落地应用一直不明朗，一般来说有两大类，一种是嵌入到成熟的搜广推中，另一种则是用各种NLU的能力帮助数据处理，或者垂直领域的工具应用。「除此以外，一直以来都想要有交流顺滑的NLP agent。这一点在ChatGPT之前均没有得到解答/或者说几乎没有看到明朗的希望。」
Chat：
特别说一下Chat。siri/Alexa/天猫精灵等，本质都在想要做类似的事情。但我们在实际使用的过程中会发现其“机器”的本质，背后充满了规则和“不近人情”以及“机器语言”[相关技术同学或许有一些感触]
流畅的沟通
HCI：HCI是一个很诱人的领域。人类一直在追求交互和反馈。人的感官在一直不断的进行信息输出，也在接受信息输入。越简单越直接越本能的交互动作会让人更容易上手/上瘾/接受。
对于用户来说，成本异常低。所以让任何人都轻易上手。
这种类型的交互，所造成的影响将会很大
抖音为例子：只需要划拉划拉，没有学习成本，所以就很容易上瘾了【我窃以为这个是成功秘诀】
自然语言交互，是非常诱人的事情，因为人类本质上是用语言在进行输出，用视觉/语音在进行信息接受（阅读文字也是）。
流行程度
县城高中已经在流行这个概念了，可想而知有多么的流行和火热。我都惊了
MaaS（Model as a Service）
有人认为因为ChatGPT出现，所以MaaS这条路走通了。夸张了，从技术上一直都是通的，从应用上，主要还是缺少ROI合适的应用可以支持MaaS而已。在大公司中，这条路一直都比较通。
百度其实很早就开放了各种API，基于这些API的成功盈利项目早就在使用这些能力了。具体有多少我就不太清楚了。
冷静思考
一项新的技术，如何带来商业价值
更好（效果/成本）得解决已知问题
原来的技术不好，升级了：马车到汽车
技术替换了以前的某个较为陈旧的技术
更好得满足人类某个诉求，从而将这个诉求商业化——提升生活品质：例如飞机
游戏、战争
【美团】吃喝玩乐，衣食住行
不足
事实性错误，特别是一本正经说胡话：假新闻，低质内容（天，现在已经够多了），学术作弊（学术工具？）
能力上限当前还未得到仔细评估【今年一定会有很多benchmark类型的工作】；发展天花板此时还不清晰。
第一小节和第二小节的标题都很有趣，我很喜欢
因为相信，所以坚持
OpenAI一直相信GPT系列模型的价值，愿意不断在这个方向上研究，发展，坚持，从而获得更好的效果。通过论文可以看到，在ChatGPT出现之前，OpenAI在GPT-1之后其实每年都有很明显的研究进展。有意思的是，每一个进展其实都没有商业价值，每一次实验背后都是白花花的银子。（看着不多，但其实这个体量下这种人才密度相当高了）
OpenAI因为相信自己的研究方向，所以坚持在这条路上发展，五年左右，终于破圈。
其除了不断在研究外，还公开了API，通过API不断收集数据。
因为看见，所以相信
对于其他研究者来说，即然已经看到ChatGPT这条路可以拿到这样的效果，大家当然会很快跟进。但能跟进到什么程度，要取决于ROI（无论中外）。
共同的目标
OpenAI is an AI research and deployment company. Our mission is to ensure that artificial general intelligence benefits all of humanity.
复现为什么那么难
但凡训练过模型的人都知道，数据怎么设计，模型结构，模型大小，训练参数等等一系列都会影响最终训练的效果。OpenAI没有开放细节，所以这些细节都需要我们自己摸索。这就是难点，且效果如何衡量很难说。
钱：最好解决的一个问题（not to me
系统架构，工程复杂度
数据与模型细节
商业化前景不明朗
「是时间。」
ChatGPT会给人类带来最宝贵的东西就是时间。所以一切能为人们节约时间的应用都会引爆市场。节约时间的另一种解读也可以是懒人福音。
BUT：我们看到流量本质上是在争夺人类的时间，那么节约时间的应用会与传统的流量变现思路矛盾。这一点如何解决，应用的目标人群究竟有多少，是否是一个国民级别/世界级别的应用，规模如何定义，变现如何设计，这都是需要考虑的问题。
我没有bible，也在思考，欢迎私信讨论。
「时间的一个显现在交互上」
革命性的技术突破往往会在市场上有很大的影响。CGPT的出现让通过语言进行人类与Agent之间的交互成为可能，在这之前AI的能力由于其都需要依附于某个应用，所以往往是一种类似2B的服务。此时，或许AI能力可以直接作为面向C端消费者的应用出现，这或许是一个新的市场。
一种新的交互方式，其背后又是一个崭新的市场/甚至可以叫做平台。
ChatGPT是一个有力的工具，成为利用它的高手
如何更好的利用这些工具，将会是未来的重点，如果不能很好的利用他们，在与其他人竞争的时候会陷入被“降维打击”的情况。
学习使用，提升使用效率
这个工具会让现有的某些业务发展的更好，也可能让某些业务逐渐消失。
成为ChatGPT的生产方
除了ChatGPT这样的工具，世界上还会很快有其他工具诞生，具体是什么，我们不得而知
有了PS，后来还出现了美图秀秀
有了AE，也有剪映
所以可以基于当前的浪潮，考虑一下新的工具是什么，拿到另一波先机
人类会被替代么？
比如以前从10个录影带中找到一个人需要10个人看一晚上；现在只需要算法自动识别一晚上即可。【这个是ChatGPT出现前的情况】
未来是什么，我们不得而知。
那肯定不会
会有人被替代么？那肯定会。什么人呢？
Jarvis可能真的不远了。
我觉得蚁人控制很多蚂蚁也非常酷
创业可以的选择有：
复现
基于海外ChatGPT进行应用层次的开发，与OpenAI紧密合作
提前布局以等候国内类似能力的MaaS
各个公司的情况
这里需要说明，OpenAI是一个研究机构，甚至可以将其看作是微软的一个部门。这意味着，微软用资源（钱、机器、计算系统等）支持了一个小型高人才密度的研究机构。
国外大厂Google/Meta/Amazon等，以及相关研究方向的小型机构，一定会跟上，我们知道，算力、人才、数据这几家公司都不缺，也不缺支持高质量实验的工程Infra。
国内大厂BAT TMD等，会不会“真”的跟上，就目前看来概率很大，国家支持，自己也有相应的基础。快速follow在理论上是可行的，根据已知信息，很多公司已经在做相关的工作了。
对这几个公司而言，更重要的是怎么选择：
国外：比如google，看起来是要做了；meta，是继续all in 元宇宙么；amazon 记得去年裁员涉及到了Alexa
国内：其最危险的地方，其实是业务稳定性。由于业务会受到冲击，而这个冲击并不是来自于高科技的冲击，而是来自于商业的冲击，被冲击者是选择走“ChatGPT”来
CGPT最强大的并不是其背后的GPT
一个语言模型，对这些中国的互联网公司来说很easy。一个牛逼的中文语言模型，这些公司认真做，就有了；再认真一点，效率成本都可以优化；再再认真，可以做到最好的中文LM，甚至在英文各种榜单都名列前茅。
Chat部分是怎么做到的？
COT在单语言下可以做到么？效果有这么好么？
这样就能在世界技术竞争浪潮中有一席之地么？
这不是单语言的问题-Domain Model is Not CGPT
在GPT2的论文中，很早就分析得到了结论：其希望可以训练一个通用模型来应对一切问题。一个单语言模型能够很好的应对用户奇奇怪怪的问题么？ok fine，可以通过策略 规则设计来应对。那不就回到了老路么。
对于这种大规模才出奇迹的东西，阉割后相比原本的航空母舰可能会有非常大的实力衰减。
应用场景可以垂直，能力建设是否要垂直，我认为是一个值得思考的问题（不是
做应用还是做General Model
这是两个问题。如果是做应用或者是解决某个问题，办法千千万，CGPT只是一个思路。还可以雇个秘书，也可以完成这个工作。
格局，也是选择
总想着埋头做中文模型，是不科学的，也是不可取的。当前我们要解决的是语言模型的训练，这样一个问题，而不是“中文语言模型”这样一个问题。
我们可以做中文的benchmark来测试一个CGPT模型在中文上的效果表现，但我们如果通过实现一个满足了中文某些benchmark来作为追赶目标，这是不是一个正确的方向，我持保留意见。
知识是人类的，或者说我们是否利用了人类的知识将会决定我们的天花板。当然，我们可以设置不同的checkpoint来不断校验进展，提振信息，校正方向，这个我非常认可。
不过，最终目标如何依然很重要。
复现的难度
算力：钱可以解决。但当前在硬件受限的情况下，还是需要集中力量做事情
数据：高质量的数据不是简单花钱就可以获得的，还是需要合理的机制设计来保证最后的效果
算法细节与工程难度：算法细节没有公开；为了做到这样的训练需要有配套的合理而完备的工程设计；基础的技术大家确实都知道，但将他们以合适的参数做组合达到CGPT的效果，依然很难需要摸索；难以界定效果好坏。
耐心还要与耐心并存的紧迫感：Tough and Excited。OpenAI也会不断improve。
哲学：复现一个CGPT只是表象，让OpenAI能够做出CGPT的内在源动力才是核心。而这样的动力除了OpenAI还有其他组织也有。当前在做相关复现的组织的哲学理念是否可以支持做出类似的工作依然是一个可以讨论的话题（like google，最近理性声明反而确实感觉其认识更加深入一些）。「OpenAI is an AI research and deployment company. Our mission is to ensure that artificial general intelligence benefits all of humanity.」
认识别人，认识自己，知道自己想要什么，然后再配以tough的执行力。
感谢互联网上的资料，很早之前就在阅读各种资料了，最终加上自己的想法汇总，导致之前看过的资料没有记录。如果有同学认为有遗漏的参考资料link，欢迎直接评论，我添加
最后给大家推荐一下最近小编从最新的斯坦福NLP的公开课都放到了bilibili上了，都已做了中英翻译，大部分已经更新完毕了，给需要的小伙伴~
是最新的呦~
目录
词向量
神经分类器
反向传播和神经网络
句法结构
RNN
LSTM
机器翻译、Seq2Seq和注意力机制
自注意力和Transformer
Transformers和预训练
问答
自然语言生成
指代消解
T5和大型预训练模型
待更...
点击阅读原文直达b站~