本篇延续我们上篇文章《大模型对话系统的内功与外功》，以一个回顾和展望的视角出发，试图回答大模型对话系统的过去，现在和未来等一系列相关问题。我们知道对话系统是自然语言处理领域经久不衰的热门研究方向之一。在大模型，特别是ChatGPT和GPT4等，横空出世之后，几乎所有的自然语言处理任务都可以通过对话这一外在表现形式进行处理，在这个的一个时间点上，我们认为有必要对对话系统的演变和进化进行一个整体性的回顾，对话系统是如何从最早期的简单的基于规则的，领域单一，任务单一，语言单一的形式进化到现在这种基于大模型的，可以处理几乎所有领域，所有任务，语言丰富的系统？

Arxiv: https://arxiv.org/pdf/2311.16789.pdf

Github: https://github.com/ruleGreen/Survey-Evolution-DS

对话系统的进化，离不开底层语言模型的进化，每一次语言模型的更新，都代表一次计算架构和学习范式的迭代，给对话系统的发展与演变带来了深刻的影响。从 NLM（e.g., LSTM, GRU）到 PLM（e.g., BERT, GPT），再到如今几乎统治一切自然语言处理任务的LLM，每一次语言模型的进化都对对话系统的研究方向和研究重心产生了一定的影响。我们按照这几次重大的语言模型的突破（Seq2seq, PLM and LLM）将整个对话系统的演变分为四个不同的阶段：

1. 早期阶段（Early Stage — 2015年之前）：早期的对话系统几乎全是任务型对话（Task-oriented Dialogue System），以完成某一个具体的任务比如订机票，订餐厅等为最终目标，一开始的任务型对话系统单一任务，单一领域，单一语言等，所涉及到技术主要是基于统计的机器学习，或者规则类的对话系统，以Eliza，GUS, ALICE为代表。
2. 独立发展阶段（2015-2019， NLM）：一方面，2015年Seq2seq的出现，让开放域对话系统 （Open-domain Dialogue System）进入到了大家的视野，开放域对话不以完成某一个具体的任务为目标，主打一个随心所欲，想聊啥聊啥，天然的适配seq2seq这样的一套框架，很多研究人员开始使用seq2seq去解决开放域对话的问题；另一方面，随着LSTM, GRU等RNN的提出，任务型对话也开始使用相应的NLM去建模上下文从而在不同的子任务上取得更好的效果。
3. 融合阶段（2019-2022, PLM）：BERT, GPT 等Pre-trained Language Model （PLM）的出现带来了新一轮的范式 — pre-train-then-finetune。受益于大规模的预训练，PLM的参数自带很多有用的信息比如世界知识，常识知识等，这些知识作为底层能力，可以被应用在大量的任务和领域上，从来给对话系统带来了任务，领域，语言等多个不同层面的融合。需要注意的是融合趋势仍在继续，并未停止，也许永远不会停止。
4. 基于大模型的对话系统（2022-Now， LLM）：大模型的出现就是融合，进化的产物。随着数据越来越多，模型就变得越来越大，能力就越来越好，这就是我们熟悉的scaling law。当我们把大模型对话系统在现实场景下进行应用的时候，新的问题和挑战也随之出现。参考《大模型对话系统的内功与外功》。

1st Stage：Early Stage

对话系统最早可以追溯到传统的基于规则和模板的对话系统，比如Eliza就是MIT 于 1966 年提出的，早于 20 世纪 90 年代 SLM 的兴起，它允许人与机器之间进行简单的对话。 随后，一系列对话系统被构建出来，包括帮助客户简单返回加利福尼亚州单个城市的旅行社 —- GUS，和配置有角色的基于规则的聊天机器人，采用启发式模式匹配规则 解决有关年龄、爱好、兴趣等的询问 —- ALICE。 除了学术上的努力，越来越多的公司关注对话系统领域并开发了自己的产品。 例如，IBM 开发了WATSON，Apple 开发了Siri，微软开发了 XiaoIce。 这些早期的虚拟助手功能有限，遵循严格的流程，主要帮助用户完成单一且简单的任务，例如安排约会、设置提醒以及提供简单问题的基本答案。 在这个阶段，大多数对话系统都是面向任务的，这些对话系统的普遍性质主要是面向任务的，采用基于模块化的方法或基于SLM的机器学习方法。