Hongru WANG, The Chinese University of Hong Kong

[email protected] / [email protected]

Cheng QIAN, University of Illinois Urbana-Champaign

[email protected]

Started writing in 1st April 2025, Released in 2nd April 2025

当Agent的能力越来越超出我们的想象，当大模型的边界不断地被扩展到具身智能，深度研究等各种垂直领域，我们不禁发问，模型的能力扩展有尽头吗，模型对自身能力有感知吗，模型是否可以像人类一样可以基于自身的感知进行一系列的行动和决策？

我们首先从观察到的知识边界三定律出发，逐步阐述我们对于以上问题的思考和最新的探索。具体来说，我们认识大模型和我们人类一样，具有三个重要的定律：

                        Figure 1. The Knowledge Boundary of Specific LLM

1. **每一个模型（人类）在给定时间t的情况下知识边界是固定的。**在给定时间的情况下，由于模型的参数是固定的，没有任何新的修改，所有的知识都是存储在模型的参数（类似于人类的大脑）里面。
   1. 整体上，当时间不断前进时，模型的能力也随之进化，知识边界也随之扩展。
   2. 局部上，知识边界可以通过训练等方式进行重分布，使得在特定领域得到加强。
2. **不同的模型有的不同的知识边界。**因为不同的模型用不同的训练数据，有着不同的大小，经历了不同的训练方法，所以他们所掌握的知识是不同的。
3. 存在一个最小知识边界，使得在内的所有知识对于所有模型都是已知的(internal knowledge)；同时也存在一个最大知识边界，使得在外的所有知识对于所有模型都是未知的(external knowledge)。

Figure 2. The Minimal Knowledge Boundary and Maximal Knowledge Boundary for All LLMs