随着人工智能技术的不断发展，大模型在过去几年中备受瞩目，然而最新数据显示，ChatGPT的访问量在今年6月环比下滑了9.7%，这是自其推出以来的首次下滑。从全球范围来看，媒体和公众对大模型似乎不再像之前那么热衷。
在2023世界人工智能大会青年优秀论文奖颁奖仪式暨青年科学家论坛上，复旦大学计算机科学技术学院教授邱锡鹏提到了大模型面临的问题。他认为，虽然大模型的火爆并非偶然，但在ChatGPT的成功之后，这一领域中的科学进步相对较少，许多人寄希望于通过工程手段来达到突破。
邱锡鹏指出，当前几乎所有的大模型预训练都基于Transformer架构，虽然这是一种非常有效的架构，但它对计算资源的需求巨大，需要强大的算力支持。此外，生成式范式成为主流，这导致大模型只能通过生成式方法解决任务，即使是复杂的结构化预测问题也需要使用生成式方法。与此同时，研究领域也在向大语言模型集中，导致其他方向的研究逐渐萎缩。
大模型面临着"十大科学挑战"，其中包括架构设计、思维链、幻觉、多模态延展、自动化评价和平民化等问题。尤其是大模型的架构创新是当前的紧迫问题。邱锡鹏指出，大模型之所以能够具有突出的性能，是因为其庞大的数据量使得涌现成为可能。然而，人们对涌现机制还知之甚少，如何实现涌现是区别大模型与小模型的关键特征之一。因此，进一步扩大模型规模是提高大模型智能性的明显途径。
然而，主流的Transformer架构已经限制了模型规模的进一步扩展。Transformer的复杂度与输入字符长度呈平方级关系，每增加一个字符，计算量就会指数级增长。因此，寻找更高效的新架构是支持未来模型规模扩张的关键。另一个关键问题是评价体系的建立，目前业内缺乏统一的评价标准。
对于大模型的发展而言，颠覆性创新往往出现在冷门领域。以ChatGPT为例，它成功地在大语言模型领域崭露头角，尽管之前主流方向是谷歌的“理解与生成相结合”，但OpenAI公司仍坚持自己的研究路线。这也说明了创新规律中热门领域往往难以出现颠覆性突破，未来的核爆点可能会奖励那些默默坚持的少数派。
尽管大模型发展面临一系列挑战，但邱锡鹏认为，大模型的研究并非只有资金雄厚和数据储备充足的大厂才能胜任。除了在预训练阶段需要庞大的算力外，其他方面所需的算力并不高。随着算法的优化，即使是小公司也有可能在大模型研究上取得突破。
综上所述，虽然ChatGPT的访问量出现下滑，但大模型的发展依然面临着众多挑战。解决这些科学问题并进行创新，才能使大模型走向通用人工智能的目标更近一步。
