学术头条报道,来自清华大学、TAL AI Lab和智谱AI的研究者提出了20亿参数语言模型MathGLM,用于探索大语言模型在数学推理方面的效率。该模型采用Transformer解码器架构,在大规模算术数据集上训练,数学运算能力得到显著提升。实验结果表明,MathGLM在一系列算术运算任务上的准确率接近100%,明显优于GPT-4。即使参数量只有1亿,MathGLM也优于GPT-4和ChatGPT。研究还发现,随着参数量的增加,MathGLM的算术运算能力也在增强。在处理数字格式复杂的混合算术运算时,MathGLM也优于GPT-4和ChatGPT。该研究表明,语言模型在 Parameter 和数据量足够大的条件下,可以准确地进行复杂的数学运算。