CPM-Bee 是一个完全开源、可商业化使用的中英文双语基础模型，拥有 100 亿个参数。它是 CPM-live 训练过程中取得的第二个里程碑。利用 Transformer 自动回归架构，CPM-Bee 已在万亿规模的大量语料库中进行了预训练，从而具备了卓越的基础能力。