本投资提示：

AIGC///ChatGPT 高度关注，以下问题在投资者中很常见。

Q：大规模预训练模型(大模型)和小模型的核心区别是什么？与小模型相比，大模型有什么优势？

首先，核心区别在于参数，如GPT-3 参数达到1,750 1亿是传统深度学习小模型参数的至少1万倍。通过扩展模型，可以带来改进，包括：1)GPT-2 大模型放弃了小模型中常见的参考过程，转向无监督训练；2)NLP 常见的小模型需要用不同的模型来训练和解决不同的任务，而GPT-3 大规模预训练模型不再规定任务，而是对不同任务有较好的效果；3)GPT-3 先用海量数据预训练大模型，获得一套模型参数，然后使用该参数对模型进行初始化，然后进行训练。随后对数据量的需求大幅降低。

Q：GPT-Transformer3等大模型 的关联？GPT/BERT 大模型应用于自然语言领域。

并且Transformer 是目前的NLP 深度学习模型具有良好的领域效果，因此GPT/BERT 使用Transformer等。Transformer 最大的特点是，每个单元都能捕捉到整个句子的信息，这也是RNN/LSTM 等待更早的NLP 模型做不到的一点。

Q：Transformer 对于CV 机器视觉可能与NLP相似 的提升吗？实际上2017 transformer 推出之后，2018 每年都有学者将其应用于CV 但是在图像领域，当时的应用效果并没有发现与传统的CNN相比 等算法有了很大的提升。但在2021 年后，随着swin transformer、mae 等论文发表，transformer 在CV 和跨模态等应用程序增加。因此，中国擅长CV 的AI 在2022年之前，基于transformer的公司 大型模型关注的投资较少，但我们认为ViT 等效果提升，CV应用类 该公司也将开始关注和投资于大型模型。

Q：国内transformer 大模型做得怎么样？如何看待中美技术差距？首先，我们需要承认，这种大模型的底层创新始于美国。中国在2021 年后加速追赶。以前国内大部分视觉AIAI 公司以小模型路线为主，投资百度、华为等大型模型研发。百度推出文心大模型，基本实现跨模式和多下游应用。华为推出了最大的中文语言预训练模型盘古模型。

Q：什么样的公司有机会参与大模型底层技术的研发？我们认为大型模型对存储和计算能力有很高的要求，对开发人员使用深度学习框架也有要求，普通机构难以复制。

Q：上市公司有哪些机会？计算机:泛AI 该领域是相关的主线。人工智能等稳定目标 云从科技、汉王科技、博彦科技、商汤科技是领军、科大讯飞、万兴科技、虹软科技的灵活目标(H)。

互联网:看好国内AIGC 市场继续跟进AIGC 技术发展和文本、音频、图像等单模式的应用。专注于技术驱动的初创代表性企业、科研机构和与应用场景相关的A 股票上市公司。相关标的：中文在线、汉仪股份、视觉中国、蓝光标。

风险提示：中美大型技术仍存在差异，部分技术仍处于早期实验室阶段，存在着陆风险；实体清单可能会影响训练硬件。