【摘要】 4月25日，华为云CEO余承东在华为开发者大会 #HDC.Cloud 2021 期间，重磅发布了华为云盘古系列大模型，帮助千行百业解决 AI 模型难以泛化和复制的问题，开启 AI 工业化开发新模式。华为云盘古大模型基于华为云一站式AI开发平台ModelArts构建，包含了：华为云盘古NLP大模型：是业界首个2000亿参数中文预训练模型，预训练阶段学习了40TB中文文本数据，是最接近人类中文理…

4月25日，华为云CEO余承东在华为开发者大会#HDC.Cloud 2021期间，重磅发布了华为云盘古系列大模型，帮助千行百业解决AI模型难以泛化和复制的问题，开启AI工业化开发新模式。

华为云盘古大模型基于华为云一站式AI开发平台ModelArts构建，包含了：

• 华为云盘古NLP大模型：是业界首个2000亿参数中文预训练模型，预训练阶段学习了40TB中文文本数据，是最接近人类中文理解能力的AI大模型。
• 华为云盘古CV大模型：是目前业界最大的视觉预训练模型，包含超过30亿参数

对于盘古大模型，大家都充满了好奇～

AI新入门：如何快速进入相关方向学习和研发？

AI开发者：盘古大模型的易用性、使用成本、落地场景、端侧性能如何保证？

华为云AI开发者社区挑选了一些HDC.Cloud现场开发者的热门问题，专访盘古大模型的核心研发人员谢凌曦博士和张晓鹏博士进行答疑

谢凌曦博士专访

Q:作为一个开发者，请问这些预训练模型的易用性如何？使用成本有多高？

谢凌曦博士：预训练模型本身设计的目的就是为了让大家在使用云服务的时候降低成本，那么我们预训练模型因为它是预训练，所以我们已经在后台完成了这样一个训练过程，这个过程的成本是比较高的，但是成本的不会需要开发者本身来承担。在使用这些模型的时候，它本身易用性和成本都会在设置在一个比较合适的位置，比如说我们会开发出一些比较通俗易懂的pipeline，如果你是有一定基础的开发人员，你也可以从我们pipeline当中去做更多的定制化的开发，更好的去释放我们预训练模型的能力。

如果你只是一个小白，就想用我们的模型去做AI的一些简单的开发，我们也会给你一些更加通俗易懂的界面，让大家能够用一些拖拉拽的方式去使用我们的训练模型，同时成本相对来讲是比较低的，我们有很多种不同的这种计价方式，但是总体来讲，预训练模型都是降低了大家后续使用的时候它的一个计算时长，包括你的这种调仓所需要的重复的代价，这都会被降到一个很低的程度，总体来讲是对开发者非常友好的。

Q：华为视觉计划里面提到了很多计算机视觉的新方向，那么对于新入门的人来说，如果想快速投入新的方向中去学习，需要掌握什么哪些知识才可以快速进入到相关方向的学习和研发中。是否需要先掌握传统全监督学习才可以更好的掌握弱监督和无监督数据的方向的研究中呢？

谢凌曦博士：总的来讲是一个非常好的问题，我自己刚入行的时候也有过类似思考，是因为不管怎么说，人工智能计算机视觉都是经过几十年的发展，到现在为止已经是一个很庞大的知识体系了。

如果一个人想要把这些东西都了解以后，开始做研究的话，稍微效率会有点低，而且你会花费很多不必要的精力去做一些事情。

所以我们给大家的这样一个建议是说，你在学习过程当中，你可以先找准一个问题，这个问题可能一开始是一个相对初级的一点的问题，比如说刚才谈到我想做一个弱监督学习，那么我一定是有一个具体的场景，比如说在现在有一个问题当中，我遇到一个实际的问题当中，他确实需要用到弱监督的算法，但这个时候我是不是一定要先掌握全监督，并不是这个样子，你可以先去查阅一些，比如说当前弱监督学习，它的基线是什么，它的前沿在哪里，然后你就可以去做一些简单的实验，在这个实验的过程当中，你一般会遇到一些困难或者遇到一些疑惑，这些疑惑为了去解决，它一般就会帮你把你引导到这样一些它的基础，比如说全监督到底是怎么做的，那么你有了这样一些更多的基础以后，你回过头来也会对你当前正在做这个算法有更好的理解，所以我的建议是大家可以找一本教材，一个对机器学习也好，计算机视觉也好，这些比较介绍的比较深入的一个教材看。

但是另外一方面也不要局限于这样一个教材，你可以一边做一个具体的课题，一边去学习这样一些知识，这样的话会比较有效率一些。

张晓鹏博士专访

Q：图像预训练模型有哪些成功的落地？跟业界比较处在什么位置？我们的智能驾驶系统有用到这方面技术吗？

张晓鹏博士：已经在华为内部以及其他合作项目上有100家的一个成功的落地，那么这些方向其实涵盖了各行各业，我们在一些工业视觉，包括一些网络审查，包括一些零售商超以及医疗上，其实都获得了一些相较于我们之前不使用预训练模型更高的一个结果。在某些场景上，比如刚才提到的遥感印象上，我们通过这样一种遥感针对遥感影像这样一种预训练算法，其实在没有增加额外的这种标注代价的情况下，其实是达到了最多10%的这样一种分割精度的提升。

那么还有另外一个比较有意思的现象就是说，我们其实在超大规模，我们这里大概用了几千万到亿级的图像的预训练，然后我们直接把这样一个模型，然后迁移到了我们的工业质检的缺陷上。然后其实我们非常欣喜的发现一个有意思的现象，就是我们在下游数据集上其实没有进行任何微调，然后但是我们在这样一个工业缺陷检测上，其实获得了比之前的更高度的优化，甚至利用下游的数据微调，基本上还会更好的结果，这个结果基本上会高出3~4个百分点。也是启发我们就是说我们的模型的数据一旦够多，其实它的泛化能力其实是从隐式的能够获得一种保障。第二个就是说我们的到了什么地步，我们其实是国内公司里面其实是最早做视觉艺术的模型的公司之一，据我了解其实在国外的话是Facebook和谷歌，其实从2019年开始在图像上面做了一些应用，我们这一块其实我们的视觉医学的模型开发其实大概在2019年的时候然后就开始了。

所以说到目前为止，其实我们在一个大模型或者这种方针下，搭载我们的一些模型，蒸馏抽取其实以及行业大模型，我们现在其实已经适配了大概10余种这样一种预训练模预训练这种模型，而这10余种模型都是通过我们的一个大模型的一种分发抽取所得到的得到的，然后它在相应的行业上其实是得到了一种非常大的精度提升，同时也极大的减少了这样一个标注以及模型的迭代。

Q： 机器视觉应用场景很多，不同场景图像角度，物体尺寸等影响因素很多，我们预训练是采用什么类型数据和学习任务？如果想落地某些特定场景还需要多少数据对特定任务进行模型微调？大模型如何保证端侧性能？

张晓鹏博士：这一共有三个问题其实问的非常好，然后其实针对整个在机器视觉图像它的不同的角度，就是说整个整个或者刚才提到的可能不同的变化，其实我们采取的方法其实非常简单，其实一我们可能有海量的，数据集这个数据集规模其实已经达到了一级甚至10亿级这样一种规模，我们相信海量的数据集它是能够建模我们在实际场景的方方面面。另外一个我们采取了什么样的这种学习方式，其实它的一个核心思想就是2019年开始比较火。这样一种对比度之间都学习的方法，然后当然了我们这上面做了很多改进，包括如何来利用一些弱标签的信息，包括如何把这种全局的信息拓展到局部，来更好的建模它在局部的一种相关性关系。然后刚才同时的话也会就是说呼应了刚才提到的我有不同的视角，不同的这种角度，不同尺度问题，那么怎么来让它进行高效的建模？

其实这里面就是让它不同的数据增强，我们在其实预训练算法里面是集成了数千余种的这样一种数据增强方法，然后让他通过不同的数据增强，然后让这个模型具有针对不同数据增强它的不变性来建模。

Q：华为的预训练模型是如何结合不同行业知识，解决标注数据大的问题？

张晓鹏博士：举一个就是我们HDC上发布的国网电力的巡检的例子，其实这就是一个非常典型的我们的视觉预训练大模型来如何解决这样一个行业知识。在这样一种国网电力的过程中，其实它有一些海量的数据，然后标注是非常困难，我们做了一个什么事情，就是我们通过我们的视觉医学的算法，然后在海量的这样一种巡检数据上进行了一一个批次的预训练。然后医学院其实是利用了我们无人机巡检的就是数10tb就是说上百万的这样一种规模的数量，然后来进行一种预训练。

然后它的预训练其实是可以看到我们非常多的数据它的内在分布，然后由于我们的大模型模型参数量越大，然后我们也看了更多的数据，然后所以说它能够更好的建模，就是说在电力行业它的无人机巡检过程中的的一些，图片之间的细微的差异。
然后我们当时也给了一个数字，就是说我们利用我们的视觉预训练大模型，然后它能够提供更好的一个表征以后，因为它的一个缺陷和正常样本的一种表征能力更强，我们在标注代价上基本上是减少了80%以上。一块的话整个在人力代价上是一个非常大的提升。

另外一个就是减少标注，其实就是我们一个模型其实是可以适配我们电力行业的100多种缺陷，我们这个适配100多种缺陷的话，就让模型的迭代周期大大的减少。我们大概减少了就是说整个把迭代周期减少了10倍。然后这样子的话我们在每次迭代的过程中更少，就是说我反馈给人需要标注的这样一种整体的工作量就会越少，所以说通过这两种模式，然后我们实现了在电力这样一个行业方面，利用我们的这样一种视觉医学的模型，极大的提升了我们的一种开发效率。