AI数据准备功能汇总

【摘要】 为了提升AI数据数量、质量、效率，ModelArts数据管理提供了：（1）多种方式进行数据整合：提供了超过18中数据增强算法来方便用户扩增数据；（2）提供数据预览、多维筛选和特征分析等方便用户查看和查找数据，提供超过12中标注工具方便标注更精细化、场景化、专业化的数据；（3）提供数据校验、自动分组、数据选择等算法：加速数据清洗，提供智能标注和团队标注：提高标注效率。

通常来讲，AI人工智能的三要素是数据、算法和算力。这三要素缺一不可，都是人工智能快速发展的必备条件。这一轮AI热潮得以快速发展，也正是得益于这三个要素已经准备就绪。数据的质量会影响模型的精度，一般来说，大量高质量的数据更有可能训练出高精度AI模型。现在很多算法使用常规数据能将准确率做到85%或者90%，而商业化应用往往要求更高，如果将要模型精度提升至96%甚至99%，则需要大量高质量的数据，这个时候也会要求数据更加精细化、场景化、专业化，这往往也成为了AI模型突破瓶颈的关键性条件。

而在大多数人工智能和机器学习项目中，数据准备和工程任务占了80%以上的时间，其中数据清洗和数据标注占了整个项目的50%左右。而数据准备非常消耗人力，如何快速准备大量高质量的数据已经成为AI开发过程中一个极具挑战性的问题。

为了解决这类问题，ModelArts数据管理围绕数据数量、质量、效率等三个方面提供了多种功能，方便用户准备AI数据，主要有：（1）多种方式进行数据整合：提供了超过18中数据增强算法来方便用户扩增数据；（2）提供数据预览、多维筛选和特征分析等方便用户查看和查找数据，提供超过12中标注工具方便标注更精细化、场景化、专业化的数据；（3）提供数据校验、自动分组、数据选择等算法：加速数据清洗，提供智能标注和团队标注：提高标注效率。

ModelArts数据管理为准备高质量的AI数据提供的能力

相关文档和案例汇总如下：

1. 如何快速准备高质量的AI数据？：https://bbs.huaweicloud.com/blogs/261508 
2. 物体检测数据集准备的最佳实践：https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0069.html
3. 如何进行图像分割标注？： https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0019.html
4. 如何进行视频数据标注？：https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0018.html
5. 如何使用团队标注功能加速数据标注？：https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0020.html
6. ModelArts智能标注提升70%数据标注效率：https://gitee.com/ModelArts/ModelArts-Lab/tree/master/train_inference/Auto_Labeling/Auto_Labeling
7. ModelArts智能数据标注提升70%效率（进阶版）：https://gitee.com/ModelArts/ModelArts-Lab/tree/master/train_inference/Auto_Labeling/Auto_Labeling_advanced

8. 数据处理总览：https://bbs.huaweicloud.com/blogs/215101

9. 使用数据增强，解决数据不足和数据集不均衡的情况：https://bbs.huaweicloud.com/blogs/189148

10. 数据校验–给你的数据做个体检吧：https://bbs.huaweicloud.com/blogs/193412

11. 数据去重使用案例：https://bbs.huaweicloud.com/blogs/193420

12. 数据清洗使用案例：https://bbs.huaweicloud.com/blogs/193421