分布式机器学习与联合学习，哪个更好？Distributed Machine Learning Vs Federated Learning对比

使用集成工具进行数据挖掘和研究分析的传统方式已经不再实用，因为数据太大，难以管理。近来，分布式和联合式ML正在被看好的方法，因为它们可以进行更大的数据分析。虽然这两个概念看起来很相似，但两者之间存在着相当大的差异。在这个概念中，我们探讨了这两种方法的不同之处。

分布式机器学习

分布式机器学习是一个多节点的ML系统，它可以提高性能，增加准确性，并扩展到更大的输入数据量。它减少了机器的错误，协助个人从大量的数据中做出明智的决定和分析。分布式机器学习算法已经发展到可以处理巨大的数据集。

由于机器学习算法在可扩展性和效率方面的限制，处理大规模数据是一个挑战。例如，当算法的计算复杂度超过主内存时，由于内存的限制，算法将不能很好地扩展。进入分布式机器学习算法。它可以处理大型数据集，并开发高效和可扩展的算法。

分布式ML算法是大规模学习不可或缺的，因为它能够将学习过程分配到几个工作站上，以实现更快的学习算法。

部署分布式ML算法的一些最常见的部门是医疗保健或广告；一个简单的应用程序在这里会产生大量的数据。由于数据是巨大的，程序员经常重新训练数据不中断工作流程，并使用并行加载。例如，编程模型MapReduce的建立是为了允许大规模计算的自动并行化和分布。

联合的机器学习

传统的人工智能算法需要将数据集中在一台机器或一台服务器上。这种方法的局限性在于，所有收集到的数据都被送回中央服务器进行处理，然后再送回设备上。整个过程限制了一个模型的实时学习能力。

联合 学习是一种集中式服务器优先的方法。它是一种分布式的ML方法，多个用户合作训练一个模型。联合学习的概念是在谷歌AI的2017年博客中首次提出的。在这里，原始数据是分布式的，没有被转移到一个服务器或数据中心。它选择几个节点，并将包含ML模型的模型参数的初始化版本发送给所有节点。每个节点现在都执行该模型，在他们的本地数据上训练该模型，并在每个节点上有一个本地版本的模型。

联合学习利用了多个研究领域的技术，如分布式系统、机器学习和隐私。在设备上的数据比存在于服务器上的数据更相关的情况下，FL是最好的应用。

联合学习为边缘设备提供了最先进的ML，而没有默认集中数据和隐私。因此，它可以处理移动设备中特征的不平衡和非独立和相同分布（IID）的数据。大量的数据是从智能手机中产生的，可以在设备上推理的情况下在本地使用。由于服务器不需要在与本地产生的数据的每一次互动中都处于循环状态，这就实现了快速工作与节省电池和更好的数据隐私。

例如，谷歌的Gboard旨在通过使用本地互动的设备上缓存，成为最隐私的键盘。这些数据被用于联合学习和计算。

联合式ML与分布式ML

联合学习和分布式学习在三个重要方面有所不同。

• FL不允许直接的原始数据通信。DL没有任何这样的限制。
• FL采用了多个地区或组织的分布式计算资源。DL利用单一地区的单一服务器或集群，这属于一个组织。
• FL通常利用加密或其他防御技术来确保数据隐私或安全。FL承诺保障原始数据的保密性和安全性。DL中对安全的关注较少。
• 联合学习利用了多个研究领域的技术，如分布式系统、机器学习和隐私。可以说，联合学习是对分布式学习系统的一种改进。

The postDistributed Machine Learning Vs Federated Learning:首先出现在印度分析杂志上。