Federated Learning: Collaborative Machine Learning without Centralized Training Data

Federated Learning 의 필요성

각자의 training data 는 device에 두면서 shared prediction model을 학습시킨다.

• Model 자체를 local device로 들고오는 것과는 또 차이가 있음

동작방식

1) Device 가 current model 을 받음

2) local device에 있는 정보로 training 해 improve 시킴

3) small focused update를 다시 cloud에 전달(중앙서버)

4) 이 업데이트들은 다른 device 들의 update들과 average되어 shared model에 반영됨

기술적인 도전들

1) 기존 ML에 사용되던 SGD 같은 방식은 highly iterative 한 알고리즘을 쓰기 때문에 low-latency, high-throughput 환경을 추구하지만 수백만개의 device로 나눠진 Federated Learning 상황에서는 이의 반대되는 상황을 연출한다.

이에 대한 대안으로

1-1) naive 하게 federated 된 SGD와 비교해 10에서 100배 정도 적은 communication으로 훈련 가능한 방법

Communication-Efficient Learning of Deep Networks from Decentralized Data

1-2) 느린 upload speed(device → cloud) 를 보완하기 위해 compression 을 통한 100배 압축 방식
Federated Learning: Strategies for Improving Communication Efficiency