複数GPUによる機械学習には幾つかの方法がある。 Data Parallel は、全GPUが同じデータを持ち、計算対象を振り分ける。計算能力が高まる一方、データ規模は変わらない。 Model Parallel は、モデルを各GPUに分割配置する。計算能力が高まり、データ規模も拡大する ...