PyTorch DDPとHorovodを用いた分散学習の基礎と実践:AI研究科学者向けデータ・モデル並列実装
AI研究科学者向けに、PyTorchの基礎から分散学習の概念、PyTorch DDPとHorovodを用いたデータ・モデル並列実装までを網羅し、大規模AI開発の最前線で活躍するための実践的なスキルを習得します。
...
Share
PyTorchの基礎と分散学習の概念理解
Unit 1: PyTorchの基本をマスター
PyTorchって何?
Tensorの魔法
Tensor演算の基礎
自動微分の力
Unit 2: ニューラルネット構築の第一歩
NNの基本構造
モデルを鍛える
Unit 3: 分散学習の世界へようこそ
なぜ分散学習?
並列処理の形
PyTorch DDPとHorovodによる分散学習の実装と応用
Unit 1: PyTorch DDPの基礎と実装
DDPの準備運動
DDPでモデルを並列化
DDPでデータを分割
DDPトレーニングループ
Unit 2: Horovodの基礎と実装
Horovodの導入
Horovodで並列学習
Horovodトレーニングループ
Unit 3: 分散学習の課題と解決策
分散学習の落とし穴
効率化とデバッグ術