LLMOpsエンジニアのためのLLMパフォーマンスメトリクス入門:レイテンシー、スループット、パープレキシティ、トークンあたりのコスト
LLMOpsエンジニアとして、LLMのパフォーマンスを最適化し、コストを管理するための主要なメトリクス(レイテンシー、スループット、パープレキシティ、トークンあたりのコスト)を習得し、実践的な監視・最適化手法を学びます。
...
Share
LLMパフォーマンスメトリクスの基礎と測定
Unit 1: LLMパフォーマンスの基本
LLMパフォーマンスとは?
レイテンシーを測る
スループットを測る
パープレキシティを測る
トークンあたりのコスト
Unit 2: パフォーマンスへの影響要因
モデルサイズの影響
量子化の魔法
サービングフレームワーク
LLMパフォーマンスの最適化とビジネスへの影響
Unit 1: パフォーマンスメトリクスのトレードオフ
トレードオフの基本
コストと品質のバランス
デプロイ戦略の決定
Unit 2: 運用環境での最適化
監視ツールの活用
最適化テクニック
スケーリング戦略
Unit 3: ビジネスへの影響評価
UXとパフォーマンス
コストとリソース管理