データサイエンティストのためのLLM出力の事実精度と関連性評価入門
LLM出力の事実精度と関連性を評価するための実践的なスキルを習得し、データ駆動型のアプローチでモデルの信頼性とビジネス価値を向上させるコースです。
...
Share
LLM出力評価の基礎と課題
Unit 1: LLM評価の重要性
LLM評価、なぜ必要?
LLMの基本をおさらい
Unit 2: LLM出力の課題と失敗モード
ハルシネーションの正体
情報鮮度と誤解釈
LLMの失敗パターン
Unit 3: データサイエンスへの影響
データサイエンスへの影響
評価で信頼性を高める
実践的な評価手法と改善戦略
Unit 1: LLM評価の基礎:定量的アプローチ
評価指標の選び方
ROUGEとBLEUを使いこなす
BERTScoreで意味を測る
Unit 2: 人間中心の評価と実践的フレームワーク
人間の目で評価する
Ragasで評価を自動化
LlamaIndexで評価を拡張
Unit 3: LLMパフォーマンス改善戦略
プロンプトの魔法
RAGで知識を強化
ファインチューニングの考慮点
Unit 4: 評価結果の分析と反復改善
評価結果を読み解く
データ駆動で改善する