トレーニング済みバージョンの評価
モデルのステータスと強みの評価
モデルをデプロイする前に、そのモデルのステータスと、モデルの予測の強みに関する可能性を表示するために、以下のセクションをガイドとして使用します。
モデルのステータスを表示
詳細とステータスを表示しようとするモデルをどれか1つ選択します。または、概要ページにあるすべてのモデルに関するステータスを表示します。デプロイを実施する前の目標は、モデルのステータスが[Trained]になっていることです。
表示される可能性のあるモデルのステータスを、次の表に示します。
Model Status | 説明 |
---|---|
Requires Publish | モデルを保存および公開する必要があります。 |
Waiting to be Trained | モデルはトレーニングを待っています。トレーニングを開始するには、保存および公開します。 |
In Training | モデルは現在トレーニング中ですが、まだトレーニング済みではありません。 |
Training Failed | モデルを変更および再トレーニングする必要があります。 |
Data Preparation Failed | モデルを存続可能にするには、データを変更する必要があります。 |
Trained | モデルはトレーニング済みで、デプロイの準備ができています。 |
Currently Deployed | モデルは現在デプロイ済みで、再トレーニングまたはデプロイ解除が可能です。 |
トレーニング済みバージョンの強みの詳細を評価
Tealium Predictが提示する強みのレーティングには2つの種類があります。各トレーニング済みバージョンに対応する静的レーティングと、各デプロイ済みモデルに対応する動的レーティングです。各モデルの各トレーニング済みバージョンに割り当てられた強みのレーティングは、トレーニングの品質(強み)に関するレーティング、およびそのトレーニングの結果として得られたモデルに関するレーティングを提示します。
まだデプロイしていないモデルに対して、強みのスコアは割り当てられていません。トレーニングは1回限りのイベントとして扱われ、再トレーニングを実施するたびに新しいバージョン番号が発生します。たとえば、”_Version 1”_の再トレーニングを実施すると、結果として得られるバージョンは”_Version 2”_になります。各再トレーニングは、新規かつ個別のイベントを意味します。このような再トレーニングが原因で、この種の強みのレーティングは静的になり、バージョンごとに固有の値になります。各バージョンに対応するレーティングは、時間が経過しても変化しません。
任意のモデルの品質は絶対的な事実ではなく、相対的な判定です。チームが異なる場合、それぞれのモデルに関するニーズと目標は異なります。また、モデル化とテストに関するチームの洗練度も異なり、入力データセットの品質も異なります。このような理由で、モデルの強みのレーティングを絶対的な値と考えることは望ましくありません。ここで意図しているのは、品質に関する全般的なガイドライン(目安)としてレーティングを使用することです。
モデルの強みのスコアリング
Predict(予測)に対応するモデルの強みのレーティングは、各モデルの各バージョンの品質(強み)に関する理解しやすいレーティングを提示します。このレーティングシステムは、4種類のカテゴリレベルによって構成されています。Poor、Fair、Good、Excellent(不適切、妥当、良好、優秀)です。これらのラベルは、傾向モデルの品質を評価するために使用される典型的な指標であるF1 Score(F1スコア)に基づくものです。
_[Training Details]パネルの[Model Explorer]ページ、および(最新のトレーニング済みバージョンに対応する)[Overview]ページの[Tiles]_ビューで、各バージョンの隣に強みのレーティングが表示されます。
スコアリングの場合、明白な目標は、より精度の高い予測を確実に実行できるように、デプロイを実施する前に、強みのスコアをより大きくしておくことです。F1 Score(F1スコア)の値は以下のスケールを使用してカテゴリ化され、トレーニング済みモデルに対して以下の強みのいずれかが割り当てられます。
- Excellent(優秀) - F1スコアが0.80超過
- Good(良好) - F1スコアが0.60超過、0.80未満
- Fair(妥当) - F1スコアが0.50超過、0.60未満
- Poor(不適切) - F1 スコアが0.50以下
強みのスコアは、合計スコアを記録しています。つまり、_[F1 Score](F1スコア)、[Recall](再現率)、[Precision](適合率)、および[Accuracy]_(精度)です。これらのスコアリング要素の詳細な説明については、 モデルのスコアとレーティングを参照してください。
次のステップ
次のステップは、モデルを再トレーニングまたはデプロイすることです。モデルをデプロイする前に、強みのスコアを大きくする目的でモデルの再トレーニングを実施するには、 モデルの再トレーニングを参照してください。再トレーニングとデプロイをスキップするには、 モデルのデプロイを参照してください。
このページはお役にたちましたでしょうか?
最終更新日 :: 2022年August月29日