相手関係レーティング 第1版の評価
OpenSkill(Plackett-Luce)/モデル v1.0-pl/検証期間 2024-01-01 〜 2026-08-31(実データは 2026-08-23 まで)/集計 2026-09-27
検証期間 8,216 レース (113,779 出走)で、勝ち馬の多項対数損失は レーティング 2.47528 に対し F2 単体 2.27822。差は +0.19706(95% 区間 [+0.18463, +0.21002])で、F2 単体のほうが良い。ECE も 0.00703 対 0.00132 で劣る。 事前に決めた基準(調査報告書 §8-6)の第1条件に該当するため「採用しない」と判定した。
このページは事前登録した評価を検証期間で1回だけ実行した結果である。結果を見たあとで パラメータ・評価方法・採否基準は変更していない。判定が「採用しない」のため、 レース別ページは作っていない。
1. 標本
対象は平地で、出走馬の過半数が過去走1以上、かつ勝ち馬が1頭に決まるレース。 障害は計算にも評価にも入れていない。
| 年 | レース | 出走 | オッズ完備率 | 一括 PL の被覆率 |
|---|---|---|---|---|
| 2024 | 3,052 | 41,861 | 92.6% | 75.3% |
| 2025 | 3,062 | 42,605 | 93.4% | 38.1% |
| 2026 | 2,102 | 29,313 | 93.3% | 20.5% |
| 合計 | 8,216 | 113,779 | 93.1% | — |
含まれる月: 1・2・3・4・5・6・7・8・9・10・11・12(10〜12 月を含む全期間の再パース版)。 競走中止 446 頭(うち確定着順が3着以内になっている矛盾 3 件)、同着 395 頭。
2. 確率への変換と較正
勝率は p_i = exp(μ_i/T) / Σ exp(μ_j/T)。温度 T = 27.0703 は調整期間(2021-01-01 〜 2023-12-31)で確定した値で、 検証期間では動かしていない(検証データで再当てはめしても同じ値: 一致)。F2 も公平のため同じ形の 条件付きロジット(係数 1 つ、θ = 4.1291)で確率に変換した。 3着内確率は Harville(λ=τ=1)と、既存 src/trifecta の補正 Harville(λ=0.605、τ=0.5)の両方で出した。
| 予測 | ECE | 較正の傾き | 傾きの標準誤差 | 切片 |
|---|---|---|---|---|
| 勝率・レーティング | 0.00703 | 0.9254 | 0.0177 | -0.1789 |
| 勝率・F2 単体 | 0.00132 | 1.0125 | 0.0140 | +0.0278 |
| 3着内・レーティング(Harville) | 0.01973 | 0.9691 | 0.0113 | -0.0350 |
| 3着内・レーティング(補正 Harville) | 0.02997 | 1.2880 | 0.0147 | +0.3481 |
| 3着内・F2 単体(Harville) | 0.01160 | 0.8954 | 0.0080 | -0.1106 |
勝率の較正の傾きは 0.9254 で、事前に決めた帯 [0.8, 1.2] に入る(§8-6 の第2条件)。
3. F2 単体との比較(主指標)
| 指標 | レーティング | F2 単体 | 差 |
|---|---|---|---|
| 多項対数損失(勝ち馬、レース単位) | 2.47528 | 2.27822 | +0.19706 |
| 二値対数損失(3着内) | 0.48415 | 0.45595 | +0.02821 |
| ECE(勝率) | 0.00703 | 0.00132 | +0.00571 |
| レース内 Spearman(予測順と着順) | 0.3859 | 0.4309 | -0.0450 |
| k=3 カバレッジ(勝ち馬が上位3予測に入る率) | 41.9% | 51.1% | -9.18pt |
主指標の差(レーティング − F2)は +0.19706、開催日単位の ブロックブートストラップ(2,000 回、seed 0、285 開催日)による 95% 区間は [+0.18463, +0.21002]。 区間は 0 をまたがないので、差は偶然では説明しにくい。 参考として、レーティングを使わない一律予測の対数損失は 2.60289 で、レーティングはこれより良い (=相手関係に情報はあるが、F2 のほうがさらに良い)。
F2 への上積み
条件付きロジットで F2 のみ(2.27816)と F2+レーティング(2.27635)を比べると、 対数損失は +0.00182 改善し、レーティングの係数は +0.1110(z = 5.56、 尤度比検定 p = 4.69e-8)。 統計的には 0 でないが、改善幅は F2 との差(+0.19706)の 数十分の一にとどまる。
4. 市場との乖離
群は事前に固定した定義。G1 = 1番人気かつレーティングのレース内順位が4位以下、 G2 = G1 のうちスピード指数(F3 の生値)の順位も4位以下、対照群 = 1番人気かつ レーティングの順位が3位以内。市場の暗黙確率は確定単勝オッズから (1/odds) / Σ(1/odds) で控除率を除き、3着内は Harville で求めた。 Harville 自体が1番人気の3着内率を系統的にずらすため、主指標は G1 の超過から対照群の超過を引いた差の差とした。
| 群 | 頭数 | 観測 3着内率 | 暗黙 3着内率 | 超過 | z | 95% 区間 |
|---|---|---|---|---|---|---|
| G1 | 3,513 | 0.6089 | 0.7149 | -0.1060 | -14.52 | [-0.1214, -0.0900] |
| G2 | 2,424 | 0.6002 | 0.7070 | -0.1067 | -12.03 | [-0.1248, -0.0876] |
| 対照群 | 4,136 | 0.6920 | 0.7620 | -0.0701 | -11.11 | [-0.0822, -0.0574] |
| G1 − 対照群(差の差・主指標) | -0.0360 | [-0.0561, -0.0152] | ||||
| G2 − 対照群(差の差) | -0.0367 | [-0.0595, -0.0134] | ||||
オッズ完備レースは 7,649 / 8,216(93.1%)。 1番人気のうち G1 が 3,513 頭、G2 が 2,424 頭、 対照群が 4,136 頭。 G1 の超過は -0.1060、対照群も -0.0701 と どちらもマイナスだが、差の差 -0.0360(95% 区間 [-0.0561, -0.0152])は 0 を含まず、レーティングが低い1番人気は、そうでない1番人気よりさらに市場の見込みを下回っていた。 補正 Harville でも差の差は -0.0347([-0.0548, -0.0139])で向きは変わらない。
確定オッズは締め切り後の値。画面で使う発走前時点のオッズとはずれる(§8-3 の注意)
5. 市場を統制したときの係数と答え合わせ
レーティングは検証標本で標準化(z 得点)して入れている。市場の統制変数は、勝ち馬の 条件付きロジットでは log(暗黙の勝率)、3着内のロジスティックでは logit(暗黙の3着内確率)。 3着内のロジスティックの標準誤差はレースをクラスターとした頑健標準誤差。 感度分析は log(暗黙の勝率) を節点4つの制限付き3次スプラインに置き換えたもの。
| レーティングの作り方 | レース | 条件付き ロジット | 3着内 ロジット | 順位 ロジット | Spearman 残差 | スプライン (感度) |
|---|---|---|---|---|---|---|
| OpenSkill | 7,649 | -0.0822(-3.98) | +0.0478(7.28) | +0.0721(6.12) | -0.1650 | -0.0843(-4.08) |
| Elo | 7,649 | -0.0736(-3.43) | +0.0408(6.42) | +0.0668(5.55) | -0.1902 | -0.0759(-3.53) |
| 一括 PL | 2,589 | -0.0700(-2.31) | +0.0370(2.63) | +0.0311(1.93) | +0.0142 | -0.0712(-2.34) |
β は標準化したレーティングの係数、括弧内は z 値。OpenSkill = OpenSkill(μ、第1版の本体)/Elo = 多人数 Elo(答え合わせ)/一括 PL = 一括 Plackett-Luce(choix、調整期間末の1時点)。
符号の一致
| 推定量 | OpenSkill | Elo | 一括 PL |
|---|---|---|---|
| 条件付きロジット(勝ち馬) | − | − | − |
| 二値ロジスティック(3着内) | + | + | + |
| 順位ロジット(上位3着) | + | + | + |
| Spearman(着順−人気の残差) | − | − | + |
| 感度分析(スプライン) | − | − | − |
| G1 の超過(符号を反転して比較) | + | ||
+は「レーティングに市場を超える情報がある」向き。3着内・順位ロジット・G1 の超過は+で そろったが、勝ち馬の条件付きロジット(と、その感度分析)と Spearman 残差は−になり、符号は一致しなかった。§8-5 の約束どおり「効果がある」とは主張しない。 市場を統制しない素の関係では、条件付きロジットの係数も Spearman も+(レーティングは 着順と正の関係)であり、この符号の反転は市場を統制したあとに現れるものである。
一括 Plackett-Luce は調整期間末(2023-12-31)の1時点でしか 推定していないため、2024 年以降にデビューした馬に値が無い。そこで被覆率 80% 以上の レース(2,815 レース)に絞り、 欠けをレース内中央値で埋めたうえで推定した(実際に使えたのは 2,589 レース)。一括 PL は調整期間末の1時点推定のため、2024 年以降にデビューした馬に値が無い
6. 採否判定(§8-6)
| 事前に決めた条件 | 該当 | 判定 |
|---|---|---|
| 多項対数損失が F2 単体より悪い、または ECE が F2 単体より悪い | 該当 | 採用しない |
| 較正の傾きが [0.8, 1.2] に入らない | 非該当 | 確率を表示してよい |
| 対数損失の改善の 95% 区間が 0 をまたぐ | 非該当 | 差は有意 |
| §8-5 で符号が一致しない | 該当 | 参考情報としてのみ表示(的中・外れを示唆しない) |
| G1・G2 で超過がマイナス、かつ符号が一致 | 非該当 | この文言は添えない |
7. パラメータと再現情報
| 項目 | 値 |
|---|---|
model_version | v1.0-pl |
marginMode | rank-time |
distanceNorm | sec |
marginCapSec | 3 |
secPerLength | 0.1728462997 |
beta | 2.083333333 |
sigma0 | 16.66666667 |
mu0 | 25 |
tau | 0.08333333333 |
marginThreshold | 0.1 |
temperature | 27.07033763 |
調整期間(2021-01-01 〜 2023-12-31、9,191 レース)で 63 通りを試し、 多項対数損失が最小の組み合わせを選んだ。1 馬身 = 0.1728 秒(n = 60,988)。 一律予測の対数損失は 2.60458。
調整期間の上位・下位の試行
| # | 着差の扱い | 距離の正規化 | 上限(秒) | β | σ₀ | 温度 T | 対数損失 |
|---|---|---|---|---|---|---|---|
| 33 | rank-time | sec | 3 | 2.0833 | 16.6667 | 27.0703 | 2.45680 |
| 30 | rank-time | sec | 3 | 4.1667 | 16.6667 | 27.1130 | 2.45999 |
| 31 | rank-time | sec | 3 | 2.0833 | 8.3333 | 13.5641 | 2.46003 |
| 24 | rank-time | sec | 2 | 2.0833 | 16.6667 | 25.9976 | 2.46247 |
| 60 | rank-time | per1000m | 3 | 2.0833 | 16.6667 | 25.8651 | 2.46348 |
| 44 | rank-time | per1000m | 1.5 | 8.3333 | 4.1667 | 4.5703 | 2.51761 |
| 17 | rank-time | sec | 1.5 | 8.3333 | 4.1667 | 4.6919 | 2.51878 |
| 8 | rank-only | sec | 2 | 8.3333 | 4.1667 | 3.6723 | 2.52981 |
リーク検査
打ち切り検査(6 点)と同日検査(823 日、356,334 出走)の不一致は0 件。 判定: 合格。
| 打ち切り日 | 比較した行 | 不一致 |
|---|---|---|
| 2020-07-01 | 70,303 | 0 |
| 2021-11-15 | 134,015 | 0 |
| 2023-04-01 | 197,774 | 0 |
| 2024-08-20 | 262,607 | 0 |
| 2025-10-05 | 314,025 | 0 |
| 2026-02-20 | 331,496 | 0 |
8. このページの読み方の注意
- 確定単勝オッズは締め切り後の値である。画面で使うのは発走前の時点のオッズなので、 市場との比較にはそのぶんのずれがある。
- 市場との比較はオッズ完備レース(93.1%)に限る。 競走中止した馬はオッズが欠けることが多く、そのレースが落ちる偏りがある。
- 3着内の判定は確定着順(降着は確定着順、同着は同順位)。競走中止のフラグは レーティングの更新可否だけに使い、着順の判定には使っていない。
- 一括 Plackett-Luce の被覆率は年を追って下がる(2024 75%・2025 38%・2026 21%)。答え合わせの3番目の推定量は、この制約のもとでの結果である。