모델 검증 리포트

종료된 경기의 실제 결과로 모델 확률을 채점한다. Brier score, 캘리브레이션 곡선, 최근 적중률.

모델 정확도 요약

우리 확률은 얼마나 정직한가? 아래는 종료된 경기에 대해 모델을 실제 채점한 결과이며, 공개된 문헌 기준선과 함께 표기합니다.

축구 3-way RPS

상위급 ≤0.205 · 양호 ≤0.21

프리게임 Brier

양호 ≤0.22 · 50% 고정: 0.25

캘리브레이션 오차 (ECE)

≤ 0.05

현재 엔진이 경기 전에 저장한 예측만 채점합니다. 30경기 미만은 잠정이며, Brier 0.25는 항상 50%를 예측하는 참고선입니다. 서로 다른 마켓의 절대 점수는 직접 비교할 수 없습니다.

축구 리그별 채점 결과

리그	채점 경기	3-way RPS	Brier 점수	무승부 캘리브레이션
EPL	13잠정	—	0.244	무승부 표본 없음
챔피언십	15잠정	—	0.223	무승부 표본 없음
라리가	23잠정	—	0.199	무승부 표본 없음
분데스리가	11잠정	—	0.191	무승부 표본 없음
세리에 A	16잠정	—	0.204	무승부 표본 없음
리그 1	12잠정	—	0.202	무승부 표본 없음
UCL	아직 채점된 종료 경기가 없습니다 — 30경기부터 첫 결과가 표시됩니다.
UEL	17잠정	—	0.234	무승부 표본 없음
MLS	26잠정	—	0.216	무승부 표본 없음
J리그	12잠정	—	0.194	무승부 표본 없음
K리그1	8잠정	—	0.228	무승부 표본 없음
리그스컵	아직 채점된 종료 경기가 없습니다 — 30경기부터 첫 결과가 표시됩니다.

RPS 란? Ranked Probability Score 는 맞았을 때 확신한 것에 보상을 주고 틀렸을 때 겸손했던 것에 보상을 줍니다. 낮을수록 좋고, 공개 축구 모델 상위권이 0.205 부근입니다.

야구 · 농구 · 미식축구 · e스포츠 채점 결과

리그	채점 경기	표본(마켓)	Brier (보정 전)
MLB	147	12054	0.194 (0.202)양호
WNBA	27	162잠정	0.220 (0.220)
NBA	0	0잠정	— (—)
NFL	18	108잠정	0.241 (0.241)
LoL	8	32잠정	0.203 (0.209)
CS2	90	304	0.237 (0.239)주의

최근 20일 아침 채점 결과를 표본 수로 가중 평균한 값입니다. 전체 캘리브레이션 오차(ECE)는 0.019 (보정 전 0.063), 기준은 0.05 이하입니다.상위급

리그별 지표 그래프

RPS · Brier (낮을수록 좋음)

점선은 양호 기준(RPS 0.21 · Brier 0.22)이고, 빨간 선 0.25 은 기저율만 찍는 기준선입니다.

캘리브레이션 곡선 (승/무/패)

아직 채점된 종료 경기가 없습니다 — 30경기부터 첫 결과가 표시됩니다.

가로축은 예측 확률 구간, 세로축은 실제 발생 빈도입니다. 점선에 가까울수록 확률이 정직합니다. 리그를 바꾸면 해당 리그만의 곡선을 볼 수 있습니다.

무승부 정직도

아직 채점된 종료 경기가 없습니다 — 30경기부터 첫 결과가 표시됩니다.

무승부는 가장 맞히기 어려운 결과입니다. 리그별 실제 무승부율은 보통 23~30% 범위이며, 단순 득점 분포는 저득점 스코어를 과소평가하므로 Spolytics Engine 은 0-0·1-1 구간을 자체 저스코어 보정으로 끌어올립니다. 예측과 실측 차이가 4%p 를 넘는 리그는 롤링 윈도로 다시 적합합니다.

마지막 갱신 2026-10-03 이 요약은 전부 무료입니다. 원본 데이터 CSV 내려받기

일별 학습 추이

최근 13일 · 채점 표본 12,713건 · 재적합 180회

매일 아침 전날 종료 경기를 채점하고, 그 결과로 리그·마켓별 보정기를 다시 적합한다. 아래 선은 그 재학습이 실제 성적에 어떻게 반영됐는지를 보여준다.

7일 이동평균 Brier 일별 Brier (보정 후) 일별 Brier (보정 전) 그날 보정기 재적합

최근 7일 Brier

0.2023

직전 7일 대비 -0.0009

최근 7일 적중률

69.2%

직전 7일 대비 +0.3pp

마지막 재학습

2026-10-03

보정기 12개 갱신 · 표본 151건

ECE

11.8%

보정 전 9.0%

일자별 표 보기

날짜	표본	적중률	Brier	보정 전	ECE	재적합
2026-10-03	151	74.8%	0.2020	0.2011	11.8%	12
2026-10-02	4	75.0%	0.2135	0.2738	24.9%	0
2026-09-22	217	71.0%	0.1949	0.2025	4.3%	0
2026-09-20	1,773	68.9%	0.2033	0.2059	3.1%	0
2026-09-11	524	71.4%	0.1857	0.1990	7.7%	17
2026-09-10	1,444	67.8%	0.2102	0.2138	4.2%	15
2026-09-09	1,334	69.3%	0.2002	0.2078	4.4%	14
2026-09-08	1,038	69.5%	0.2043	0.2051	3.4%	17
2026-09-07	1,458	70.5%	0.1993	0.2020	3.5%	18
2026-09-06	1,648	67.1%	0.2099	0.2108	4.1%	19
2026-09-05	939	67.5%	0.2012	0.2051	4.2%	21
2026-09-04	799	72.6%	0.1898	0.2017	6.5%	22
2026-09-03	1,384	67.8%	0.2077	0.2084	4.5%	25

픽 가중치 재학습

매일 밤 최근 30일 채점 결과로 픽 선별 가중치(확률 · 구간 보정 · 종목 성과)를 다시 맞춘다. 앞 2/3 구간으로 학습하고 뒤 1/3 구간에서만 성과를 잰다. 확률 모델 자체는 바뀌지 않는다.

현재 가중치

확률 0.80 · 보정 0.13 · 성과 0.07

최근 45일 채택: 1

마지막 재학습

2026-10-03

개선폭 부족 · 기존 가중치 유지

학습 8,556 · 평가 571 · 상위 15

지표	학습 전	학습 후	변화
상위 픽 적중률	68.4%	68.4%	0.0%p
상위 픽 Brier	0.1955	0.1955	0.0000

날짜	상태	전 적중률	후 적중률	전 Brier	후 Brier
2026-10-03	kept	68.4%	68.4%	0.1955	0.1955
2026-10-02	kept	68.9%	68.9%	0.1996	0.1996
2026-09-22	adopted	60.0%	64.4%	0.2154	0.1770
2026-09-21	kept	71.1%	71.1%	0.1731	0.1731
2026-09-20	kept	77.8%	77.8%	0.1612	0.1612

채점 기간 2026-09-26 ~ 2026-10-02 · 종료 1경기 · 표본 90건 · 저장 시각 Oct 3 (Sat) · 8:00 AM UTC

전체 요약

2026-09-26 ~ 2026-10-02 · 종료 1경기 · 마켓 90건

Brier score

0.2066

0.25 = 무작정 50% 찍기

적중률

70.0%

50% 기준 방향

로그손실

0.599

0.693 = 동전

ECE

10.2%

캘리브레이션 오차

등질량 구간 ECE(ACE) 7.0% — 고정 10구간 ECE는 예측이 한쪽에 몰릴수록 왜곡된다.

동전보다는 낫지만 여유가 크지 않다.

캘리브레이션 효과 (보정 전 → 후)

Brier 0.2047 → 0.2066
ECE 6.7% → 10.2%
적중률 70.0% → 70.0%
평균 예측 36.8% → 29.7% · 실제 발생률 36.7%

심층 검증은 Pro입니다

요약 지표와 첫 캘리브레이션 곡선은 무료로 공개합니다. 마켓별 곡선 전체, walk-forward 검증, 일자별 표, 7일 초과 기간은 Pro에서 계산합니다.

Pro 알아보기

월 $7.99 · 연 $59 · 언제든 해지

조합 픽 성적

불러오는 중…

NFL 대표 조합 기록

불러오는 중…

경기 전에 저장한 모델 스냅샷만 평가합니다. 경기 후 재계산값과 기존 출처 불명 표본은 학습·공식 평가에서 제외합니다. 공개 시점 고정 픽 성적표와는 별도인 모델 평가이며, 새 표본 수집 초기에는 결과가 비어 있을 수 있습니다.