El método en breve
El porcentaje no es un recuento de artículos favorables, una medida de confianza en el texto ni una promesa sobre el futuro. Es nuestra estimación actual de que un acontecimiento definido con precisión se resolverá como verdadero antes de su fecha límite.
Resolución antes del cálculo
Definir el evento.
Cada pronóstico comienza con una afirmación booleana, una fecha límite y una prueba de resolución. Una demostración no es adopción comercial. Una candidatura no es una victoria electoral. Si la frontera es vaga, el porcentaje carece de significado estable.
La visión exterior
Empezar por la tasa base.
Primero preguntamos con qué frecuencia han ocurrido acontecimientos comparables, en condiciones y plazos comparables. Esa clase de referencia aporta la probabilidad previa. Registramos su definición porque cambiar el grupo de comparación puede cambiar el punto de partida.
Requisitos sucesivos
Trazar la ruta.
Cuando un resultado exige varias etapas, las posteriores se estiman de forma condicional. Preguntamos por la probabilidad de cada paso suponiendo que los requisitos anteriores ya se han cumplido.
P(H) = P(R₁) × P(R₂ | R₁) × P(R₃ | R₁, R₂)Las probabilidades de titulares ordinarios no se multiplican entre sí salvo que su independencia esté justificada. Las rutas alternativas se representan como ramas y los requisitos compartidos permanecen compartidos en lugar de contarse dos veces.
Cadena de ejemplo
- Aprobación regulatoria
- 70%
- Producción a escala, dada la aprobación
- 60%
- Adopción, dados ambos requisitos
- 80%
- Ruta combinada
- 33.6%
Datos conocidos
Actualizar aquello que las pruebas afectan.
Cada prueba modifica el requisito al que se refiere. Internamente, la actualización se expresa en una escala logarítmica de probabilidades: ¿cuánto más probable sería observar esta prueba si el requisito se cumple que si fracasa?
logit(p updated) = logit(p base) + Σ αg log(LRg)- Origen común. Diez noticias que repiten una declaración empresarial forman un solo grupo de pruebas.
- Fuerza limitada. La calidad, la incertidumbre y la dependencia de las fuentes limitan cuánto puede mover una prueba la estimación.
- Requisitos conocidos. Un paso completado pasa a ser 100 %. Un paso necesario fallido cierra esa ruta. Ninguno vuelve a contarse como prueba favorable.
- Juicio visible. Cuando una razón de verosimilitud se estima en lugar de medirse, ese juicio permanece en el registro.
LR es la razón de verosimilitud de un grupo de pruebas. α es un descuento entre cero y uno por incertidumbre y dependencia.
La capa de corrección
Calibrar frente a la realidad.
El modelo de requisitos produce una probabilidad bruta. A medida que crece el archivo de pronósticos resueltos, comparamos esas estimaciones con las frecuencias observadas. Si los acontecimientos estimados cerca del 70 % ocurren claramente menos, las estimaciones posteriores de ese rango deben bajar.
La calibración solo utiliza pronósticos pasados y resueltos, y se prueba fuera de muestra. Hasta que el registro sea suficientemente grande, toda calibración será provisional. Los porcentajes publicados se redondean para no fingir una precisión que las pruebas no sostienen.
Verificación
Llevar la cuenta en público.
Un método solo mejora si sus fallos siguen siendo medibles. Evaluamos los pronósticos binarios resueltos con reglas de puntuación adecuadas y los comparamos con una referencia de tasa base.
(p − y)²La medida principal de error. Cuanto menor, mejor; cero es perfecto.
−[y ln(p) + (1 − y) ln(1 − p)]Una puntuación secundaria que penaliza los pronósticos erróneos expresados con gran confianza.
reliability − resolution + uncertaintySi las probabilidades declaradas coinciden con las frecuencias observadas y distinguen los acontecimientos probables de los improbables.
Conservamos la estimación inicial, las actualizaciones posteriores y la última estimación antes de la resolución. Una corrección tardía no debe borrar la historia anterior.