Black-box rule of the chapter
Regla de caja negra del capítulo
Assume abstract predictor variables or groups X¹…Xᵍ and one or more objectives Y₁…Yₘ, with some observations hidden from model construction.
Asumir variables o grupos predictores abstractos X¹…Xᵍ y uno o más objetivos Y₁…Yₘ, con algunas observaciones ocultas durante la construcción del modelo.
No domain, dataset, algorithm, metric, or software is known. The chapter studies predictive evidence as a capability to improve anticipation beyond a baseline and to preserve that improvement outside the data used for learning.
No se conoce ningún dominio, dataset, algoritmo, métrica o software. El capítulo estudia evidencia predictiva como capacidad para mejorar anticipación frente a una línea base y conservar esa mejora fuera de los datos usados para aprender.
Restriction: regression, trees, Random Forest, gradient boosting, XGBoost, support vector machines, neural networks, survival models, and forecasting algorithms appear only after the predictive architecture is understood.
Restricción: regresión, árboles, Random Forest, gradient boosting, XGBoost, máquinas de soporte vectorial, redes neuronales, modelos de supervivencia y algoritmos de pronóstico aparecen solamente después de comprender la arquitectura predictiva.
Chapter-specific learning objectives
Objetivos específicos del capítulo
Define predictive capability
Definir capacidad predictiva
Understand prediction as reliable anticipation on unseen data.
Comprender predicción como anticipación fiable en datos no vistos.
Recognize predictive architectures
Reconocer arquitecturas predictivas
Distinguish variable-to-objective, group-to-objective, multi-output, sequential, and set-to-set prediction.
Distinguir predicción variable–objetivo, grupo–objetivo, multiresultado, secuencial y conjunto–conjunto.
Measure incremental predictive value
Medir valor predictivo incremental
Determine whether a variable or group improves performance beyond a baseline or existing predictor set.
Determinar si una variable o grupo mejora el desempeño frente a una línea base o conjunto predictor existente.
Protect interpretation
Proteger la interpretación
Separate prediction from explanation, causality, mechanism, fairness, and operational usefulness.
Separar predicción de explicación, causalidad, mecanismo, equidad y utilidad operativa.
1. The fundamental prediction question
1. La pregunta fundamental de predicción
Known X
→
Predict unseen Y
Predecir Y no visto
Does knowing X improve anticipation of Y in observations not used to construct the predictive rule?
¿Conocer X mejora la anticipación de Y en observaciones no utilizadas para construir la regla predictiva?
A relationship may be strong inside known data and still fail as prediction. Predictive evidence begins only when performance is evaluated outside the learning sample.
Una relación puede ser fuerte dentro de datos conocidos y aun así fallar como predicción. La evidencia predictiva comienza solamente cuando el desempeño se evalúa fuera de la muestra de aprendizaje.
2. Association, dependence, information, and prediction
2. Asociación, dependencia, información y predicción
| CapabilityCapacidad | Core questionPregunta central |
|---|---|
| AssociationAsociación | Is a specified joint pattern visible?¿Es visible un patrón conjunto especificado? |
| DependenceDependencia | Does knowing X change expectations about Y?¿Conocer X cambia las expectativas sobre Y? |
| InformationInformación | How much uncertainty about Y is reduced by X?¿Cuánta incertidumbre sobre Y reduce X? |
| PredictionPredicción | Does X improve anticipation of unseen Y beyond a baseline?¿X mejora la anticipación de Y no visto frente a una línea base? |
Critical distinction: information inside a sample does not guarantee stable predictive value outside that sample.
Distinción crítica: información dentro de una muestra no garantiza valor predictivo estable fuera de ella.
3. Predictive architectures
3. Arquitecturas predictivas
3.1 Variable-to-objective prediction
3.1 Predicción variable–objetivo
Xᵢ
→
Ŷⱼ
Can one predictor improve anticipation of one objective?
¿Un predictor puede mejorar la anticipación de un objetivo?
3.2 Group-to-objective prediction
3.2 Predicción grupo–objetivo
Xᵍ = {X₁…Xₚ}
→
Ŷⱼ
Does a predictor group outperform its individual members or the existing baseline?
¿Un grupo predictor supera a sus miembros individuales o a la línea base existente?
3.3 Multi-objective prediction
3.3 Predicción multiobjetivo
Xᵍ
→
Ŷ = {Ŷ₁…Ŷₘ}
Can one predictor system anticipate several objectives jointly while preserving objective-specific performance?
¿Un sistema predictor puede anticipar varios objetivos conjuntamente y conservar desempeño específico por objetivo?
3.4 Objective-to-objective prediction
3.4 Predicción objetivo–objetivo
Y₁
→
Ŷ₂
Does a known or earlier objective improve prediction of another objective?
¿Un objetivo conocido o anterior mejora la predicción de otro objetivo?
3.5 Set-to-set prediction
3.5 Predicción conjunto–conjunto
X = {X₁…Xₚ}
→
Ŷ = {Ŷ₁…Ŷₘ}
Is the predictive capability designed for one target, several targets, a sequence of targets, or an entire objective system?
¿La capacidad predictiva está diseñada para un objetivo, varios objetivos, una secuencia de objetivos o un sistema completo de resultados?
4. Predictive signal
4. Señal predictiva
Useful signalSeñal útilA predictor consistently improves unseen-objective performance.Un predictor mejora consistentemente el desempeño sobre objetivos no vistos.
Weak signalSeñal débilA predictor adds small but reproducible improvement.Un predictor añade una mejora pequeña pero reproducible.
Redundant signalSeñal redundanteThe same predictive content already exists in other variables.El mismo contenido predictivo ya existe en otras variables.
Interaction signalSeñal de interacciónPredictive value appears only through combinations.El valor predictivo aparece solamente mediante combinaciones.
Objective-specific signalSeñal específica por objetivoA predictor helps Y₁ but not Y₂.Un predictor ayuda a Y₁, pero no a Y₂.
Unstable signalSeñal inestableThe apparent value disappears across samples, periods, or locations.El valor aparente desaparece entre muestras, periodos o ubicaciones.
5. Baseline and incremental predictive value
5. Línea base y valor predictivo incremental
A predictor is useful only relative to an alternative. Prediction must therefore be measured against a baseline, an existing model, or a simpler information set.
Un predictor es útil solamente respecto a una alternativa. Por ello, la predicción debe medirse frente a una línea base, un modelo existente o un conjunto de información más simple.
1Define baseline performanceDefinir desempeño base
2Add Xᵢ or XᵍAñadir Xᵢ o Xᵍ
3Evaluate unseen dataEvaluar datos no vistos
4Measure improvementMedir mejora
5Compare improvement with complexity and costComparar mejora con complejidad y costo
A predictor can be statistically related to Y and still add zero incremental predictive value once stronger predictors are already included.
Un predictor puede estar estadísticamente relacionado con Y y aun así añadir cero valor predictivo incremental cuando ya existen predictores más fuertes.
6. Generalization
6. Generalización
Generalization is the capacity to preserve predictive performance when the model encounters data not used during learning.
Generalización es la capacidad de conservar desempeño predictivo cuando el modelo enfrenta datos no utilizados durante el aprendizaje.
Within-sample fitAjuste dentro de muestraHow closely the rule reproduces known outcomes.Qué tan de cerca la regla reproduce resultados conocidos.
Out-of-sample performanceDesempeño fuera de muestraHow well the rule anticipates hidden observations.Qué tan bien la regla anticipa observaciones ocultas.
External validityValidez externaWhether performance transfers to another population or environment.Si el desempeño se transfiere a otra población o entorno.
Temporal generalizationGeneralización temporalWhether the rule works in later periods.Si la regla funciona en periodos posteriores.
Spatial generalizationGeneralización espacialWhether the rule works in new locations.Si la regla funciona en ubicaciones nuevas.
Objective generalizationGeneralización entre objetivosWhether a shared predictor architecture transfers across Y₁…Yₘ.Si una arquitectura predictora compartida se transfiere entre Y₁…Yₘ.
7. Validation architectures
7. Arquitecturas de validación
| Validation structureEstructura de validación | Capability protectedCapacidad protegida |
|---|---|
| Training setConjunto de entrenamiento | Constructs the predictive rule.Construye la regla predictiva. |
| Validation setConjunto de validación | Supports model and parameter selection.Apoya selección de modelo y parámetros. |
| Test setConjunto de prueba | Provides a final independent performance estimate.Proporciona una estimación final independiente del desempeño. |
| Cross-validationValidación cruzada | Evaluates stability across repeated partitions.Evalúa estabilidad entre particiones repetidas. |
| Temporal holdoutReserva temporal | Protects future prediction from temporal leakage.Protege predicción futura frente a fuga temporal. |
| Spatial holdoutReserva espacial | Tests transfer to unseen locations.Prueba transferencia a ubicaciones no vistas. |
| Group holdoutReserva por grupos | Tests transfer across entities, clusters, or populations.Prueba transferencia entre entidades, clusters o poblaciones. |
| Objective-specific holdoutReserva específica por objetivo | Checks whether joint prediction hides weak performance for one objective.Comprueba si predicción conjunta oculta desempeño débil para un objetivo. |
8. Prediction by objective type
8. Predicción según el tipo de objetivo
| Objective structureEstructura del objetivo | Predictive taskTarea predictiva |
|---|---|
| Continuous YY continua | Estimate a numeric value.Estimar un valor numérico. |
| Binary YY binaria | Estimate a class or probability for two outcomes.Estimar una clase o probabilidad para dos resultados. |
| Multicategory YY multicategórica | Predict one among several classes.Predecir una entre varias clases. |
| Ordinal YY ordinal | Predict ordered categories while preserving rank structure.Predecir categorías ordenadas conservando estructura de rango. |
| Count YY de conteo | Predict nonnegative event counts.Predecir conteos no negativos de eventos. |
| Time-to-event YY de tiempo hasta evento | Predict risk or duration until an event.Predecir riesgo o duración hasta un evento. |
| Time-indexed YY indexada por tiempo | Forecast future states.Pronosticar estados futuros. |
| Multi-output YY multiresultado | Predict several objectives jointly.Predecir varios objetivos conjuntamente. |
9. Grouped and multi-objective prediction
9. Predicción agrupada y multiobjetivo
Predictor groups may be exclusive to one objective, shared by several objectives, or global across the complete objective system.
Los grupos predictores pueden ser exclusivos de un objetivo, compartidos por varios objetivos o globales para todo el sistema de objetivos.
| Predictor groupGrupo predictor | Predictive questionPregunta predictiva |
|---|---|
| Xᴱ | Does this group improve one objective specifically?¿Este grupo mejora específicamente un objetivo? |
| Xˢ | Does the same group improve several objectives?¿El mismo grupo mejora varios objetivos? |
| Xᴳ | Does the group improve joint system prediction?¿El grupo mejora predicción conjunta del sistema? |
| Xᴵ | Does an intermediate variable improve later objectives?¿Una variable intermedia mejora objetivos posteriores? |
| Xᶜ | Does context improve calibration or subgroup performance?¿El contexto mejora calibración o desempeño por subgrupos? |
Joint prediction may improve average performance while degrading one objective. Multi-objective systems require objective-specific validation.
La predicción conjunta puede mejorar desempeño promedio mientras degrada un objetivo. Los sistemas multiobjetivo requieren validación específica por objetivo.
10. Predictive stability and drift
10. Estabilidad predictiva y drift
Data driftData driftThe distribution of X changes.La distribución de X cambia.
Concept driftConcept driftThe relationship between X and Y changes.La relación entre X y Y cambia.
Objective driftDrift del objetivoThe distribution or definition of Y changes.La distribución o definición de Y cambia.
Group driftDrift por gruposPerformance changes for specific populations or segments.El desempeño cambia para poblaciones o segmentos específicos.
Calibration driftDrift de calibraciónPredicted probabilities no longer match observed frequencies.Las probabilidades predichas dejan de coincidir con frecuencias observadas.
Objective-network driftDrift de red de objetivosRelationships among Y₁…Yₘ change over time.Las relaciones entre Y₁…Yₘ cambian con el tiempo.
11. Predictive capability matrix
11. Matriz de capacidades predictivas
| CapabilityCapacidad | Abstract questionPregunta abstracta |
|---|---|
| Single-variable predictionPredicción univariable | Does Xᵢ improve unseen-Y performance?¿Xᵢ mejora desempeño sobre Y no visto? |
| Grouped predictionPredicción agrupada | Does Xᵍ outperform its individual members?¿Xᵍ supera a sus miembros individuales? |
| Incremental predictionPredicción incremental | What improvement remains after existing predictors are known?¿Qué mejora permanece después de conocer predictores existentes? |
| Multi-objective predictionPredicción multiobjetivo | Can one architecture predict Y₁…Yₘ jointly?¿Una arquitectura puede predecir conjuntamente Y₁…Yₘ? |
| Objective-specific predictionPredicción específica por objetivo | Which predictors help each objective?¿Qué predictores ayudan a cada objetivo? |
| Temporal predictionPredicción temporal | Does the rule anticipate later periods?¿La regla anticipa periodos posteriores? |
| Spatial predictionPredicción espacial | Does the rule transfer to unseen locations?¿La regla se transfiere a ubicaciones no vistas? |
| Stable predictionPredicción estable | Does performance survive reasonable changes in sample and context?¿El desempeño sobrevive cambios razonables de muestra y contexto? |
12. Representative methods appear after the capability
12. Los métodos representativos aparecen después de la capacidad
The following algorithms are inhabitants of the predictive landscape. They do not define the landscape.
Los algoritmos siguientes son habitantes del panorama predictivo. No definen el panorama.
| Predictive capability familyFamilia de capacidad predictiva | Representative inhabitantsRepresentantes |
|---|---|
| Continuous predictionPredicción continua | Linear Regression · Regularized Regression · Regression Trees |
| ClassificationClasificación | Logistic Regression · Decision Trees · Support Vector Machines |
| Nonlinear ensemble predictionPredicción no lineal por ensambles | Random Forest · Gradient Boosting · XGBoost |
| High-dimensional predictionPredicción de alta dimensión | Neural Networks · Deep Learning |
| Time-to-event predictionPredicción de tiempo hasta evento | Survival Models · Survival Forests |
| Time-series forecastingPronóstico de series temporales | ARIMA · Exponential Smoothing · State-Space Forecasting |
| Multi-output predictionPredicción multiresultado | Multi-Output Regression · Multi-Task Learning · Multi-Label Models |
| Probabilistic predictionPredicción probabilística | Bayesian Models · Probabilistic Graphical Models · Quantile Models |
13. What prediction cannot establish
13. Qué no puede establecer la predicción
Not causalityNo causalidadA predictor can anticipate Y without causing Y.Un predictor puede anticipar Y sin causar Y.
Not mechanismNo mecanismoAccurate prediction does not reveal how the system works.Predicción precisa no revela cómo funciona el sistema.
Not intervention valueNo valor de intervenciónChanging a predictor may not change the outcome.Cambiar un predictor puede no cambiar el resultado.
Not fairnessNo equidadHigh average accuracy may hide harmful subgroup errors.Alta precisión promedio puede ocultar errores dañinos por subgrupos.
Not permanenceNo permanenciaPerformance may degrade after drift or regime change.El desempeño puede degradarse después de drift o cambio de régimen.
Not equal quality across objectivesNo calidad igual entre objetivosA joint model may predict Y₁ well and Y₂ poorly.Un modelo conjunto puede predecir bien Y₁ y mal Y₂.
14. Conditions of validity
14. Condiciones de validez
Representative dataDatos representativosLearning and evaluation data must reflect intended use.Datos de aprendizaje y evaluación deben reflejar el uso previsto.
No leakageSin fugaPredictors must not contain future or target-derived information.Predictores no deben contener información futura o derivada del objetivo.
Correct split designDiseño correcto de particiónValidation must respect time, space, groups, and repeated entities.Validación debe respetar tiempo, espacio, grupos y entidades repetidas.
Appropriate metricMétrica apropiadaThe performance measure must match the objective and decision.La medida de desempeño debe corresponder al objetivo y decisión.
Class and outcome balanceBalance de clases y resultadosRare outcomes require metrics and sampling strategies that preserve meaning.Resultados raros requieren métricas y estrategias de muestreo que preserven significado.
Objective alignmentAlineación de objetivosY₁…Yₘ must have clear definitions, timing, and evaluation rules.Y₁…Yₘ deben tener definiciones, tiempos y reglas de evaluación claras.
15. Principal interpretation risks
15. Principales riesgos de interpretación
OverfittingSobreajusteThe rule memorizes known data instead of learning transferable structure.La regla memoriza datos conocidos en lugar de aprender estructura transferible.
Target leakageFuga del objetivoPredictors contain information unavailable at prediction time.Predictores contienen información no disponible al momento de predecir.
Data snoopingData snoopingRepeated evaluation contaminates the test set.Evaluación repetida contamina el conjunto de prueba.
Metric mismatchDesajuste de métricaA favorable metric does not reflect the real decision cost.Una métrica favorable no refleja el costo real de decisión.
Proxy predictionPredicción mediante proxyThe model predicts through variables representing hidden sensitive or contextual factors.El modelo predice mediante variables que representan factores sensibles o contextuales ocultos.
Average-performance illusionIlusión de desempeño promedioStrong average results hide weak objectives, groups, periods, or locations.Resultados promedio fuertes ocultan objetivos, grupos, periodos o ubicaciones débiles.
16. Black-box capability workshop
16. Taller de capacidades de caja negra
Case A: X predicts Y perfectly in training but poorly in hidden data
Caso A: X predice Y perfectamente en entrenamiento, pero mal en datos ocultos
What problem is present?
¿Qué problema está presente?
Overfitting and failure of generalization.Sobreajuste y falla de generalización.
Case B: X is associated with Y but adds no improvement beyond X₁…Xₚ
Caso B: X está asociada con Y, pero no añade mejora más allá de X₁…Xₚ
How should X be classified?
¿Cómo debe clasificarse X?
Redundant or zero incremental predictive value.Valor predictivo redundante o incremental igual a cero.
Case C: weak predictors become strong only when combined
Caso C: predictores débiles se vuelven fuertes solamente al combinarse
What predictive structure is plausible?
¿Qué estructura predictiva es plausible?
Grouped interaction or synergistic predictive signal.Señal predictiva agrupada, interactiva o sinérgica.
Case D: one model predicts Y₁ well but Y₂ poorly
Caso D: un modelo predice bien Y₁, pero mal Y₂
What must be evaluated?
¿Qué debe evaluarse?
Objective-specific predictive performance within the multi-objective architecture.Desempeño predictivo específico por objetivo dentro de la arquitectura multiobjetivo.
Case E: performance falls in later periods although training accuracy remains high
Caso E: el desempeño cae en periodos posteriores aunque la precisión de entrenamiento sigue alta
What structure is plausible?
¿Qué estructura es plausible?
Temporal drift or regime change affecting generalization.Drift temporal o cambio de régimen que afecta generalización.
17. Black-box decision map
17. Mapa de decisión de caja negra
- Define the predictive architecture: X variables, X-groups, and objectives Y₁…Yₘ.
- Definir la arquitectura predictiva: variables X, grupos X y objetivos Y₁…Yₘ.
- Define the prediction task and objective type.
- Definir la tarea predictiva y el tipo de objetivo.
- Define a baseline and the required improvement.
- Definir una línea base y la mejora requerida.
- Choose a validation architecture that respects time, space, groups, and objective structure.
- Elegir una arquitectura de validación que respete tiempo, espacio, grupos y estructura de objetivos.
- Determine whether the capability is single-variable, grouped, incremental, multi-objective, temporal, spatial, or probabilistic.
- Determinar si la capacidad es univariable, agrupada, incremental, multiobjetivo, temporal, espacial o probabilística.
- Evaluate unseen-data performance, calibration, stability, and subgroup behavior.
- Evaluar desempeño en datos no vistos, calibración, estabilidad y comportamiento por subgrupos.
- Compare predictive gain with complexity, cost, and operational value.
- Comparar ganancia predictiva con complejidad, costo y valor operativo.
- Only then identify representative algorithms.
- Solo entonces identificar algoritmos representativos.
- State what predictive evidence supports and what remains prohibited.
- Declarar qué sustenta la evidencia predictiva y qué permanece prohibido.
What exact predictive capability is required, against which baseline, under what validation design, and for which objective architecture?
¿Qué capacidad predictiva exacta se requiere, frente a qué línea base, bajo qué diseño de validación y para qué arquitectura de objetivos?
Chapter closing
Cierre del capítulo
Prediction transforms observed structure into a test of future or unseen usefulness. A predictor is valuable only when it improves a defensible baseline, generalizes beyond the learning sample, remains stable across relevant contexts, and preserves objective-specific performance in Multi-X/Y systems. Predictive architecture first. Baseline second. Validation third. Capability fourth. Algorithm fifth. Application last.
La predicción transforma estructura observada en una prueba de utilidad futura o no vista. Un predictor es valioso solamente cuando mejora una línea base defendible, generaliza más allá de la muestra de aprendizaje, permanece estable entre contextos relevantes y conserva desempeño específico por objetivo en sistemas Multi-X/Y. Arquitectura predictiva primero. Línea base después. Validación tercero. Capacidad cuarto. Algoritmo quinto. Aplicación al final.
Applied reflection
Reflexión aplicada
Short publication text
Texto breve para publicar
Prediction is not the ability to fit known outcomes. It is the ability to improve anticipation beyond a baseline and preserve that improvement on unseen data. In Multi-X/Y systems, predictive value must be validated by objective, group, time, space, calibration, and drift before any algorithm is considered reliable.
Predicción no es la capacidad de ajustar resultados conocidos. Es la capacidad de mejorar anticipación frente a una línea base y conservar esa mejora en datos no vistos. En sistemas Multi-X/Y, el valor predictivo debe validarse por objetivo, grupo, tiempo, espacio, calibración y drift antes de considerar fiable cualquier algoritmo.