Module IV · Chapter 2 · Understanding Statistical Outputs

Module IV Architecture · Chapter 2 of 12 Arquitectura del Módulo IV · Capítulo 2 de 12

1. Position inside Module IV

1. Posición dentro del Módulo IV

CHAPTER 1 MER Intake + Interpretation Readiness ↓ CHAPTER 2 Index Meaning + Direction + Magnitude + Uncertainty + Limits ↓ INTERPRETABLE EVIDENCE STATEMENTS ↓ CHAPTER 3 Evidence Strength, Consistency & Uncertainty

Boundary: Chapter 2 explains what each index means. It does not yet classify evidence as weak, strong, sufficient, useful, or actionable. Frontera: el Capítulo 2 explica qué significa cada índice. Todavía no clasifica la evidencia como débil, fuerte, suficiente, útil o accionable.

2. Chapter objective

2. Objetivo del capítulo

Convert every primary and companion index into a plain-language statement that preserves direction, magnitude, uncertainty, context, diagnostic limitations, and interpretation boundaries. Convertir cada índice primario y complementario en una declaración de lenguaje claro que preserve dirección, magnitud, incertidumbre, contexto, limitaciones diagnósticas y fronteras interpretativas.

3. The six questions for every index

3. Las seis preguntas para cada índice

1. What does it measure? Association, difference, information, prediction, calibration, fit, stability, uncertainty, or robustness? ¿Asociación, diferencia, información, predicción, calibración, ajuste, estabilidad, incertidumbre o robustez?

2. What is the direction? Positive, negative, higher, lower, increasing, decreasing, overprediction, or underprediction? ¿Positiva, negativa, mayor, menor, creciente, decreciente, sobrepredicción o subpredicción?

3. What is the magnitude? How large is the observed signal in its native or standardized scale? ¿Qué tan grande es la señal observada en su escala nativa o estandarizada?

4. How uncertain is it? What interval, dispersion, resampling range, or posterior uncertainty surrounds the estimate? ¿Qué intervalo, dispersión, rango de remuestreo o incertidumbre rodea el estimado?

5. What limits it? Which assumptions, diagnostics, support problems, correlation structures, or sampling conditions constrain interpretation? ¿Qué supuestos, diagnósticos, problemas de soporte, correlaciones o condiciones muestrales limitan la interpretación?

6. What may be said? Define the allowed statement and the prohibited overclaim. Definir la afirmación permitida y la sobreafirmación prohibida.

4. Output families and their meaning

4. Familias de salida y su significado

Output familyFamilia de salida	Primary questionPregunta primaria	Human meaningSignificado humano	Common misuseMal uso común
Effect size	How different are groups?	¿Qué tan diferentes son los grupos?	Magnitude of separation in native or standardized terms.	Magnitud de separación en términos nativos o estandarizados.	Treating a large effect as automatically causal or actionable.	Tratar un efecto grande como automáticamente causal o accionable.
p-value	How incompatible are the data with a null model?	¿Qué tan incompatibles son los datos con un modelo nulo?	A compatibility measure under assumptions—not effect size or importance.	Medida de compatibilidad bajo supuestos; no magnitud ni importancia.	Reading p<0.05 as proof, relevance, or probability the hypothesis is true.	Leer p<0.05 como prueba, relevancia o probabilidad de verdad.
Confidence interval	Which estimate values remain compatible with the data?	¿Qué valores siguen siendo compatibles con los datos?	Plausible range under the method and sampling assumptions.	Rango plausible bajo el método y los supuestos muestrales.	Interpreting it as a guarantee or as the probability the true value lies inside.	Interpretarlo como garantía o probabilidad directa del valor verdadero.
Correlation / association	How do variables move together?	¿Cómo se mueven juntas las variables?	Direction and strength of co-variation.	Dirección y fuerza de covariación.	Inferring causation or intervention benefit.	Inferir causalidad o beneficio de intervención.
Mutual information	How much diagnostic information is shared?	¿Cuánta información diagnóstica comparten?	Potential dependence, including non-linear patterns.	Dependencia potencial, incluso no lineal.	Calling it independent contribution without conditioning on correlated variables.	Llamarla contribución independiente sin condicionar por correlación.
ROC-AUC	How well are positive and negative cases ranked?	¿Qué tan bien se ordenan positivos y negativos?	Discrimination across thresholds.	Discriminación a través de umbrales.	Using it as calibration, clinical utility, or threshold approval.	Usarlo como calibración, utilidad clínica o aprobación de umbral.
PR-AUC	How well does the model retrieve positives under class imbalance?	¿Qué tan bien recupera positivos con desbalance?	Precision–recall trade-off over thresholds.	Intercambio precisión–recall entre umbrales.	Comparing values across datasets with very different prevalence without context.	Compararlo entre datasets con prevalencias muy distintas sin contexto.
Sensitivity / specificity	What errors occur at one threshold?	¿Qué errores ocurren en un umbral?	Sensitivity captures positives; specificity excludes negatives.	Sensibilidad captura positivos; especificidad excluye negativos.	Reporting one without the threshold and the trade-off.	Reportar una sin el umbral y el intercambio.
Brier / log loss	How accurate are predicted probabilities?	¿Qué tan correctas son las probabilidades?	Probability error, with different penalty structures.	Error probabilístico con penalizaciones diferentes.	Treating them as directly interpretable without baseline or context.	Tratarlos como directamente interpretables sin baseline o contexto.
Calibration slope / intercept	Are probabilities systematically too extreme or shifted?	¿Las probabilidades están desplazadas o son demasiado extremas?	Alignment between predicted and observed risk.	Alineación entre riesgo predicho y observado.	Calling a near-ideal estimate externally valid without external data.	Llamar externamente válido un estimado cercano a ideal sin datos externos.
Cross-validation SD	How variable is performance across folds?	¿Cuánto varía el desempeño entre folds?	Internal stability under repeated partitioning structure.	Estabilidad interna bajo particiones.	Treating low fold variability as external generalizability.	Tratar baja variabilidad como generalización externa.
PCA variance	How much total variation is summarized by latent components?	¿Cuánta variación resumen componentes latentes?	Dimensional compression and shared structure.	Compresión dimensional y estructura compartida.	Calling a component a confirmed biological mechanism.	Llamar a un componente mecanismo biológico confirmado.

5. Primary, companion, and diagnostic indices

5. Índices primarios, complementarios y diagnósticos

Primary index Índice primario Directly answers the evidence question selected by the MSS. Responde directamente a la pregunta de evidencia seleccionada por el MSS.

Companion index Índice complementario Adds another perspective, scale, assumption set, or robustness check. Añade otra perspectiva, escala, conjunto de supuestos o chequeo de robustez.

Diagnostic index Índice diagnóstico Does not answer the scientific question directly; it determines whether the primary interpretation is trustworthy. No responde directamente la pregunta científica; determina si la interpretación primaria es confiable.

A strong primary index can be restricted by weak diagnostics. Chapter 2 must translate both, not celebrate only the headline number. Un índice primario fuerte puede quedar restringido por diagnósticos débiles. El Capítulo 2 debe traducir ambos, no celebrar solo el número principal.

6. The interpretation sentence pattern

6. Patrón de oración interpretativa

INTERPRETATION SENTENCE In [population / dataset / supported region], [index name] indicates [direction + magnitude] for [specific evidence question], with uncertainty represented by [interval / SD / resampling range]. This permits us to say: [bounded technical interpretation] This does not permit us to say: [causal, practical, external, or intervention overclaim] Interpretation is limited by: [diagnostics / support / correlation / validation design / missing evidence]

7. Worked examples

7. Ejemplos trabajados

Hedges g = 2.69

Human meaning: the standardized group separation is very large for this measurement in this dataset.

Significado humano: la separación estandarizada entre grupos es muy grande para esta medición en este dataset.

ALLOWED Malignant and benign observations differ substantially on this measurement.Las observaciones malignas y benignas difieren sustancialmente en esta medición.

PROHIBITED Changing this variable will change malignancy.Cambiar esta variable cambiará la malignidad.

ROC-AUC = 0.995

Human meaning: the model ranks malignant observations above benign observations extremely well in internal cross-validation.

Significado humano: el modelo ordena observaciones malignas por encima de benignas extremadamente bien en validación cruzada interna.

ALLOWED Internal discrimination is high.La discriminación interna es alta.

PROHIBITED The model is clinically ready or will perform identically in another hospital.El modelo está listo clínicamente o rendirá igual en otro hospital.

Calibration slope = 1.08

Human meaning: predicted probabilities are not strongly over- or under-dispersed within the internal validation framework.

Significado humano: las probabilidades no están fuertemente sobre o subdispersas dentro de la validación interna.

CAUTION This is internal calibration evidence, not proof of external calibration.Es evidencia de calibración interna, no prueba de calibración externa.

7 PCA components retain 90%

Human meaning: most of the variation across 30 predictors can be summarized by a much smaller number of shared dimensions.

Significado humano: la mayor parte de la variación en 30 predictores puede resumirse con muchas menos dimensiones compartidas.

PROHIBITED There are exactly seven biological causes.Existen exactamente siete causas biológicas.

8. Allowed, conditional, and prohibited interpretation

8. Interpretación permitida, condicional y prohibida

Status	Meaning	Significado	Example	Ejemplo
ALLOWED	Directly supported by the MER and its diagnostics.	Directamente respaldado por el MER y sus diagnósticos.	“The groups differ on this measurement.”	“Los grupos difieren en esta medición.”
CONDITIONAL	May be stated only with explicit limitations, scope, or unresolved uncertainty.	Solo puede afirmarse con límites, alcance o incertidumbre explícitos.	“Internal discrimination is high, pending external validation.”	“La discriminación interna es alta, pendiente validación externa.”
PROHIBITED	Exceeds the design, evidence, or interpretation boundary.	Excede el diseño, evidencia o frontera interpretativa.	“This variable causes the outcome and should be treated.”	“Esta variable causa el resultado y debe tratarse.”

9. Interactive interpretation exercise

9. Ejercicio interactivo de interpretación

Case: Strong model, bounded claim

Caso: Modelo fuerte, afirmación acotada

A model has ROC-AUC = 0.995, sensitivity = 0.962, specificity = 0.989, and no external validation.

Un modelo tiene ROC-AUC = 0.995, sensibilidad = 0.962, especificidad = 0.989 y no tiene validación externa.

The model is clinically approved.El modelo está aprobado clínicamente. The model shows very high internal discrimination, with external generalization still untested.El modelo muestra discriminación interna muy alta, con generalización externa aún no probada. The model proves the predictors cause malignancy.El modelo prueba que los predictores causan malignidad.

Suggested answer:Respuesta sugerida:

The correct interpretation is that internal discrimination is very high, while external generalization, clinical utility, and causality remain unestablished.

La interpretación correcta es que la discriminación interna es muy alta, mientras que generalización externa, utilidad clínica y causalidad siguen sin establecerse.

10. Chapter deliverables

10. Entregables del capítulo

Deliverable	Purpose	Propósito
Index Interpretation Table	Maps every index to meaning, direction, magnitude, uncertainty, and limits.	Mapea cada índice a significado, dirección, magnitud, incertidumbre y límites.
Allowed Interpretation Sheet	Lists technically defensible statements.	Lista afirmaciones técnicamente defendibles.
Prohibited Interpretation Sheet	Prevents causal, practical, external, or intervention overclaims.	Previene sobreafirmaciones causales, prácticas, externas o de intervención.
Plain-Language Evidence Statement	Provides a human-readable summary without losing technical boundaries.	Ofrece resumen comprensible sin perder fronteras técnicas.

11. Publication-ready principle

11. Principio listo para publicación

Module IV must never interpret a headline metric in isolation. Every index is translated together with its purpose, scale, uncertainty, diagnostics, comparison context, and prohibited claims. El Módulo IV nunca debe interpretar una métrica principal de forma aislada. Cada índice se traduce junto con su propósito, escala, incertidumbre, diagnósticos, contexto comparativo y afirmaciones prohibidas.

Next: Chapter 3 — Evidence Strength, Consistency & Uncertainty → Siguiente: Capítulo 3 — Fuerza, Consistencia e Incertidumbre de la Evidencia →