Module IV · Chapter 3 · Evidence Strength, Consistency & Uncertainty

1. Position inside Module IV

1. Posición dentro del Módulo IV

CHAPTER 2 Index Meaning + Allowed / Prohibited Interpretation ↓ CHAPTER 3 Strength + Convergence + Conflict + Uncertainty ↓ EVIDENCE PROFILE Very Strong / Strong / Moderate / Weak / Conflicting / Inconclusive ↓ CHAPTER 4 Practical Significance & Objective-Function Relevance

Boundary: Chapter 3 evaluates the technical credibility and coherence of evidence. It does not yet determine whether the observed effect matters enough to justify action. Frontera: el Capítulo 3 evalúa credibilidad técnica y coherencia. Todavía no determina si el efecto importa lo suficiente para justificar acción.

2. Chapter objective

2. Objetivo del capítulo

Integrate effect, association, information, prediction, calibration, stability, robustness, and diagnostic evidence into a transparent classification of strength, convergence, conflict, and remaining uncertainty. Integrar evidencia de efecto, asociación, información, predicción, calibración, estabilidad, robustez y diagnósticos en una clasificación transparente de fuerza, convergencia, conflicto e incertidumbre restante.

3. Evidence strength is multidimensional

3. La fuerza de evidencia es multidimensional

Magnitude Magnitud How large is the observed signal? ¿Qué tan grande es la señal observada?

Precision Precisión How narrow and stable is the uncertainty range? ¿Qué tan estrecho y estable es el rango de incertidumbre?

Consistency Consistencia Do primary and companion methods point in the same direction? ¿Métodos primarios y complementarios apuntan en la misma dirección?

Diagnostic support Soporte diagnóstico Do assumptions, calibration, residuals, and support conditions permit interpretation? ¿Supuestos, calibración, residuos y soporte permiten interpretar?

Stability Estabilidad Does the result persist across folds, seeds, bootstrap samples, or analytical variants? ¿Persiste entre folds, semillas, bootstrap o variantes?

Scope Alcance How far may the conclusion travel beyond the observed data? ¿Hasta dónde puede extenderse la conclusión fuera de los datos?

4. Evidence-strength classification

4. Clasificación de fuerza de evidencia

Status	Technical patternPatrón técnico	Interpretive meaningSignificado interpretativo
VERY STRONG	Large or decision-relevant signal, narrow uncertainty, multi-method convergence, strong diagnostics, high stability.	Señal grande o relevante, incertidumbre estrecha, convergencia multimétodo, diagnósticos sólidos y alta estabilidad.	Technical evidence is highly coherent within its supported scope.	La evidencia técnica es altamente coherente dentro de su alcance.
STRONG	Clear signal with acceptable uncertainty and mostly consistent supporting evidence.	Señal clara con incertidumbre aceptable y evidencia mayormente consistente.	Interpretation is well supported, with visible limitations.	La interpretación está bien respaldada, con limitaciones visibles.
MODERATE	Signal exists, but uncertainty, instability, or method dependence limits confidence.	Existe señal, pero incertidumbre, inestabilidad o dependencia del método limita confianza.	Useful for conditional reasoning, not definitive conclusions.	Útil para razonamiento condicional, no conclusiones definitivas.
WEAK	Small, imprecise, unstable, or diagnostically fragile evidence.	Evidencia pequeña, imprecisa, inestable o frágil.	Insufficient for confident interpretation.	Insuficiente para interpretación confiada.
CONFLICTING	Methods, indices, subgroups, or diagnostics point in materially different directions.	Métodos, índices, subgrupos o diagnósticos apuntan en direcciones diferentes.	Conflict must be preserved and explained, not averaged away.	El conflicto debe preservarse y explicarse, no promediarse.
INCONCLUSIVE	Evidence cannot distinguish among plausible interpretations.	La evidencia no distingue entre interpretaciones plausibles.	No technical conclusion should be forced.	No debe forzarse una conclusión técnica.

5. Convergence and divergence map

5. Mapa de convergencia y divergencia

Evidence familyFamilia de evidencia	QuestionPregunta	Convergence signalSeñal de convergencia	Divergence signalSeñal de divergencia
Effect	Are group differences large and directionally stable?	¿Las diferencias son grandes y estables?	Hedges g, Cliff's delta, and bootstrap intervals agree.	Hedges g, Cliff's delta e intervalos coinciden.	Mean difference is large but rank-based effect is small.	Diferencia media grande pero efecto por rangos pequeño.
Association / information	Do variables consistently carry signal?	¿Las variables cargan señal consistentemente?	Correlation and mutual information rank similar features highly.	Correlación e información mutua priorizan rasgos similares.	Linear association is weak but mutual information is high.	Asociación lineal débil pero información mutua alta.
Prediction	Does the signal generalize internally?	¿La señal generaliza internamente?	Multiple models show similar discrimination and low fold variation.	Múltiples modelos muestran discriminación similar y baja variación.	One model is excellent while alternatives are unstable.	Un modelo es excelente y otros son inestables.
Calibration	Are probabilities trustworthy?	¿Las probabilidades son confiables?	Discrimination and calibration are both acceptable.	Discriminación y calibración son aceptables.	AUC is high but probabilities are systematically biased.	AUC alto pero probabilidades sesgadas.
Stability	Does evidence survive analytical disturbance?	¿La evidencia sobrevive perturbaciones?	Bootstrap, folds, and sensitivity analyses preserve conclusions.	Bootstrap, folds y sensibilidad preservan conclusiones.	Rankings or performance change materially across runs.	Rankings o desempeño cambian materialmente.
Explanation	Are model contributions coherent with other evidence?	¿Las contribuciones son coherentes con otras evidencias?	Important model features align with effect and information evidence.	Variables importantes se alinean con efecto e información.	Permutation importance changes under correlated substitutes.	La importancia cambia con sustitutos correlacionados.

6. Conflict is information

6. El conflicto también es información

A contradiction between indices does not automatically mean one is wrong. It may reveal non-linearity, threshold dependence, class imbalance, calibration failure, redundancy, subgroup effects, or a difference in the scientific question each method answers. Una contradicción entre índices no significa automáticamente que uno esté mal. Puede revelar no linealidad, dependencia del umbral, desbalance, fallo de calibración, redundancia, subgrupos o diferencias entre preguntas científicas.

Resolvable conflict Conflicto resoluble The disagreement is explained by method purpose, scale, threshold, or known data structure. El desacuerdo se explica por propósito, escala, umbral o estructura conocida.

Unresolved conflict Conflicto no resuelto Material disagreement remains after diagnostics and sensitivity analysis. El desacuerdo material permanece tras diagnósticos y sensibilidad.

7. Uncertainty profile

7. Perfil de incertidumbre

1

Sampling uncertainty

Incertidumbre muestral

Confidence intervals, bootstrap distributions, fold variability, and posterior intervals.

Intervalos de confianza, distribuciones bootstrap, variación entre folds e intervalos posteriores.

2

Model uncertainty

Incertidumbre del modelo

Dependence on model family, functional form, regularization, interactions, or hyperparameters.

Dependencia de familia, forma funcional, regularización, interacciones o hiperparámetros.

3

Measurement uncertainty

Incertidumbre de medición

Noise, reproducibility, instrument error, coding ambiguity, and variable construction.

Ruido, reproducibilidad, error instrumental, ambigüedad de codificación y construcción de variables.

4

Structural uncertainty

Incertidumbre estructural

Unknown confounding, omitted variables, latent drivers, transportability, and causal ambiguity.

Confusión desconocida, variables omitidas, impulsores latentes, transportabilidad y ambigüedad causal.

8. Decision-confidence range

8. Rango de confianza decisional

Decision confidence is not a probability that the conclusion is true. It is a structured summary of how strongly the integrated evidence supports a bounded interpretation. La confianza decisional no es una probabilidad de que la conclusión sea verdadera. Es un resumen estructurado de cuánto respalda la evidencia una interpretación acotada.

DimensionDimensión	QuestionPregunta	Possible statusEstado posible
Magnitude	Is the signal large enough to be clearly distinguishable?	¿La señal es suficientemente grande?	High / Medium / Low
Precision	Are uncertainty ranges narrow enough?	¿Los rangos son suficientemente estrechos?	High / Medium / Low
Convergence	Do methods agree?	¿Los métodos coinciden?	Convergent / Mixed / Divergent
Diagnostics	Do technical checks support interpretation?	¿Los chequeos respaldan la interpretación?	Supported / Flagged / Failed
Stability	Does evidence persist under perturbation?	¿Persiste bajo perturbación?	Stable / Conditional / Unstable
Scope	How far can the conclusion travel?	¿Hasta dónde puede viajar la conclusión?	Internal / Limited external / External

9. Conflict registry template

9. Plantilla de registro de conflictos

CONFLICT REGISTRY Conflict ID: Evidence objects involved: Indices or methods in disagreement: Observed divergence: Magnitude of disagreement: Likely explanation: Diagnostics reviewed: Sensitivity analyses reviewed: Resolved? YES / PARTIAL / NO Interpretation permitted: Interpretation prohibited: Impact on evidence strength: Impact on next chapter:

10. Interactive evidence-classification exercise

10. Ejercicio interactivo de clasificación

Case: Strong discrimination, visible limitations

Caso: Discriminación fuerte, limitaciones visibles

Two models show ROC-AUC above 0.98. Logistic regression is more stable. Calibration is acceptable internally. There is no external validation, and feature importance is unstable under multicollinearity.

Dos modelos muestran ROC-AUC superior a 0.98. La regresión logística es más estable. La calibración interna es aceptable. No existe validación externa y la importancia de variables es inestable por multicolinealidad.

VERY STRONG evidence for clinical deployment and intervention.Evidencia MUY FUERTE para despliegue clínico e intervención. STRONG internal predictive evidence, with external and feature-level interpretation restricted.Evidencia predictiva interna FUERTE, con interpretación externa y por variable restringida. INCONCLUSIVE because any limitation invalidates all evidence.INCONCLUSA porque cualquier limitación invalida toda evidencia.

Suggested answer:Respuesta sugerida:

STRONG internal predictive evidence. The discrimination, calibration, and fold stability converge, while external generalization and individual feature importance remain restricted.

Evidencia predictiva interna FUERTE. Discriminación, calibración y estabilidad convergen, mientras la generalización externa y la importancia individual permanecen restringidas.

11. Chapter deliverables

11. Entregables del capítulo

Deliverable	Purpose	Propósito
Evidence-Strength Classification	Assigns a transparent technical strength level.	Asigna nivel técnico transparente.
Convergence / Divergence Map	Shows where evidence families agree or disagree.	Muestra dónde convergen o divergen las familias.
Conflict Registry	Preserves unresolved contradictions and their impact.	Preserva contradicciones no resueltas y su impacto.
Uncertainty Profile	Separates sampling, model, measurement, and structural uncertainty.	Separa incertidumbre muestral, de modelo, medición y estructural.
Decision-Confidence Range	Summarizes technical support for a bounded interpretation.	Resume soporte técnico para una interpretación acotada.

12. Publication-ready principle

12. Principio listo para publicación

Evidence strength is not assigned from statistical significance alone. It emerges from the joint behavior of magnitude, precision, convergence, diagnostics, stability, uncertainty, and scope. La fuerza de evidencia no se asigna solo por significancia estadística. Surge del comportamiento conjunto de magnitud, precisión, convergencia, diagnósticos, estabilidad, incertidumbre y alcance.

Next: Chapter 4 — Practical Significance & Objective-Function Relevance → Siguiente: Capítulo 4 — Significancia Práctica y Relevancia para la Función Objetivo →