Module IV · Chapter 4 · Practical Significance and Objective-Function Relevance

1. Position inside Module IV

1. Posición dentro del Módulo IV

CHAPTER 3 Evidence Strength + Consistency + Uncertainty ↓ CHAPTER 4 Practical Significance + Objective-Function Relevance ↓ PRACTICAL-IMPACT PROFILE Target + Minimum Meaningful Change + Decision Usefulness ↓ CHAPTER 5 Evidence Integration & Decision Status

Boundary: Chapter 4 does not select intervention variables and does not infer causality. It determines whether the magnitude already reported in the MER is meaningful enough to matter for the objective function and for the next decision stage. Frontera: el Capítulo 4 no selecciona variables de intervención ni infiere causalidad. Determina si la magnitud ya reportada en el MER es suficientemente significativa para importar en la función objetivo y en la siguiente etapa decisional.

2. Chapter objective

2. Objetivo del capítulo

Separate statistical detectability from meaningful change in the objective function. Define what improvement would matter, compare the observed signal with that target, and document what remains unknown about practical impact. Separar la detectabilidad estadística del cambio significativo en la función objetivo. Definir qué mejora importaría, comparar la señal observada con esa meta y documentar qué permanece desconocido sobre el impacto práctico.

3. Statistical significance is not practical significance

3. Significancia estadística no es significancia práctica

Statistical detectability Detectabilidad estadística Asks whether the observed pattern is distinguishable from a reference or null process under the method used. Pregunta si el patrón observado se distingue de un proceso de referencia o nulo bajo el método utilizado.

Effect magnitude Magnitud del efecto Describes how large the observed difference, association, risk shift, or performance change is. Describe qué tan grande es la diferencia, asociación, cambio de riesgo o cambio de desempeño observado.

Practical significance Significancia práctica Asks whether that magnitude is large enough to matter for the objective, stakeholders, operations, science, policy, or another legitimate decision context. Pregunta si esa magnitud es suficientemente grande para importar a la función objetivo, actores, operaciones, ciencia, política u otro contexto decisional legítimo.

Prohibited shortcut: “p < 0.05, therefore the effect is important.” A small p-value does not define whether the effect is large enough to matter. Atajo prohibido: “p < 0.05, por lo tanto el efecto es importante.” Un p-valor pequeño no define si el efecto es suficientemente grande para importar.

4. The objective function is the reference point

4. La función objetivo es el punto de referencia

Practical relevance cannot be judged in the abstract. The analyst must first state what the system is trying to improve, preserve, reduce, maximize, minimize, stabilize, or keep within an acceptable range.

La relevancia práctica no puede juzgarse en abstracto. Primero debe declararse qué intenta mejorar, preservar, reducir, maximizar, minimizar, estabilizar o mantener dentro de un rango aceptable el sistema.

OBJECTIVE-FUNCTION DEFINITION Primary objective: Direction: MAXIMIZE / MINIMIZE / STABILIZE / MAINTAIN RANGE Current observed level: Desired target range: Decision horizon: Population / system scope: Primary stakeholder: Secondary consequences to monitor: Constraints: What would count as meaningful improvement? What would count as meaningful deterioration?

If the objective function is not explicit, Chapter 4 should record that gap rather than invent a target. Si la función objetivo no está explícita, el Capítulo 4 debe registrar esa brecha en lugar de inventar una meta.

5. Minimum Meaningful Change (MMC)

5. Cambio Mínimo Significativo (MMC)

The Minimum Meaningful Change is the smallest change in the objective function that would be considered important enough to influence a real decision. El Cambio Mínimo Significativo es el cambio más pequeño en la función objetivo que sería considerado suficientemente importante para influir en una decisión real.

1

Define the metric

Definir la métrica

Use the scale on which the objective is actually evaluated: absolute units, percentage points, relative change, event rate, service time, quality score, cost, burden, or another defensible unit.

Use la escala en la que realmente se evalúa el objetivo: unidades absolutas, puntos porcentuales, cambio relativo, tasa de eventos, tiempo de servicio, puntuación de calidad, costo, carga u otra unidad defendible.

2

Define the threshold

Definir el umbral

Specify the smallest change that would alter planning, resource allocation, risk acceptance, scientific interpretation, or stakeholder behavior.

Especifique el cambio más pequeño que alteraría planificación, asignación de recursos, aceptación de riesgo, interpretación científica o conducta de los actores.

3

Define the horizon

Definir el horizonte

A 5% change in one week may mean something different from the same 5% change over five years. Practical significance requires a time context.

Un cambio de 5% en una semana puede significar algo diferente al mismo 5% en cinco años. La significancia práctica requiere contexto temporal.

4

Define whose meaning matters

Definir para quién importa

Operational, clinical, scientific, social, policy, ethical, and stakeholder thresholds may differ. The relevant threshold must be named rather than assumed.

Los umbrales operacionales, clínicos, científicos, sociales, de política, éticos y de los actores pueden diferir. El umbral relevante debe nombrarse, no asumirse.

6. Compare the observed signal with the meaningful-change threshold

6. Comparar la señal observada con el umbral de cambio significativo

RelationshipRelación	InterpretationInterpretación	Chapter 4 statusEstado del Capítulo 4
Observed magnitude clearly exceeds MMC	The signal is large enough to be practically relevant within the stated objective and scope.	La señal es suficientemente grande para ser prácticamente relevante dentro del objetivo y alcance declarados.	HIGH RELEVANCE
Observed magnitude overlaps or approaches MMC	Practical importance is plausible but sensitive to uncertainty, assumptions, threshold choice, or stakeholder priorities.	La importancia práctica es plausible pero sensible a incertidumbre, supuestos, elección del umbral o prioridades.	CONDITIONAL
Observed magnitude is clearly below MMC	The signal may be technically real but too small to influence the stated objective materially.	La señal puede ser técnicamente real pero demasiado pequeña para influir materialmente en el objetivo.	LOW RELEVANCE
MMC or objective target is undefined	Practical significance cannot be classified responsibly.	La significancia práctica no puede clasificarse responsablemente.	NOT DETERMINED

Uncertainty belongs in the comparison. If an effect estimate crosses the meaningful-change threshold only under favorable assumptions, the correct conclusion is conditional—not “practically significant.” La incertidumbre pertenece a la comparación. Si una estimación cruza el umbral significativo solo bajo supuestos favorables, la conclusión correcta es condicional, no “prácticamente significativa”.

7. Objective-function impact profile

7. Perfil de impacto sobre la función objetivo

DimensionDimensión	QuestionPregunta	RecordRegistro
Direction	Does the observed signal move the objective toward improvement or deterioration?	¿La señal mueve el objetivo hacia mejora o deterioro?	Beneficial / Harmful / Mixed / Unknown
Magnitude	How large is the change on the objective-relevant scale?	¿Qué tan grande es el cambio en la escala relevante?	Value + units
Threshold relation	Is the estimate above, near, or below the MMC?	¿La estimación está por encima, cerca o debajo del MMC?	Above / Near / Below / Undefined
Uncertainty	What range of practical effects remains plausible?	¿Qué rango de efectos prácticos sigue siendo plausible?	Interval / scenarios / unknown
Scope	For which population, subgroup, geography, time period, or operating condition is the impact relevant?	¿Para qué población, subgrupo, geografía, período o condición operativa es relevante?	Explicit scope
Secondary consequences	Could improvement in the primary objective worsen another important outcome?	¿Podría mejorar el objetivo principal y empeorar otro resultado importante?	Known / Plausible / Not assessed

8. Decision usefulness status

8. Estado de utilidad para la decisión

USEFUL Magnitude is meaningfully related to the objective, uncertainty is compatible with a consequential effect, and the decision threshold is explicit. La magnitud se relaciona de forma significativa con el objetivo, la incertidumbre es compatible con un efecto relevante y el umbral decisional es explícito.

USEFUL WITH CONDITIONS The signal may matter, but interpretation depends on threshold choice, subgroup, horizon, uncertainty, or unresolved context. La señal puede importar, pero la interpretación depende del umbral, subgrupo, horizonte, incertidumbre o contexto no resuelto.

LIMITED USEFULNESS The technical signal exists but is unlikely to create meaningful movement in the stated objective. La señal técnica existe pero probablemente no generará movimiento significativo en el objetivo declarado.

NOT ASSESSABLE Objective target, meaningful-change threshold, units, or decision context are missing. Faltan la meta del objetivo, el umbral significativo, las unidades o el contexto decisional.

9. Practical-impact profile template

9. Plantilla de perfil de impacto práctico

PRACTICAL-IMPACT PROFILE Objective function: Direction: Current level: Target range: Minimum Meaningful Change (MMC): Decision horizon: Stakeholder / system perspective: MER evidence object: Observed magnitude: Uncertainty range: Direction of effect: Scale / units: Relation to MMC: ABOVE / NEAR / BELOW / NOT ASSESSABLE Practical relevance: HIGH / CONDITIONAL / LOW / NOT DETERMINED Decision usefulness: USEFUL / USEFUL WITH CONDITIONS / LIMITED USEFULNESS / NOT ASSESSABLE Secondary consequences: Context limitations: What remains unknown: What Chapter 5 may use: What Chapter 5 must not infer:

10. Interactive practical-significance exercise

10. Ejercicio interactivo de significancia práctica

Case: Detectable but not decision-relevant

Caso: Detectable pero no relevante para la decisión

A very large dataset reports a statistically detectable reduction of 0.3 percentage points in the objective outcome. The organization has explicitly defined 2 percentage points as the Minimum Meaningful Change required to alter policy. The uncertainty interval remains entirely below that 2-point threshold.

Un conjunto de datos muy grande reporta una reducción estadísticamente detectable de 0.3 puntos porcentuales en el resultado objetivo. La organización ha definido explícitamente 2 puntos porcentuales como el Cambio Mínimo Significativo requerido para modificar política. El intervalo de incertidumbre permanece completamente por debajo de ese umbral de 2 puntos.

The result is practically important because it is statistically significant. El resultado es prácticamente importante porque es estadísticamente significativo. The signal is technically detectable but has LOW practical relevance under the stated decision threshold. La señal es técnicamente detectable pero tiene BAJA relevancia práctica bajo el umbral decisional declarado. The result proves that no effect exists. El resultado demuestra que no existe ningún efecto.

Suggested answer: Respuesta sugerida:

LOW practical relevance under the stated threshold. The evidence may support that a small difference exists, but the observed magnitude and its uncertainty remain below the organization’s predefined Minimum Meaningful Change.

BAJA relevancia práctica bajo el umbral declarado. La evidencia puede respaldar que existe una diferencia pequeña, pero la magnitud observada y su incertidumbre permanecen por debajo del Cambio Mínimo Significativo predefinido por la organización.

Case: Meaningful threshold not defined

Caso: Umbral significativo no definido

A MER reports a moderate, precise effect with strong technical evidence. No operational, scientific, clinical, social, or policy threshold has been defined for what magnitude would materially improve the objective function.

Un MER reporta un efecto moderado y preciso con evidencia técnica fuerte. No se ha definido un umbral operacional, científico, clínico, social o de política que indique qué magnitud mejoraría materialmente la función objetivo.

Declare HIGH practical significance because the technical evidence is strong. Declarar ALTA significancia práctica porque la evidencia técnica es fuerte. Record practical significance as NOT DETERMINED until a meaningful-change criterion is defined. Registrar la significancia práctica como NO DETERMINADA hasta definir un criterio de cambio significativo. Select an intervention immediately because the effect is precise. Seleccionar una intervención inmediatamente porque el efecto es preciso.

Suggested answer: Respuesta sugerida:

NOT DETERMINED. Chapter 4 may document the technical magnitude and uncertainty, but it should not invent a practical threshold. The missing decision criterion becomes an explicit evidence-to-decision gap for Chapter 5.

NO DETERMINADA. El Capítulo 4 puede documentar la magnitud técnica y la incertidumbre, pero no debe inventar un umbral práctico. El criterio decisional faltante se convierte en una brecha explícita de evidencia-a-decisión para el Capítulo 5.

11. Chapter deliverables

11. Entregables del capítulo

Deliverable	Purpose	Propósito
Practical-Impact Profile	Connects reported MER magnitude to real-system meaning.	Conecta la magnitud reportada por el MER con significado en el sistema real.
Objective-Function Target Definition	States the desired direction, target range, decision horizon, and relevant scope.	Declara dirección deseada, rango meta, horizonte decisional y alcance relevante.
Minimum Meaningful Change	Defines the smallest change that would matter enough to influence a real decision.	Define el cambio más pequeño que importaría lo suficiente para influir en una decisión real.
Decision Usefulness Status	Classifies whether the evidence is useful, conditionally useful, limited, or not assessable for the next decision stage.	Clasifica si la evidencia es útil, condicionalmente útil, limitada o no evaluable para la siguiente etapa decisional.

12. Publication-ready principle

12. Principio listo para publicación

Statistical detectability answers whether a signal can be distinguished under a method. Practical significance answers whether its magnitude is large enough to matter for the objective function. Decision engineering requires both questions to remain separate. La detectabilidad estadística responde si una señal puede distinguirse bajo un método. La significancia práctica responde si su magnitud es suficientemente grande para importar en la función objetivo. La ingeniería de decisiones requiere mantener ambas preguntas separadas.

Do not cross the boundary: practical relevance does not establish that changing a variable will change the objective. Intervention eligibility and causal support are evaluated later in Module IV. No cruce la frontera: la relevancia práctica no establece que cambiar una variable cambiará el objetivo. La elegibilidad de intervención y el soporte causal se evalúan más adelante en el Módulo IV.

Next: Chapter 5 — Evidence Integration & Decision Status → Siguiente: Capítulo 5 — Integración de Evidencia y Estado de Decisión →