A method-selection chapter for combining results, updating beliefs, synthesizing studies, aggregating models, reconciling criteria, and producing a traceable integrated evidence position.
Un capítulo de selección de métodos para combinar resultados, actualizar creencias, sintetizar estudios, agregar modelos, reconciliar criterios y producir una posición integrada y trazable de evidencia.
Module III principlePrincipio del Módulo IIIEvidence integration methods are selected from the type, quality, compatibility, and purpose of the evidence—not from a desire to force all results into one number.Los métodos de integración se seleccionan desde el tipo, calidad, compatibilidad y propósito de la evidencia, no desde el deseo de forzar todos los resultados dentro de un solo número.
Module progress · Chapter 9 of 9Progreso del módulo · Capítulo 9 de 9
Black-box rule of the chapter
Regla de caja negra del capítulo
Assume that an ESS has declared evidence integration as Required or eligible Conditional and that multiple valid evidence objects, models, studies, criteria, or prior and current information are available.Asumir que un ESS declaró integración de evidencia como Requerida o Condicional elegible y que existen múltiples objetos de evidencia, modelos, estudios, criterios o información previa y actual válidos.
The chapter does not yet know the implementation. Its responsibility is to determine whether the integration need is probabilistic updating, predictive aggregation, multi-criteria decision support, narrative or formal synthesis, quantitative study pooling, or model-uncertainty averaging.
El capítulo todavía no conoce la implementación. Su responsabilidad es determinar si la necesidad de integración es actualización probabilística, agregación predictiva, apoyo multicriterio, síntesis narrativa o formal, combinación cuantitativa de estudios o promedio bajo incertidumbre de modelos.
Boundary: integration cannot repair invalid evidence. Combining biased, incompatible, duplicated, or poorly identified results may create more confidence without more truth.Frontera: la integración no puede reparar evidencia inválida. Combinar resultados sesgados, incompatibles, duplicados o mal identificados puede crear más confianza sin crear más verdad.
Chapter learning objectives
Objetivos de aprendizaje del capítulo
Define integration evidenceDefinir evidencia de integraciónSeparate updating, aggregation, synthesis, pooling, weighting, and decision integration.Separar actualización, agregación, síntesis, combinación, ponderación e integración decisional.
Validate compatibilityValidar compatibilidadConfirm that evidence objects share an estimand, target, scale, population, or decision purpose.Confirmar que los objetos comparten estimando, objetivo, escala, población o propósito decisional.
Match method to integration questionAlinear método con pregunta de integraciónDistinguish belief updating, ensemble prediction, study synthesis, criteria weighting, and model averaging.Distinguir actualización de creencias, ensemble predictivo, síntesis de estudios, ponderación de criterios y promedio de modelos.
Select conditionallySeleccionar condicionalmenteChoose only integration methods whose assumptions, weights, and uncertainty can be defended.Elegir solamente métodos cuyos supuestos, pesos e incertidumbre puedan defenderse.
1. What does it mean to integrate evidence?
1. ¿Qué significa integrar evidencia?
Integrating evidence means combining valid evidence objects into a higher-level conclusion, prediction, belief state, ranking, or decision while preserving provenance, compatibility, uncertainty, heterogeneity, and the limits of each source.
Integrar evidencia significa combinar objetos válidos dentro de una conclusión, predicción, estado de creencia, ranking o decisión de nivel superior, preservando procedencia, compatibilidad, incertidumbre, heterogeneidad y límites de cada fuente.
UpdatingActualizaciónHow should prior beliefs change after new evidence?¿Cómo deben cambiar las creencias previas ante nueva evidencia?
AggregationAgregaciónCan several models improve prediction together?¿Varios modelos pueden mejorar juntos la predicción?
Criteria integrationIntegración de criteriosHow should multiple objectives and tradeoffs be combined?¿Cómo combinar múltiples objetivos y compensaciones?
SynthesisSíntesisWhat coherent conclusion emerges across heterogeneous evidence?¿Qué conclusión coherente emerge entre evidencias heterogéneas?
PoolingCombinación cuantitativaCan comparable study effects be estimated jointly?¿Pueden estimarse conjuntamente efectos comparables?
Model uncertaintyIncertidumbre de modelosCan uncertainty across plausible models be carried into inference or prediction?¿Puede propagarse la incertidumbre entre modelos plausibles?
Integration cannot compensate for invalid upstream evidence.La integración no compensa evidencia inválida de módulos previos.
Common target or purposeObjetivo o propósito común
Studies, models, or criteria must address a coherent estimand, outcome, prediction, or decision.Estudios, modelos o criterios deben abordar un estimando, resultado, predicción o decisión coherente.
Compatibility assessmentEvaluación de compatibilidad
Population, scale, design, units, outcome definition, and time horizon must be comparable or explicitly transformed.Población, escala, diseño, unidades, resultado y horizonte deben ser comparables o transformarse explícitamente.
Weighting ruleRegla de ponderación
Every integration method assigns influence, explicitly or implicitly.Todo método asigna influencia, explícita o implícitamente.
Dependence and duplication controlControl de dependencia y duplicación
Repeated datasets, overlapping studies, or correlated models can create false precision.Datasets repetidos, estudios superpuestos o modelos correlacionados pueden crear falsa precisión.
Heterogeneity strategyEstrategia de heterogeneidad
Differences among sources may be informative rather than noise to be averaged away.Las diferencias entre fuentes pueden ser informativas y no ruido que deba promediarse.
Uncertainty propagationPropagación de incertidumbre
Integrated conclusions must include uncertainty from source evidence and integration weights.Las conclusiones integradas deben incluir incertidumbre de fuentes y pesos.
Provenance and traceabilityProcedencia y trazabilidad
Every integrated conclusion must be traceable to its contributing evidence objects.Toda conclusión integrada debe rastrearse hasta sus objetos contribuyentes.
3. Method-selection map by integration configuration
3. Mapa de selección por configuración de integración
Integration configurationConfiguración de integración
Primary candidateCandidato principal
Update prior beliefs with new probabilistic evidenceActualizar creencias previas con nueva evidencia probabilística
Bayesian Updating
Combine multiple predictive models for stronger generalizationCombinar múltiples modelos predictivos para mayor generalización
Ensemble Methods
Integrate multiple decision criteria and tradeoffsIntegrar múltiples criterios y compensaciones decisionales
Multi-Criteria Decision Analysis
Combine heterogeneous evidence into a structured conclusionCombinar evidencia heterogénea en una conclusión estructurada
Evidence Synthesis
Pool comparable quantitative study effectsCombinar efectos cuantitativos comparables entre estudios
Meta-analysis
Average inference or prediction across plausible modelsPromediar inferencia o predicción entre modelos plausibles
Bayesian Model Averaging
No universal integration winner: updating beliefs, pooling studies, combining models, and integrating decision criteria are different scientific operations.No existe ganador universal de integración: actualizar creencias, combinar estudios, agregar modelos e integrar criterios son operaciones científicas distintas.
4. Standard method card
4. Ficha estándar del método
Method Name
Scientific Purpose
Integrated Evidence Produced
Best Integration Configuration
Input Evidence Requirements
Weighting Structure
Strengths
Weaknesses
Assumptions
Limitations
Computational Cost
Interpretability
Robustness
Critical Parameters
Validation Metrics
Acceptance Interpretation
Failure Modes
Complementary Methods
Module III Selection Status
5. Bayesian Updating
5. Actualización Bayesiana
Scientific purposePropósito científico
Update prior beliefs about parameters, states, or hypotheses using new evidence through a likelihood model.Actualizar creencias previas sobre parámetros, estados o hipótesis utilizando nueva evidencia mediante un modelo de verosimilitud.
Evidence producedEvidencia producida
A posterior distribution combining prior information and current data.Una distribución posterior que combina información previa y datos actuales.
Best configurationMejor configuración
Sequential learning, expert knowledge integration, small samples with defensible priors, and uncertainty-rich decision contexts.Aprendizaje secuencial, integración de conocimiento experto, muestras pequeñas con priors defendibles y decisiones con incertidumbre.
StrengthsFortalezas
Coherent uncertainty updating, natural sequential use, and explicit prior assumptions.Actualización coherente de incertidumbre, uso secuencial natural y supuestos previos explícitos.
WeaknessesDebilidades
Sensitive to prior and likelihood misspecification, and potentially computationally demanding.Sensible a mala especificación del prior y la verosimilitud, y potencialmente costosa.
AssumptionsSupuestos
Defensible prior, valid likelihood, coherent parameterization, and appropriate conditional independence structure.Prior defendible, verosimilitud válida, parametrización coherente y estructura condicional apropiada.
Overly informative prior, incompatible likelihood, poor convergence, double-counted evidence, and treating posterior probability as guaranteed truth.Prior demasiado informativo, verosimilitud incompatible, mala convergencia, evidencia duplicada y tratar posterior como verdad garantizada.
Complementary methodsMétodos complementarios
Bayesian Model Averaging, sensitivity analysis, posterior predictive validation.
6. Ensemble Methods
6. Métodos de Ensamble
Scientific purposePropósito científico
Combine multiple predictive models to improve accuracy, robustness, or calibration.Combinar múltiples modelos predictivos para mejorar precisión, robustez o calibración.
Evidence producedEvidencia producida
An aggregated prediction derived from averaging, voting, stacking, blending, or weighted combination.Una predicción agregada derivada de promedio, votación, stacking, blending o combinación ponderada.
Best configurationMejor configuración
Several validated models with complementary error patterns and enough data for unbiased combination.Varios modelos validados con errores complementarios y datos suficientes para combinación sin sesgo.
StrengthsFortalezas
Can reduce variance, improve generalization, and stabilize predictions across models.Puede reducir varianza, mejorar generalización y estabilizar predicciones.
WeaknessesDebilidades
Greater complexity, reduced interpretability, correlated errors, and risk of leakage during stacking.Mayor complejidad, menor interpretabilidad, errores correlacionados y riesgo de fuga en stacking.
AssumptionsSupuestos
Base models are valid, combination data are leakage-safe, and model errors provide useful diversity.Modelos base válidos, datos de combinación sin fuga y diversidad útil de errores.
Critical parametersParámetros críticos
Base learners, weights, voting rule, meta-model, out-of-fold predictions, calibration.
ValidationValidación
Out-of-sample improvement over best base model, error correlation, calibration, robustness across folds and shifts.
Failure modesModos de fallo
Stacking leakage, redundant models, unstable weights, complexity without gain, and hiding weak base models.Fuga en stacking, modelos redundantes, pesos inestables, complejidad sin ganancia y ocultar modelos débiles.
Complementary methodsMétodos complementarios
Bayesian Model Averaging, calibration methods, diversity diagnostics.
7. Multi-Criteria Decision Analysis (MCDA)
7. Análisis de Decisión Multicriterio (MCDA)
Scientific purposePropósito científico
Integrate multiple criteria, objectives, preferences, and tradeoffs into a structured ranking or decision.Integrar múltiples criterios, objetivos, preferencias y compensaciones dentro de un ranking o decisión estructurada.
Evidence producedEvidencia producida
A transparent multi-criteria score, ranking, or decision recommendation.Una puntuación multicriterio, ranking o recomendación transparente.
Best configurationMejor configuración
Decisions where no single metric captures benefit, risk, cost, feasibility, ethics, and stakeholder priorities.Decisiones donde una sola métrica no captura beneficio, riesgo, costo, factibilidad, ética y prioridades.
StrengthsFortalezas
Makes tradeoffs explicit, supports stakeholder participation, and improves decision traceability.Hace explícitas las compensaciones, apoya participación y mejora trazabilidad.
WeaknessesDebilidades
Weights and scoring functions may be subjective, sensitive, or compensatory in undesirable ways.Pesos y funciones de puntuación pueden ser subjetivos, sensibles o compensatorios de forma indeseable.
AssumptionsSupuestos
Criteria are measurable, nonredundant enough, consistently scaled, and weighted according to an explicit governance process.Criterios medibles, suficientemente no redundantes, escalados consistentemente y ponderados mediante gobernanza explícita.
Combine heterogeneous quantitative and qualitative evidence into a structured, traceable conclusion.Combinar evidencia cuantitativa y cualitativa heterogénea dentro de una conclusión estructurada y trazable.
Evidence producedEvidencia producida
An integrated narrative, evidence map, confidence assessment, or structured conclusion across sources.Una narrativa integrada, mapa de evidencia, evaluación de confianza o conclusión estructurada entre fuentes.
Best configurationMejor configuración
Mixed evidence types, heterogeneous designs, policy or clinical questions, and situations where quantitative pooling is inappropriate.Tipos de evidencia mixtos, diseños heterogéneos, preguntas clínicas o de política y casos donde no procede combinar numéricamente.
StrengthsFortalezas
Preserves heterogeneity, accommodates multiple evidence forms, and supports transparent reasoning.Preserva heterogeneidad, admite múltiples formas y apoya razonamiento transparente.
WeaknessesDebilidades
Potential subjectivity, selective emphasis, and difficulty assigning comparable confidence across sources.Potencial subjetividad, énfasis selectivo y dificultad para asignar confianza comparable.
AssumptionsSupuestos
Transparent inclusion criteria, valid source appraisal, explicit integration logic, and traceable provenance.Criterios transparentes de inclusión, evaluación válida de fuentes, lógica explícita y procedencia trazable.
Pool comparable quantitative effect estimates across studies while accounting for uncertainty and heterogeneity.Combinar estimaciones cuantitativas comparables entre estudios considerando incertidumbre y heterogeneidad.
Evidence producedEvidencia producida
A pooled effect estimate, uncertainty interval, and heterogeneity assessment.Una estimación combinada, intervalo de incertidumbre y evaluación de heterogeneidad.
Best configurationMejor configuración
Multiple sufficiently comparable studies estimating the same or transformable effect.Múltiples estudios suficientemente comparables que estiman el mismo efecto o uno transformable.
StrengthsFortalezas
Improves precision, quantifies heterogeneity, and supports subgroup or moderator analysis.Mejora precisión, cuantifica heterogeneidad y admite análisis de subgrupos o moderadores.
WeaknessesDebilidades
Sensitive to publication bias, study quality, dependence, effect-definition mismatch, and model choice.Sensible a sesgo de publicación, calidad, dependencia, incompatibilidad de efectos y elección del modelo.
AssumptionsSupuestos
Comparable estimands, valid standard errors, independent or appropriately modeled studies, and defensible fixed or random effects.Estimandos comparables, errores válidos, estudios independientes o modelados apropiadamente y efectos fijos o aleatorios defendibles.
Combining incomparable studies, ignoring overlap, overinterpreting pooled significance, publication bias, and hiding heterogeneity.Combinar estudios incompatibles, ignorar superposición, sobreinterpretar significancia, sesgo de publicación y ocultar heterogeneidad.
Average inference or prediction across multiple plausible models using posterior model probabilities.Promediar inferencia o predicción entre múltiples modelos plausibles utilizando probabilidades posteriores de modelo.
Evidence producedEvidencia producida
Integrated predictions or parameter summaries that include model uncertainty.Predicciones o resúmenes de parámetros que incluyen incertidumbre de modelo.
Best configurationMejor configuración
Several scientifically plausible models with meaningful prior and posterior model weights.Varios modelos científicamente plausibles con pesos previos y posteriores significativos.
StrengthsFortalezas
Carries model uncertainty into predictions and avoids relying on a single selected model.Propaga incertidumbre de modelo y evita depender de un único modelo seleccionado.
WeaknessesDebilidades
Sensitive to model space, priors, marginal likelihood, and computational complexity.Sensible al espacio de modelos, priors, verosimilitud marginal y complejidad computacional.
AssumptionsSupuestos
Candidate model set is scientifically meaningful, priors are defensible, and posterior model probabilities are estimable.El conjunto de modelos es científicamente significativo, los priors son defendibles y las probabilidades posteriores son estimables.
Critical parametersParámetros críticos
Model space, model priors, parameter priors, marginal-likelihood method, averaging rule.
Poor candidate model set, prior domination, unstable model probabilities, double-counted models, and false confidence from averaging bad models.Conjunto pobre de modelos, dominancia del prior, probabilidades inestables, modelos duplicados y falsa confianza al promediar modelos malos.
Heterogeneous evidence integrationIntegración de evidencia heterogénea
Narrative subjectivitySubjetividad narrativa
★★★☆☆
1E
Meta-analysis
Pooling comparable study effectsCombinación de efectos comparables
Heterogeneity and publication biasHeterogeneidad y sesgo de publicación
★★★★☆
1F
Bayesian Model Averaging
Inference under model uncertaintyInferencia bajo incertidumbre de modelos
Model-space and prior sensitivitySensibilidad al espacio de modelos y priors
★★★★☆
Ranks 1A–1F identify the preferred method inside different integration problems. They do not define a universal integration hierarchy.Las posiciones 1A–1F identifican el método preferido dentro de problemas de integración distintos. No definen una jerarquía universal.
12. Validation metrics and acceptance interpretation
12. Métricas de validación e interpretación de aceptación
Validation dimensionDimensión de validación
Required evidenceEvidencia requerida
Source validityValidez de las fuentes
Every contributing evidence object has passed its own validation gate.Cada objeto contribuyente ha superado su propia puerta de validación.
CompatibilityCompatibilidad
Targets, estimands, populations, units, designs, and time horizons are comparable or explicitly transformed.Objetivos, estimandos, poblaciones, unidades, diseños y horizontes son comparables o transformados explícitamente.
Weight stabilityEstabilidad de pesos
Conclusions remain defensible across plausible weighting, prior, or model-combination choices.Conclusiones defendibles entre elecciones plausibles de pesos, priors o combinación.
HeterogeneityHeterogeneidad
Variation among sources is measured, explained, or preserved rather than hidden.La variación entre fuentes se mide, explica o preserva, no se oculta.
Dependence and duplicationDependencia y duplicación
Overlapping data, shared populations, correlated models, and repeated evidence are controlled.Datos superpuestos, poblaciones compartidas, modelos correlacionados y evidencia repetida se controlan.
Uncertainty propagationPropagación de incertidumbre
Integrated uncertainty includes source uncertainty and weighting or model uncertainty.La incertidumbre integrada incluye incertidumbre de fuentes y de pesos o modelos.
Decision usefulnessUtilidad decisional
The integrated result improves clarity, prediction, ranking, or decision quality without overstating certainty.El resultado mejora claridad, predicción, ranking o decisión sin exagerar certeza.
No universal “excellent integration” score: quality depends on source validity, compatibility, weighting, heterogeneity, dependence, uncertainty, and decision use.No existe puntuación universal de “integración excelente”: la calidad depende de validez, compatibilidad, ponderación, heterogeneidad, dependencia, incertidumbre y uso.
13. Method selection protocol for evidence integration
13. Protocolo de selección para integración de evidencia
Read the ESS integration requirement, target conclusion, decision use, and eligible evidence objects.
Leer requisito de integración, conclusión objetivo, uso decisional y objetos elegibles del ESS.
Confirm that every source evidence object passed its own validation gate.
Confirmar que cada objeto fuente superó su puerta de validación.
Assess compatibility of estimands, outcomes, populations, scales, models, designs, and time horizons.
Evaluar compatibilidad de estimandos, resultados, poblaciones, escalas, modelos, diseños y horizontes.
Classify the need as updating, predictive aggregation, multi-criteria integration, heterogeneous synthesis, quantitative pooling, or model averaging.
Clasificar la necesidad como actualización, agregación predictiva, integración multicriterio, síntesis heterogénea, combinación cuantitativa o promedio de modelos.
Define weighting, dependence, duplication, heterogeneity, and uncertainty rules before integration.
Definir reglas de ponderación, dependencia, duplicación, heterogeneidad e incertidumbre antes de integrar.
Generate eligible integration methods and reject forced pooling of incompatible evidence.
Generar métodos elegibles y rechazar combinación forzada de evidencia incompatible.
Compare robustness, interpretability, traceability, computation, and decision usefulness.
Comparar robustez, interpretabilidad, trazabilidad, cómputo y utilidad decisional.
Record primary method, weights, source objects, heterogeneity, sensitivity, and final integration limits in the MSS.
Registrar método principal, pesos, objetos fuente, heterogeneidad, sensibilidad y límites finales en el MSS.
14. Chapter workshop
14. Taller del capítulo
Case A: update a prior probability after receiving new validated dataCaso A: actualizar una probabilidad previa después de recibir nuevos datos validados
Primary candidate: Bayesian Updating, with prior sensitivity, valid likelihood, and posterior predictive checks.Candidato principal: Actualización Bayesiana, con sensibilidad al prior, verosimilitud válida y chequeos predictivos posteriores.
Case B: several validated models have complementary errorsCaso B: varios modelos validados tienen errores complementarios
Primary candidate: Ensemble Methods, using leakage-safe out-of-fold combination and comparison against the best individual model.Candidato principal: Métodos de Ensamble, con combinación out-of-fold sin fuga y comparación contra el mejor modelo individual.
Case C: multiple comparable studies estimate the same effectCaso C: múltiples estudios comparables estiman el mismo efecto
Primary candidate: Meta-analysis, conditional on estimand compatibility, heterogeneity assessment, and publication-bias review.Candidato principal: Meta-análisis, condicionado a compatibilidad del estimando, heterogeneidad y revisión de sesgo de publicación.
Case D: a decision must balance benefit, risk, cost, feasibility, and stakeholder preferenceCaso D: una decisión debe balancear beneficio, riesgo, costo, factibilidad y preferencia
Primary candidate: MCDA, with explicit governance, weight sensitivity, and rank-reversal analysis.Candidato principal: MCDA, con gobernanza explícita, sensibilidad de pesos y análisis de reversión de ranking.
Evidence-integration selection begins only after source evidence is validated. Bayesian Updating revises beliefs with new evidence. Ensemble Methods aggregate validated predictors. MCDA integrates objectives and tradeoffs. Evidence Synthesis combines heterogeneous sources into a structured conclusion. Meta-analysis pools comparable quantitative effects. Bayesian Model Averaging carries model uncertainty into prediction or inference. None is universally best. The correct method is the one whose source compatibility, weighting, heterogeneity, uncertainty, traceability, and decision purpose match the ESS.
La selección de integración comienza solamente después de validar las fuentes. Actualización Bayesiana revisa creencias con nueva evidencia. Ensambles agregan predictores validados. MCDA integra objetivos y compensaciones. Síntesis de Evidencia combina fuentes heterogéneas en una conclusión estructurada. Meta-análisis combina efectos cuantitativos comparables. BMA propaga incertidumbre de modelos hacia predicción o inferencia. Ninguno es universalmente superior. El método correcto es aquel cuya compatibilidad, ponderación, heterogeneidad, incertidumbre, trazabilidad y propósito corresponden con el ESS.
Module III output: a complete Method Selection Summary (MSS) that specifies which methods should produce every required evidence object and why.Salida del Módulo III: un Method Selection Summary (MSS) completo que especifica qué métodos deben producir cada objeto evidencial requerido y por qué.
Next: Module IV — Method Implementation and Execution →Siguiente: Módulo IV — Implementación y Ejecución de Métodos →