A black-box framework for understanding how one variable, explanatory group, objective, or complete variable set reduces uncertainty about another variable, objective, or system of objectives.
Un marco de caja negra para comprender cómo una variable, un grupo explicativo, un objetivo o un conjunto completo de variables reduce la incertidumbre sobre otra variable, otro objetivo o un sistema de objetivos.
Central principlePrincipio centralInformation capability asks not only whether dependence exists, but how much uncertainty is reduced, where the information comes from, and whether it is unique, shared, redundant, or synergistic.La capacidad informacional no pregunta solamente si existe dependencia, sino cuánta incertidumbre se reduce, de dónde proviene la información y si es única, compartida, redundante o sinérgica.
Module progress · Chapter 3 of 9Progreso del módulo · Capítulo 3 de 9
Black-box rule of the chapter
Regla de caja negra del capítulo
Assume only abstract variables or groups X¹…Xᵍ and one or more objectives Y₁…Yₘ.Asumir únicamente variables o grupos abstractos X¹…Xᵍ y uno o más objetivos Y₁…Yₘ.
No domain, dataset, method, algorithm, or software is known. The chapter studies information as a capability to reduce uncertainty across pairwise, grouped, conditional, multivariate, and multi-objective architectures.
No se conoce ningún dominio, dataset, método, algoritmo o software. El capítulo estudia la información como capacidad para reducir incertidumbre dentro de arquitecturas por pares, agrupadas, condicionales, multivariadas y multiobjetivo.
Restriction: Mutual Information, Information Gain, entropy-based methods, and related techniques appear only after the information architecture is understood.Restricción: Mutual Information, Information Gain, métodos basados en entropía y técnicas relacionadas aparecen solamente después de comprender la arquitectura informacional.
Chapter-specific learning objectives
Objetivos específicos del capítulo
Define information capabilityDefinir capacidad informacionalUnderstand information as measurable reduction of uncertainty.Comprender información como reducción medible de incertidumbre.
Recognize information architecturesReconocer arquitecturas informacionalesDistinguish variable-to-variable, group-to-objective, objective-to-objective, and set-to-set information.Distinguir información variable–variable, grupo–objetivo, objetivo–objetivo y conjunto–conjunto.
Separate information rolesSeparar roles informacionalesIdentify unique, shared, redundant, complementary, synergistic, and conditional information.Identificar información única, compartida, redundante, complementaria, sinérgica y condicional.
Protect interpretationProteger la interpretaciónSeparate information from causality, usefulness, mechanism, and guaranteed prediction.Separar información de causalidad, utilidad, mecanismo y predicción garantizada.
1. The fundamental information question
1. La pregunta fundamental de información
X
→
Y
How much does knowing X reduce uncertainty about Y?¿Cuánto reduce conocer X la incertidumbre sobre Y?
Dependence asks whether expectations change. Information asks how much uncertainty is removed by that change.
La dependencia pregunta si cambian las expectativas. La información pregunta cuánta incertidumbre se elimina mediante ese cambio.
2. Data, signal, dependence, and information
2. Dato, señal, dependencia e información
ConceptConcepto
MeaningSignificado
DataDato
Recorded values, states, observations, or symbols.Valores, estados, observaciones o símbolos registrados.
SignalSeñal
Structured variation that may carry useful distinction.Variación estructurada que puede transportar una distinción útil.
DependenceDependencia
Knowing one variable changes expectations about another.Conocer una variable cambia las expectativas sobre otra.
InformationInformación
The measurable reduction of uncertainty produced by available knowledge.La reducción medible de incertidumbre producida por el conocimiento disponible.
3. Uncertainty and entropy
3. Incertidumbre y entropía
Uncertainty reflects how difficult it is to anticipate the state of a variable or objective before additional information is known.
La incertidumbre refleja cuán difícil es anticipar el estado de una variable u objetivo antes de conocer información adicional.
Low uncertaintyBaja incertidumbreOne or a few states dominate and outcomes are relatively predictable.Uno o pocos estados dominan y los resultados son relativamente previsibles.
High uncertaintyAlta incertidumbreMany states remain plausible and no outcome strongly dominates.Muchos estados siguen siendo plausibles y ningún resultado domina claramente.
Joint uncertaintyIncertidumbre conjuntaUncertainty about several variables or objectives considered together.Incertidumbre sobre varias variables u objetivos considerados conjuntamente.
Conditional uncertaintyIncertidumbre condicionalUncertainty remaining after another variable, group, or objective is known.Incertidumbre restante después de conocer otra variable, grupo u objetivo.
4. Information architectures
4. Arquitecturas informacionales
4.1 Variable-to-variable information
4.1 Información variable–variable
Xᵢ
→
Yⱼ
How much does Xᵢ reduce uncertainty about Yⱼ?
¿Cuánto reduce Xᵢ la incertidumbre sobre Yⱼ?
4.2 Group-to-objective information
4.2 Información grupo–objetivo
Xᵍ = {X₁…Xₚ}
→
Yⱼ
How much uncertainty does the group remove beyond its individual members?
¿Cuánta incertidumbre elimina el grupo más allá de sus miembros individuales?
4.3 Multi-objective information
4.3 Información multiobjetivo
Xᵍ
→
Y = {Y₁…Yₘ}
How much does Xᵍ reduce uncertainty about the complete objective system?
¿Cuánto reduce Xᵍ la incertidumbre sobre el sistema completo de objetivos?
4.4 Objective-to-objective information
4.4 Información objetivo–objetivo
Y₁
→
Y₂
How much does knowing one objective reduce uncertainty about another?
¿Cuánto reduce conocer un objetivo la incertidumbre sobre otro?
4.5 Set-to-set information
4.5 Información conjunto–conjunto
X = {X₁…Xₚ}
→
Y = {Y₁…Yₘ}
Is information being measured from one variable, one group, one objective, or an entire set toward one or several objectives?¿La información se mide desde una variable, un grupo, un objetivo o un conjunto completo hacia uno o varios objetivos?
5. Information gain
5. Ganancia de información
Information gain is the reduction in uncertainty obtained after observing a variable, group, split, state, or context.
La ganancia de información es la reducción de incertidumbre obtenida después de observar una variable, grupo, división, estado o contexto.
1Initial uncertainty about YIncertidumbre inicial sobre Y
A variable can be associated with Y yet provide little incremental information if the same knowledge is already supplied by other variables.Una variable puede estar asociada con Y y aun así aportar poca información incremental si el mismo conocimiento ya es proporcionado por otras variables.
6. Shared, unique, and redundant information
6. Información compartida, única y redundante
Unique informationInformación únicaKnowledge supplied by X₁ that is not supplied by other variables or groups.Conocimiento aportado por X₁ que no es proporcionado por otras variables o grupos.
Shared informationInformación compartidaKnowledge about Y available from more than one source.Conocimiento sobre Y disponible desde más de una fuente.
Redundant informationInformación redundanteSeveral variables repeat essentially the same predictive content.Varias variables repiten esencialmente el mismo contenido predictivo.
Objective redundancyRedundancia entre objetivosTwo objectives contain overlapping information about the same system state.Dos objetivos contienen información superpuesta sobre el mismo estado del sistema.
7. Complementary and synergistic information
7. Información complementaria y sinérgica
Complementary variables contribute different pieces of knowledge. Synergistic information appears only when variables are considered together.
Las variables complementarias aportan piezas diferentes de conocimiento. La información sinérgica aparece solamente cuando las variables se consideran juntas.
ComplementarityComplementariedadX₁ and X₂ each reduce a different part of uncertainty about Y.X₁ y X₂ reducen partes diferentes de la incertidumbre sobre Y.
SynergySinergiaThe pair {X₁, X₂} reveals information unavailable from either alone.El par {X₁, X₂} revela información no disponible desde ninguna por separado.
Important: weak individual information does not rule out strong group-level information.Importante: información individual débil no descarta información grupal fuerte.
8. Global, local, and normalized information
8. Información global, local y normalizada
Global informationInformación globalOne summary measures information across the complete observed domain.Un resumen mide información sobre todo el dominio observado.
Local informationInformación localInformation is evaluated for particular states, observations, segments, locations, or objective subsets.La información se evalúa para estados, observaciones, segmentos, ubicaciones o subconjuntos de objetivos particulares.
Normalized informationInformación normalizadaInformation is scaled relative to the uncertainty or capacity of the variables so that comparisons become interpretable.La información se escala respecto a la incertidumbre o capacidad de las variables para que las comparaciones sean interpretables.
Symmetric shared informationInformación compartida simétricaThe amount shared between X and Y does not itself assign a source-to-receiver direction.La cantidad compartida entre X y Y no asigna por sí misma una dirección de fuente hacia receptor.
10. Conditional and incremental information
10. Información condicional e incremental
Conditional information asks what X still contributes about Y after another variable, group, context, or objective Z is already known.
La información condicional pregunta qué sigue aportando X sobre Y después de conocer otra variable, grupo, contexto u objetivo Z.
Information from X about Y
Información de X sobre Y
↓
Condition on Z
Condicionar por Z
↓
Unique incremental information remaining
Información incremental única restante
No incremental informationSin información incrementalZ already contains what X would contribute.Z ya contiene lo que X aportaría.
Positive incremental informationInformación incremental positivaX adds new uncertainty reduction beyond Z.X añade nueva reducción de incertidumbre más allá de Z.
Context-specific informationInformación específica del contextoX becomes informative only under certain values of Z.X se vuelve informativa solamente bajo ciertos valores de Z.
Objective-conditioned informationInformación condicionada por objetivoX informs Y₂ only after Y₁ is known.X informa sobre Y₂ solamente después de conocer Y₁.
11. Information hierarchies
11. Jerarquías de información
Information may enter the system in layers. Some variables provide broad orientation, others refine the result, and others contribute only after a prior state is known.
La información puede entrar al sistema por capas. Algunas variables proporcionan orientación general, otras refinan el resultado y otras aportan solamente después de conocer un estado previo.
1Baseline uncertaintyIncertidumbre base
2Global or shared informationInformación global o compartida
3Objective-specific informationInformación específica del objetivo
4Contextual refinementRefinamiento contextual
5Residual or local informationInformación residual o local
12. Information networks in multi-objective systems
12. Redes de información en sistemas multiobjetivo
In multi-objective architectures, information may flow from explanatory groups to objectives, among objectives, and through intermediate variables.
En arquitecturas multiobjetivo, la información puede fluir desde grupos explicativos hacia objetivos, entre objetivos y mediante variables intermedias.
Information pathRuta informacional
QuestionPregunta
Xᴱ → Y₁
What information is exclusive to one objective?¿Qué información es exclusiva de un objetivo?
Xˢ → {Y₁,Y₂}
What information is shared across objectives?¿Qué información se comparte entre objetivos?
Xᴳ → Y-system
What information reduces uncertainty about the objective network as a whole?¿Qué información reduce incertidumbre sobre la red de objetivos completa?
Y₁ → Y₂
Does one objective provide information about another?¿Un objetivo aporta información sobre otro?
X → Xᴵ → Y
Does information pass through an intermediate state?¿La información pasa por un estado intermedio?
12. Directed information and information transfer
12. Información dirigida y transferencia de información
Information transfer introduces direction. It asks whether a source contributes information to a receiver, whether that contribution moves through time, and whether it arrives directly or through intermediate variables.
La transferencia de información introduce dirección. Pregunta si una fuente aporta información a un receptor, si ese aporte se desplaza a través del tiempo y si llega directamente o mediante variables intermedias.
Source X
Fuente X
→
Receiver Y
Receptor Y
Directed informationInformación dirigidaThe architecture distinguishes a source from a receiver.La arquitectura distingue una fuente de un receptor.
Temporal transferTransferencia temporalPast information from X reduces later uncertainty about Y beyond Y's own past.Información pasada de X reduce incertidumbre posterior sobre Y más allá del propio pasado de Y.
Direct transferTransferencia directaThe source contributes to the receiver without an explicitly modeled intermediate path.La fuente contribuye al receptor sin una ruta intermedia modelada explícitamente.
Indirect transferTransferencia indirectaInformation reaches the receiver through one or more intermediate variables or objectives.La información llega al receptor mediante una o más variables u objetivos intermedios.
Network transferTransferencia en redInformation circulates among several X-groups and objectives rather than through one isolated path.La información circula entre varios grupos X y objetivos, no mediante una sola ruta aislada.
Transfer versus causalityTransferencia frente a causalidadDirected information flow does not by itself prove physical, social, or intervention-based causality.El flujo informacional dirigido no demuestra por sí solo causalidad física, social o basada en intervención.
13. Information capability matrix
13. Matriz de capacidades informacionales
CapabilityCapacidad
Abstract questionPregunta abstracta
EntropyEntropía
How uncertain is Y before additional knowledge?¿Qué tan incierto es Y antes de conocimiento adicional?
Information gainGanancia de información
How much uncertainty is removed after observing X?¿Cuánta incertidumbre se elimina después de observar X?
Shared informationInformación compartida
How much knowledge about Y is available from more than one source?¿Cuánto conocimiento sobre Y está disponible desde más de una fuente?
Unique informationInformación única
What does X contribute that no other source provides?¿Qué aporta X que ninguna otra fuente proporciona?
Redundant informationInformación redundante
Which variables repeat the same knowledge?¿Qué variables repiten el mismo conocimiento?
Synergistic informationInformación sinérgica
What knowledge appears only from a combination?¿Qué conocimiento aparece solamente desde una combinación?
Conditional informationInformación condicional
What does X still contribute after Z is known?¿Qué sigue aportando X después de conocer Z?
Not causalityNo causalidadInformation reduction does not prove intervention or mechanism.La reducción de información no demuestra intervención ni mecanismo.
Not usefulnessNo utilidadA measurable information gain may be too small or costly to use.Una ganancia medible puede ser demasiado pequeña o costosa para usar.
Not stable predictionNo predicción estableInformation in one sample may not generalize.La información en una muestra puede no generalizar.
Not direction by defaultNo dirección por defectoMany information measures are symmetric unless specifically directed.Muchas medidas informacionales son simétricas salvo que sean específicamente dirigidas.
Not objective equivalenceNo equivalencia de objetivosInformation about Y₁ cannot be transferred automatically to Y₂.Información sobre Y₁ no puede transferirse automáticamente a Y₂.
Not permanenceNo permanenciaInformation structure may change with context, time, population, or regime.La estructura informacional puede cambiar con contexto, tiempo, población o régimen.
16. Conditions of validity
16. Condiciones de validez
Sample sizeTamaño de muestraInformation estimates can be unstable with insufficient observations.Las estimaciones informacionales pueden ser inestables con observaciones insuficientes.
DiscretizationDiscretizaciónArtificial bins can inflate, hide, or distort information.Bines artificiales pueden inflar, ocultar o distorsionar información.
CardinalityCardinalidadHigh-cardinality variables may appear informative merely by fragmentation.Variables de alta cardinalidad pueden parecer informativas por fragmentación.
Comparable scalesEscalas comparablesRaw information measures may require normalization before comparison.Medidas informacionales brutas pueden requerir normalización antes de compararse.
Group constructionConstrucción de gruposArbitrary groups can manufacture redundancy or synergy.Grupos arbitrarios pueden fabricar redundancia o sinergia.
Objective alignmentAlineación de objetivosY₁…Yₘ must be temporally, semantically, and operationally aligned for joint interpretation.Y₁…Yₘ deben estar alineados temporal, semántica y operativamente para interpretación conjunta.
17. Principal interpretation risks
17. Principales riesgos de interpretación
Noise inflationInflación por ruidoRandom variation is interpreted as meaningful information, especially in small or high-dimensional samples.Variación aleatoria se interpreta como información significativa, especialmente en muestras pequeñas o de alta dimensión.
Bias from finite samplesSesgo por muestras finitasEstimated information is inflated or unstable.La información estimada se infla o se vuelve inestable.
Discretization illusionIlusión por discretizaciónDifferent binning choices produce different conclusions.Distintas elecciones de bines producen conclusiones diferentes.
Redundancy counted twiceRedundancia contada dos vecesRepeated information is mistaken for independent evidence.Información repetida se confunde con evidencia independiente.
Synergy missed by pairwise analysisSinergia ignorada por análisis por paresGroup-level information disappears when variables are examined alone.Información grupal desaparece cuando las variables se examinan solas.
Objective leakageFuga entre objetivosOne objective contains future or derived information about another.Un objetivo contiene información futura o derivada sobre otro.
Information treated as causeInformación tratada como causaStrong uncertainty reduction is interpreted as causal proof.Fuerte reducción de incertidumbre se interpreta como prueba causal.
18. Black-box capability workshop
18. Taller de capacidades de caja negra
Case A: X reduces uncertainty about Y, but only slightlyCaso A: X reduce la incertidumbre sobre Y, pero solo ligeramente
What capability is being described?
¿Qué capacidad se describe?
Low information gain.Baja ganancia de información.
Case B: X₁ and X₂ each provide the same knowledge about YCaso B: X₁ y X₂ proporcionan el mismo conocimiento sobre Y
How is the information classified?
¿Cómo se clasifica la información?
Shared and redundant information.Información compartida y redundante.
Case C: X₁ and X₂ are weak alone but highly informative togetherCaso C: X₁ y X₂ son débiles por separado, pero muy informativos juntos
What structure is plausible?
¿Qué estructura es plausible?
Synergistic information.Información sinérgica.
Case D: X informs Y₂ only after Y₁ is knownCaso D: X informa sobre Y₂ solamente después de conocer Y₁
What capability is required?
¿Qué capacidad se requiere?
Objective-conditioned information.Información condicionada por objetivo.
Case E: one X-group reduces uncertainty across Y₁, Y₂, and Y₃ jointlyCaso E: un grupo X reduce conjuntamente la incertidumbre sobre Y₁, Y₂ y Y₃
How is this classified?
¿Cómo se clasifica?
Multi-objective or set-to-set information.Información multiobjetivo o conjunto–conjunto.
19. Black-box decision map
19. Mapa de decisión de caja negra
Define the information architecture: X variables, X-groups, and objectives Y₁…Yₘ.
Definir la arquitectura informacional: variables X, grupos X y objetivos Y₁…Yₘ.
Identify the uncertainty to be reduced.
Identificar la incertidumbre que debe reducirse.
Determine whether the question is variable-to-variable, group-to-objective, objective-to-objective, or set-to-set.
Determinar si la pregunta es variable–variable, grupo–objetivo, objetivo–objetivo o conjunto–conjunto.
Separate unique, shared, redundant, complementary, and synergistic information.
Separar información única, compartida, redundante, complementaria y sinérgica.
Determine whether conditional or incremental information is required.
Determinar si se requiere información condicional o incremental.
Define whether one objective or the joint objective system is the information target.
Definir si el objetivo informacional es un solo objetivo o el sistema conjunto de objetivos.
Select the required information capability.
Seleccionar la capacidad informacional requerida.
Only then identify representative methods, estimators, and validity conditions.
Solo entonces identificar métodos, estimadores y condiciones de validez.
State what the information result permits and what remains prohibited.
Declarar qué permite el resultado informacional y qué permanece prohibido.
What exact uncertainty must be reduced, by which information source, and for which objective architecture?¿Qué incertidumbre exacta debe reducirse, mediante qué fuente informacional y para qué arquitectura de objetivos?
Chapter closing
Cierre del capítulo
Information capability extends beyond detecting dependence. It measures how uncertainty is reduced, whether the contribution is unique or repeated, whether several variables complement or amplify one another, and whether the information concerns one objective or an entire objective system. Architecture first. Uncertainty second. Capability third. Method fourth. Application last.
La capacidad informacional va más allá de detectar dependencia. Mide cómo se reduce la incertidumbre, si el aporte es único o repetido, si varias variables se complementan o se amplifican entre sí y si la información concierne a un objetivo o a un sistema completo de objetivos. Arquitectura primero. Incertidumbre después. Capacidad tercero. Método cuarto. Aplicación al final.
Applied reflection
Reflexión aplicada
Short publication text
Texto breve para publicar
Information is not merely the presence of dependence. It is the measurable reduction of uncertainty. In multi-variable and multi-objective systems, that information may be unique, shared, redundant, complementary, synergistic, conditional, or distributed across complete variable sets. Define the information architecture before selecting the method.
La información no es solamente la presencia de dependencia. Es la reducción medible de incertidumbre. En sistemas multivariables y multiobjetivo, esa información puede ser única, compartida, redundante, complementaria, sinérgica, condicional o distribuida entre conjuntos completos de variables. Defina la arquitectura informacional antes de seleccionar el método.
Next: Chapter 4 — Methods That Measure Time →Siguiente: Capítulo 4 — Métodos que Miden Tiempo →