Module I · Chapter 8Módulo I · Capítulo 8

Limitations of Visual Analysis

Limitaciones del Análisis Visual

Visual analysis is essential for discovery, but the eye can miss real relationships and invent convincing patterns that are not supported by evidence.

El análisis visual es esencial para descubrir, pero el ojo puede ignorar relaciones reales e inventar patrones convincentes que no están respaldados por evidencia.

Central principlePrincipio central A chart is evidence to inspect, not a conclusion to obey. Un gráfico es evidencia para inspeccionar, no una conclusión que obedecer.
Module progress · Chapter 8 of 9 Progreso del módulo · Capítulo 8 de 9

Chapter-specific learning objectives

Objetivos específicos del capítulo

Recognize visual deceptionReconocer engaños visualesIdentify when a pattern may be created by scale, aggregation, selection, or chart construction.Identificar cuándo un patrón puede ser creado por escala, agregación, selección o construcción gráfica.
Detect hidden structureDetectar estructura ocultaUnderstand why real relationships may remain invisible in a simple chart.Comprender por qué relaciones reales pueden permanecer invisibles en un gráfico simple.
Challenge apparent evidenceDesafiar evidencia aparenteTest whether a visual conclusion survives segmentation, alternative scales, timing adjustments, and contextual review.Probar si una conclusión visual sobrevive segmentación, escalas alternativas, ajustes temporales y revisión contextual.
Use visual analysis responsiblyUsar responsablemente el análisis visualTreat visualization as a discovery and diagnostic tool rather than final proof.Tratar la visualización como herramienta de descubrimiento y diagnóstico, no como prueba final.

1. Why the eyes can mislead us

1. Por qué los ojos pueden engañarnos

The human visual system rapidly detects alignment, clusters, curves, gaps, and repetition. That ability is powerful, but it also favors attractive stories, overlooks hidden dimensions, and reacts strongly to design choices.

El sistema visual humano detecta rápidamente alineación, agrupaciones, curvas, espacios y repetición. Esa capacidad es poderosa, pero también favorece historias atractivas, ignora dimensiones ocultas y reacciona intensamente a decisiones de diseño.

Am I observing the phenomenon—or the way the chart was constructed?¿Estoy observando el fenómeno o la manera en que fue construido el gráfico?

2. Spurious correlations

2. Correlaciones espurias

Two variables can move together even when neither influences the other. Shared trends, common seasonality, coincidence, or a third variable can create a visually persuasive pattern.

Dos variables pueden moverse juntas aunque ninguna influya en la otra. Tendencias compartidas, estacionalidad común, coincidencia o una tercera variable pueden crear un patrón visualmente persuasivo.

Shared trendTendencia compartidaBoth variables increase over time for independent reasons.Ambas variables aumentan con el tiempo por razones independientes.
Shared seasonalityEstacionalidad compartidaBoth peak during summer, holidays, or weekends.Ambas alcanzan picos durante verano, feriados o fines de semana.
Chance alignmentAlineación por azarA temporary overlap looks meaningful in a limited window.Una coincidencia temporal parece significativa dentro de una ventana limitada.
Third-variable influenceInfluencia de una tercera variableA hidden condition affects both variables.Una condición oculta afecta ambas variables.
A visually strong pattern can still be scientifically weak.Un patrón visualmente fuerte puede ser científicamente débil.

3. Hidden relationships

3. Relaciones ocultas

The absence of an obvious visual pattern does not prove independence. Relationships may be hidden by nonlinear form, overlapping groups, opposing subgroup effects, noise, inappropriate scale, or temporal misalignment.

La ausencia de un patrón visual evidente no demuestra independencia. Las relaciones pueden quedar ocultas por forma no lineal, grupos superpuestos, efectos opuestos entre subgrupos, ruido, escala inadecuada o desalineación temporal.

Nonlinear structureEstructura no linealA U-shaped or threshold pattern can look uncorrelated when viewed as a straight-line question.Un patrón en U o de umbral puede parecer no relacionado cuando se observa como una pregunta lineal.
Opposing segmentsSegmentos opuestosPositive and negative subgroup patterns cancel in the aggregate.Patrones positivos y negativos de subgrupos se cancelan al agregarse.
Temporal displacementDesplazamiento temporalA real delayed response disappears in same-period comparison.Una respuesta real retrasada desaparece al comparar el mismo periodo.
OverplottingSuperposición excesivaDense points hide concentration and local structure.La densidad de puntos oculta concentración y estructura local.

4. Confounding variables

4. Variables de confusión

A confounding variable influences both the candidate variable and the outcome, making their direct visual relationship misleading.

Una variable de confusión influye tanto en la variable candidata como en el resultado, haciendo engañosa su relación visual directa.

Heat and sun exposure
Calor y exposición solar
↙     ↘
Ice cream sales     Sunburn cases
Ventas de helado     Casos de quemaduras solares

The chart may show that ice cream sales and sunburn cases rise together. The hidden environmental condition explains why both move.

El gráfico puede mostrar que las ventas de helado y las quemaduras solares aumentan juntas. La condición ambiental oculta explica por qué ambas se mueven.

5. Simpson's paradox

5. La paradoja de Simpson

An aggregated pattern can weaken, disappear, or reverse when the observations are separated into meaningful groups.

Un patrón agregado puede debilitarse, desaparecer o invertirse cuando las observaciones se separan en grupos significativos.

ViewVistaVisual conclusionConclusión visualInterpretive riskRiesgo interpretativo
All groups combinedTodos los grupos combinadosA appears better than B.A parece mejor que B.Different group sizes or difficulty levels may drive the aggregate.Tamaños de grupo o niveles de dificultad diferentes pueden producir el resultado agregado.
Within each relevant groupDentro de cada grupo relevanteB performs better than A.B funciona mejor que A.The overall relationship reverses after segmentation.La relación total se invierte después de segmentar.
Lesson: always inspect meaningful subgroups before accepting an aggregate visual conclusion.Lección: siempre inspeccione subgrupos significativos antes de aceptar una conclusión visual agregada.

6. Patterns that appear to exist but do not

6. Patrones que parecen existir y no existen

Visual patterns can be manufactured unintentionally through axis choices, selective time windows, binning, smoothing, dual axes, or removal of inconvenient observations.

Los patrones visuales pueden fabricarse involuntariamente mediante selección de ejes, ventanas temporales selectivas, agrupación en intervalos, suavizado, doble eje o eliminación de observaciones inconvenientes.

Truncated axisEje truncadoSmall differences look dramatic.Diferencias pequeñas parecen dramáticas.
Selective windowVentana selectivaA convenient period creates a temporary story.Un periodo conveniente crea una historia temporal.
Dual axisDoble ejeIndependent scales can force unrelated lines to align.Escalas independientes pueden forzar la alineación de líneas no relacionadas.
Excessive smoothingSuavizado excesivoNoise disappears, but so can important variation.El ruido desaparece, pero también puede desaparecer variación importante.

7. Relationships that are not visible

7. Relaciones que no son visibles

Some forms of dependence cannot be reliably recognized from a single chart. Categorical dependence, high-dimensional interaction, subtle distribution changes, and conditional relationships may require representations beyond a basic scatter plot.

Algunas formas de dependencia no pueden reconocerse de manera confiable en un solo gráfico. La dependencia categórica, la interacción de alta dimensión, cambios sutiles de distribución y relaciones condicionales pueden requerir representaciones más allá de un diagrama de dispersión básico.

Hidden structureEstructura ocultaWhy a simple chart may failPor qué puede fallar un gráfico simple
Categorical dependenceDependencia categóricaCategories do not form a continuous geometric pattern.Las categorías no forman un patrón geométrico continuo.
Multivariate interactionInteracción multivariadaThe pattern appears only when several conditions occur together.El patrón aparece solamente cuando varias condiciones ocurren juntas.
Distributional changeCambio distributivoMeans may remain equal while spread, tails, or shape change.Los promedios pueden permanecer iguales mientras cambian dispersión, colas o forma.
Conditional dependenceDependencia condicionalThe relationship exists only within a segment or context.La relación existe solamente dentro de un segmento o contexto.

8. Aggregation can hide and create patterns

8. La agregación puede ocultar y crear patrones

Aggregation reduces complexity, but it can also combine incompatible observations and replace local behavior with a misleading average.

La agregación reduce complejidad, pero también puede combinar observaciones incompatibles y reemplazar comportamiento local con un promedio engañoso.

Hourly → dailyHorario → diarioA short crisis window disappears.Una ventana crítica breve desaparece.
District → citywideDistrito → ciudad completaA concentrated spatial pattern is diluted.Un patrón espacial concentrado se diluye.
Product → categoryProducto → categoríaOpposite product responses are averaged together.Respuestas opuestas de productos se promedian juntas.
Case status → overallEstado del caso → totalOpen and closed cases create incompatible time measures.Casos abiertos y cerrados crean medidas de tiempo incompatibles.

9. Scale changes the visual story

9. La escala cambia la historia visual

The same data may look linear, curved, compressed, or highly dispersed depending on axis range and transformation.

Los mismos datos pueden verse lineales, curvos, comprimidos o muy dispersos según el rango y transformación de los ejes.

Linear scaleEscala linealPreserves absolute distance between values.Conserva la distancia absoluta entre valores.
Logarithmic scaleEscala logarítmicaCompresses large values and emphasizes proportional change.Comprime valores grandes y resalta cambio proporcional.
Restricted rangeRango restringidoCan make a weak relationship appear stronger or eliminate important extremes.Puede hacer que una relación débil parezca más fuerte o eliminar extremos importantes.
Categorized valuesValores categorizadosBinning may simplify interpretation but destroy detail.Agrupar en intervalos puede simplificar la interpretación pero destruir detalle.

10. Time windows can create different truths

10. Las ventanas temporales pueden crear verdades diferentes

A relationship may appear positive in one period, negative in another, and absent across the entire history.

Una relación puede parecer positiva en un periodo, negativa en otro y ausente en toda la historia.

Example: economic variable and sales

Ejemplo: variable económica y ventas

A recession window, recovery window, and product-launch window may show different visual relationships. The chart does not automatically tell us which regime should define the conclusion.

Una ventana de recesión, recuperación y lanzamiento de producto puede mostrar relaciones visuales diferentes. El gráfico no indica automáticamente qué régimen debe definir la conclusión.

11. Outliers can reveal or distort

11. Los valores atípicos pueden revelar o distorsionar

An unusual observation may be an error, a rare event, a new regime, or the only visible evidence of an important mechanism.

Una observación inusual puede ser un error, un evento raro, un nuevo régimen o la única evidencia visible de un mecanismo importante.

Never remove an outlier only because it weakens the visual story. First determine what produced it.Nunca elimine un valor atípico solamente porque debilita la historia visual. Primero determine qué lo produjo.

12. Visual confirmation bias

12. Sesgo de confirmación visual

Once we expect a relationship, we may select the chart, scale, segment, or period that makes it visible and ignore views that contradict it.

Cuando esperamos una relación, podemos seleccionar el gráfico, escala, segmento o periodo que la hace visible e ignorar vistas que la contradicen.

  • Inspect at least one representation that could contradict the preferred conclusion.
  • Inspeccione al menos una representación que pueda contradecir la conclusión preferida.
  • Compare aggregate and segmented views.
  • Compare vistas agregadas y segmentadas.
  • Inspect multiple time windows.
  • Inspeccione múltiples ventanas temporales.
  • Document why the selected scale and filters are appropriate.
  • Documente por qué la escala y filtros seleccionados son apropiados.

13. Visual limitation workshop

13. Taller de limitaciones visuales

Case A: two rising time series look strongly relatedCaso A: dos series temporales ascendentes parecen fuertemente relacionadas

What should be challenged first?

¿Qué debe desafiarse primero?

Shared trend, seasonality, and whether the relationship survives after separating those structures.La tendencia compartida, la estacionalidad y si la relación sobrevive después de separar esas estructuras.
Case B: no visible same-day patternCaso B: no existe patrón visible el mismo día

Can independence be concluded?

¿Puede concluirse independencia?

No. Delays, nonlinear form, subgroups, and hidden interactions may conceal dependence.No. Retrasos, forma no lineal, subgrupos e interacciones ocultas pueden esconder dependencia.
Case C: overall trend is positive, but every segment is negativeCaso C: la tendencia total es positiva, pero cada segmento es negativo

Which limitation is present?

¿Qué limitación está presente?

Aggregation bias and a Simpson's paradox structure.Sesgo de agregación y una estructura de paradoja de Simpson.
Case D: the relationship becomes dramatic after truncating the axisCaso D: la relación se vuelve dramática después de truncar el eje

What changed?

¿Qué cambió?

The visual emphasis changed, not necessarily the underlying evidence.Cambió el énfasis visual, no necesariamente la evidencia subyacente.

14. Visual analysis reliability protocol

14. Protocolo de confiabilidad del análisis visual

  1. Inspect raw observations: do not begin only with aggregates.
  2. Inspeccionar observaciones brutas: no comenzar solamente con agregados.
  3. Use more than one representation: compare charts that reveal different properties.
  4. Usar más de una representación: comparar gráficos que revelen propiedades diferentes.
  5. Segment by meaningful context: population, place, product, period, and status.
  6. Segmentar por contexto significativo: población, lugar, producto, periodo y estado.
  7. Test alternative scales and windows.
  8. Probar escalas y ventanas alternativas.
  9. Check temporal alignment and delays.
  10. Revisar alineación temporal y retrasos.
  11. Investigate outliers rather than automatically deleting them.
  12. Investigar valores atípicos en lugar de eliminarlos automáticamente.
  13. Ask what hidden variable could create the same pattern.
  14. Preguntar qué variable oculta podría crear el mismo patrón.
  15. State the visual conclusion as provisional.
  16. Declarar la conclusión visual como provisional.

Chapter closing

Cierre del capítulo

Visual analysis is indispensable, but it is not self-validating. The eye can detect useful structure, miss hidden dependence, and accept patterns created by aggregation, scale, timing, or design. The correct scientific response is neither to reject visualization nor to trust it blindly, but to challenge every visual conclusion.

El análisis visual es indispensable, pero no se valida a sí mismo. El ojo puede detectar estructura útil, ignorar dependencia oculta y aceptar patrones creados por agregación, escala, temporalidad o diseño. La respuesta científica correcta no es rechazar la visualización ni confiar ciegamente en ella, sino desafiar cada conclusión visual.

Applied reflection

Reflexión aplicada

Short publication text

Texto breve para publicar

Visual analysis is essential, but the eye can be deceived. Spurious correlations, hidden relationships, confounding variables, Simpson's paradox, aggregation, scale, timing, and chart design can create or conceal patterns. A chart should begin an investigation—not end it.
El análisis visual es esencial, pero el ojo puede ser engañado. Correlaciones espurias, relaciones ocultas, variables de confusión, paradoja de Simpson, agregación, escala, temporalidad y diseño gráfico pueden crear u ocultar patrones. Un gráfico debe comenzar una investigación, no terminarla.