Python Training Topic 6 — Match Excel Against SQL

⚠️ Advertencia crítica antes de correr cualquier script

No ejecutes scripts de Python contra archivos oficiales, bases de datos reales, carpetas institucionales, SQL Server, Access, APIs internas o datasets sensibles sin autorización formal.

Python puede transformar miles o millones de filas en segundos. Un cambio mal probado puede sobrescribir archivos, alterar columnas críticas, crear resultados incorrectos, exponer datos sensibles o afectar procesos de BI, auditoría o producción.

Regla obligatoria del training: primero se trabaja con data sintética, luego con una copia controlada, después se valida el resultado, y solo entonces se considera usar datos reales siguiendo permisos, backup, change control, data governance y protocolos de ciberseguridad.

Permisos: usa solamente archivos y fuentes donde tengas autorización explícita.
Backups: nunca sobrescribas data original sin una copia recuperable.
Data governance: respeta privacidad, controles de acceso y clasificación de datos.
Producción: nunca conectes scripts a fuentes reales sin revisión, aprobación y plan de reversa.

⚠️ Critical warning before running any script

Do not run Python scripts against official files, real databases, institutional folders, SQL Server, Access, internal APIs, or sensitive datasets without formal authorization.

Python can transform thousands or millions of rows in seconds. A poorly tested change can overwrite files, alter critical columns, create incorrect outputs, expose sensitive data, or affect BI, audit, or production processes.

Mandatory training rule: start with synthetic data, then use a controlled copy, validate the result, and only then consider real data while following permissions, backups, change control, data governance, and cybersecurity protocols.

Permissions: use only files and sources where you have explicit authorization.
Backups: never overwrite original data without a recoverable copy.
Data governance: respect privacy, access controls, and data classification.
Production: never connect scripts to real sources without review, approval, and rollback planning.

Objetivo del Topic 6

Compara una lista externa en Excel contra una tabla oficial en SQL para encontrar diferencias.

01 · Crear data

02 · Ejecutar limpieza

03 · Verificar resultado

Idea central: Cruzar listas externas contra fuentes oficiales detecta diferencias antes de cargar datos.

Topic 6 Objective

Compare an external Excel list against an official SQL table to find differences.

01 · Create data

02 · Run cleanup

03 · Verify result

Core idea: Matching external lists against official sources detects differences before uploading data.

Ruta de trabajo

Todo se ejecuta dentro de una carpeta controlada:

Working folder

Everything runs inside a controlled folder:

base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 6"

Qué vamos a aprender

Crear data sintética controlada.
Leer y transformar datos con pandas.
Aplicar una regla de limpieza o validación.
Exportar resultados para revisión.
Verificar el resultado antes de usar datos reales.

What you will learn

Create controlled synthetic data.
Read and transform data with pandas.
Apply a cleaning or validation rule.
Export results for review.
Verify the result before using real data.

Script 1 — Crear data sintética

Este script prepara datos de práctica para ejecutar el ejercicio sin tocar información real.

Script 1 — Create synthetic data

This script prepares practice data to run the exercise without touching real information.

# Python Topic 6 - Script 1
from pathlib import Path
import pandas as pd
import sqlite3

base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 6"
data_path = base_path / "Data"
data_path.mkdir(parents=True, exist_ok=True)

excel_file = data_path / "local_list.xlsx"
db_path = data_path / "training_hr.db"

local = pd.DataFrame({"Employee_ID": ["10001", "10002", "99999"], "Source": ["Excel", "Excel", "Excel"]})
sql_master = pd.DataFrame({"Employee_ID": ["10001", "10002", "10003"], "Status": ["Active", "Active", "Active"]})

local.to_excel(excel_file, index=False)
with sqlite3.connect(db_path) as conn:
    sql_master.to_sql("EmployeeMaster", conn, if_exists="replace", index=False)

print("Excel and synthetic DB created.")

Script 2 — Ejecutar la acción principal

Este script aplica la lógica central del topic y genera el resultado principal.

Script 2 — Run the main action

This script applies the core topic logic and generates the main result.

# Python Topic 6 - Script 2
from pathlib import Path
import pandas as pd
import sqlite3

base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 6"
data_path = base_path / "Data"

excel = pd.read_excel(data_path / "local_list.xlsx")

with sqlite3.connect(data_path / "training_hr.db") as conn:
    sql = pd.read_sql("SELECT Employee_ID FROM EmployeeMaster", conn)

review = excel.merge(sql, on="Employee_ID", how="left", indicator=True)
not_in_sql = review[review["_merge"] == "left_only"]

review.to_excel(data_path / "excel_vs_sql_review.xlsx", index=False)
not_in_sql.to_excel(data_path / "not_in_sql_report.xlsx", index=False)

print("Review created.")
print(not_in_sql)

Nota: este patrón debe probarse siempre con data sintética o copias controladas antes de adaptarlo a fuentes reales.

Note: this pattern should always be tested with synthetic data or controlled copies before adapting it to real sources.

Script 3 — Verificar o reportar resultados

Este script confirma el resultado final o genera evidencia para revisión.

Script 3 — Verify or report results

This script confirms the final result or generates evidence for review.

# Python Topic 6 - Script 3
from pathlib import Path
import pandas as pd

base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 6"
data_path = base_path / "Data"

review = pd.read_excel(data_path / "excel_vs_sql_review.xlsx")
print(review.groupby("_merge").size().reset_index(name="record_count"))
print(review)

Explicación simple del script

Path crea rutas portables en Windows.
pandas lee, transforma y exporta la tabla.
El Script 1 crea data sintética para practicar sin riesgo.
El Script 2 aplica la lógica principal del topic.
El Script 3 valida el resultado y deja evidencia.

Simple script explanation

Path creates portable Windows paths.
pandas reads, transforms, and exports the table.
Script 1 creates synthetic data for safe practice.
Script 2 applies the main topic logic.
Script 3 validates the result and leaves evidence.

Ejemplo esperado

Caso	Resultado
10001	found in SQL
10002	found in SQL
99999	not in SQL

Expected example

Case	Result
10001	found in SQL
10002	found in SQL
99999	not in SQL

Conclusión

Cruzar listas externas contra fuentes oficiales detecta diferencias antes de cargar datos.

Lección clave: Python aporta valor cuando convierte pasos repetitivos en procesos claros, auditables y reutilizables.

Conclusion

Matching external lists against official sources detects differences before uploading data.

Key lesson: Python adds value when it turns repetitive steps into clear, auditable, reusable processes.