Python Training Topic 20 — Create A Repeatable Cleaning Pipeline

⚠️ Advertencia crítica antes de correr cualquier script

No ejecutes scripts de Python contra archivos oficiales, bases de datos reales, carpetas institucionales, SQL Server, Access, APIs internas o datasets sensibles sin autorización formal.

Python puede transformar miles o millones de filas en segundos. Un cambio mal probado puede sobrescribir archivos, alterar columnas críticas, crear resultados incorrectos, exponer datos sensibles o afectar procesos de BI, auditoría o producción.

Regla obligatoria del training: primero se trabaja con data sintética, luego con una copia controlada, después se valida el resultado, y solo entonces se considera usar datos reales siguiendo permisos, backup, change control, data governance y protocolos de ciberseguridad.

Permisos: usa solamente archivos y fuentes donde tengas autorización explícita.
Backups: nunca sobrescribas data original sin una copia recuperable.
Data governance: respeta privacidad, controles de acceso y clasificación de datos.
Producción: nunca conectes scripts a fuentes reales sin revisión, aprobación y plan de reversa.

⚠️ Critical warning before running any script

Do not run Python scripts against official files, real databases, institutional folders, SQL Server, Access, internal APIs, or sensitive datasets without formal authorization.

Python can transform thousands or millions of rows in seconds. A poorly tested change can overwrite files, alter critical columns, create incorrect outputs, expose sensitive data, or affect BI, audit, or production processes.

Mandatory training rule: start with synthetic data, then use a controlled copy, validate the result, and only then consider real data while following permissions, backups, change control, data governance, and cybersecurity protocols.

Permissions: use only files and sources where you have explicit authorization.
Backups: never overwrite original data without a recoverable copy.
Data governance: respect privacy, access controls, and data classification.
Production: never connect scripts to real sources without review, approval, and rollback planning.

Objetivo del Topic 20

Convierte pasos repetitivos en una función reutilizable semanal o mensual.

01 · Crear data

02 · Ejecutar limpieza

03 · Verificar resultado

Idea central: Un pipeline repetible convierte limpieza manual en proceso confiable.

Topic 20 Objective

Turn repetitive steps into a reusable weekly or monthly function.

01 · Create data

02 · Run cleanup

03 · Verify result

Core idea: A repeatable pipeline turns manual cleanup into a reliable process.

Ruta de trabajo

Todo se ejecuta dentro de una carpeta controlada:

Working folder

Everything runs inside a controlled folder:

base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 20"

Qué vamos a aprender

Crear data sintética controlada.
Leer y transformar datos con pandas.
Aplicar una regla de limpieza o validación.
Exportar resultados para revisión.
Verificar el resultado antes de usar datos reales.

What you will learn

Create controlled synthetic data.
Read and transform data with pandas.
Apply a cleaning or validation rule.
Export results for review.
Verify the result before using real data.

Script 1 — Crear data sintética

Este script prepara datos de práctica para ejecutar el ejercicio sin tocar información real.

Script 1 — Create synthetic data

This script prepares practice data to run the exercise without touching real information.

# Python Topic 20 - Script 1
from pathlib import Path
import pandas as pd
base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 20"
data_path = base_path / "Data"; data_path.mkdir(parents=True, exist_ok=True)
df = pd.DataFrame({" Employee ID ":["10001",None,"10003"],"Email":[" JOHN@MIEMPRESA.COM ","bademail","carlos@miempresa.com"],"Hire Date":["2024-01-10","bad date","2024/03/05"]})
df.to_excel(data_path / "employees_pipeline_input.xlsx", index=False)
print(df)

Script 2 — Ejecutar la acción principal

Este script aplica la lógica central del topic y genera el resultado principal.

Script 2 — Run the main action

This script applies the core topic logic and generates the main result.

# Python Topic 20 - Script 2
from pathlib import Path
import pandas as pd

def clean_employee_data(path):
    df = pd.read_excel(path)
    df.columns = df.columns.str.strip().str.lower().str.replace(" ", "_", regex=False)
    df["email"] = df["email"].astype(str).str.lower().str.strip()
    df["hire_date"] = pd.to_datetime(df["hire_date"], errors="coerce")
    df["email_valid"] = df["email"].str.match(r"^[A-Za-z0-9._%+-]+@miempresa\.com$", na=False)
    df["needs_review"] = df[["employee_id", "email", "hire_date"]].isna().any(axis=1) | (~df["email_valid"])
    return df

base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 20"
data_path = base_path / "Data"
input_file = data_path / "employees_pipeline_input.xlsx"
output_file = data_path / "employees_pipeline_clean.xlsx"

clean = clean_employee_data(input_file)
clean.to_excel(output_file, index=False)

print("Pipeline output created:", output_file)
print(clean)

Nota: este patrón debe probarse siempre con data sintética o copias controladas antes de adaptarlo a fuentes reales.

Note: this pattern should always be tested with synthetic data or controlled copies before adapting it to real sources.

Script 3 — Verificar o reportar resultados

Este script confirma el resultado final o genera evidencia para revisión.

Script 3 — Verify or report results

This script confirms the final result or generates evidence for review.

# Python Topic 20 - Script 3
from pathlib import Path
import pandas as pd
base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 20"
clean = pd.read_excel(base_path / "Data" / "employees_pipeline_clean.xlsx")
print(clean)
print("Needs review:", clean["needs_review"].sum())

Explicación simple del script

Path crea rutas portables en Windows.
pandas lee, transforma y exporta la tabla.
El Script 1 crea data sintética para practicar sin riesgo.
El Script 2 aplica la lógica principal del topic.
El Script 3 valida el resultado y deja evidencia.

Simple script explanation

Path creates portable Windows paths.
pandas reads, transforms, and exports the table.
Script 1 creates synthetic data for safe practice.
Script 2 applies the main topic logic.
Script 3 validates the result and leaves evidence.

Ejemplo esperado

Caso	Resultado
columns normalized	Expected result
emails cleaned	Expected result
dates parsed	Expected result
review flag created	Expected result

Expected example

Case	Result
columns normalized	Expected result
emails cleaned	Expected result
dates parsed	Expected result
review flag created	Expected result

Conclusión

Un pipeline repetible convierte limpieza manual en proceso confiable.

Lección clave: Python aporta valor cuando convierte pasos repetitivos en procesos claros, auditables y reutilizables.

Conclusion

A repeatable pipeline turns manual cleanup into a reliable process.

Key lesson: Python adds value when it turns repetitive steps into clear, auditable, reusable processes.