⚠️ Advertencia crítica antes de correr cualquier script
No ejecutes scripts de Python contra archivos oficiales, bases de datos reales, carpetas institucionales, SQL Server, Access, APIs internas o datasets sensibles sin autorización formal.
Python puede transformar miles o millones de filas en segundos. Un cambio mal probado puede sobrescribir archivos, alterar columnas críticas, crear resultados incorrectos, exponer datos sensibles o afectar procesos de BI, auditoría o producción.
Regla obligatoria del training: primero se trabaja con data sintética, luego con una copia controlada, después se valida el resultado, y solo entonces se considera usar datos reales siguiendo permisos, backup, change control, data governance y protocolos de ciberseguridad.
- Permisos: usa solamente archivos y fuentes donde tengas autorización explícita.
- Backups: nunca sobrescribas data original sin una copia recuperable.
- Data governance: respeta privacidad, controles de acceso y clasificación de datos.
- Producción: nunca conectes scripts a fuentes reales sin revisión, aprobación y plan de reversa.
⚠️ Critical warning before running any script
Do not run Python scripts against official files, real databases, institutional folders, SQL Server, Access, internal APIs, or sensitive datasets without formal authorization.
Python can transform thousands or millions of rows in seconds. A poorly tested change can overwrite files, alter critical columns, create incorrect outputs, expose sensitive data, or affect BI, audit, or production processes.
Mandatory training rule: start with synthetic data, then use a controlled copy, validate the result, and only then consider real data while following permissions, backups, change control, data governance, and cybersecurity protocols.
- Permissions: use only files and sources where you have explicit authorization.
- Backups: never overwrite original data without a recoverable copy.
- Data governance: respect privacy, access controls, and data classification.
- Production: never connect scripts to real sources without review, approval, and rollback planning.
Objetivo del Topic 11
Estandariza textos antes de clasificarlos o analizarlos en Power BI.
Topic 11 Objective
Standardize text responses before classification or Power BI analysis.
Ruta de trabajo
Todo se ejecuta dentro de una carpeta controlada:
Working folder
Everything runs inside a controlled folder:
base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 11"Qué vamos a aprender
- Crear data sintética controlada.
- Leer y transformar datos con pandas.
- Aplicar una regla de limpieza o validación.
- Exportar resultados para revisión.
- Verificar el resultado antes de usar datos reales.
What you will learn
- Create controlled synthetic data.
- Read and transform data with pandas.
- Apply a cleaning or validation rule.
- Export results for review.
- Verify the result before using real data.
Script 1 — Crear data sintética
Este script prepara datos de práctica para ejecutar el ejercicio sin tocar información real.
Script 1 — Create synthetic data
This script prepares practice data to run the exercise without touching real information.
# Python Topic 11 - Script 1
from pathlib import Path
import pandas as pd
base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 11"
data_path = base_path / "Data"; data_path.mkdir(parents=True, exist_ok=True)
df = pd.DataFrame({"employee_id":["10001","10002","10003","10004"],"answer":[" Need more TRAINING. ","Workday is slow\nand confusing.","nan"," Process approvals take too long. "]})
df.to_excel(data_path / "survey_raw.xlsx", index=False)
print(df)Script 2 — Ejecutar la acción principal
Este script aplica la lógica central del topic y genera el resultado principal.
Script 2 — Run the main action
This script applies the core topic logic and generates the main result.
# Python Topic 11 - Script 2
from pathlib import Path
import pandas as pd
base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 11"
data_path = base_path / "Data"
df = pd.read_excel(data_path / "survey_raw.xlsx")
df["answer_clean"] = (df["answer"].astype(str).str.strip().str.replace(r"\s+", " ", regex=True))
df = df[df["answer_clean"].str.lower() != "nan"]
df.to_excel(data_path / "survey_clean.xlsx", index=False)
print(df)Script 3 — Verificar o reportar resultados
Este script confirma el resultado final o genera evidencia para revisión.
Script 3 — Verify or report results
This script confirms the final result or generates evidence for review.
# Python Topic 11 - Script 3
from pathlib import Path
import pandas as pd
base_path = Path.home() / "Documents" / "AI Practical Training" / "Python" / "Topic 11"
df = pd.read_excel(base_path / "Data" / "survey_clean.xlsx")
print(df)
print("Clean responses:", len(df))Explicación simple del script
- Path crea rutas portables en Windows.
- pandas lee, transforma y exporta la tabla.
- El Script 1 crea data sintética para practicar sin riesgo.
- El Script 2 aplica la lógica principal del topic.
- El Script 3 valida el resultado y deja evidencia.
Simple script explanation
- Path creates portable Windows paths.
- pandas reads, transforms, and exports the table.
- Script 1 creates synthetic data for safe practice.
- Script 2 applies the main topic logic.
- Script 3 validates the result and leaves evidence.
Ejemplo esperado
| Caso | Resultado |
|---|---|
| extra spaces | cleaned |
| line breaks | one line |
| nan text | removed |
Expected example
| Case | Result |
|---|---|
| extra spaces | cleaned |
| line breaks | one line |
| nan text | removed |
Conclusión
Texto limpio mejora clasificación, análisis y lectura en Power BI.
Conclusion
Clean text improves classification, analysis, and Power BI readability.