El problema
La capitalización de mercado de los bancos más grandes del mundo se publica en una tabla de Wikipedia, sin API ni archivo CSV descargable. El proyecto de la carrera de Data Engineering de IBM consistió en construir el proceso completo para capturar esos datos y permitir su consulta.
Resolución
Un proceso ETL completo:
- Extracción — scraping de la tabla con
requests+ BeautifulSoup, parseando el HTML a un DataFrame de Pandas. - Transformación — limpieza de los montos y conversión de la capitalización a múltiples monedas usando tasas de cambio desde un CSV.
- Carga — persistencia doble: base SQLite consultable por SQL y archivo CSV.
- Registro de eventos — función propia que registra cada etapa del proceso con fecha y hora para auditar su ejecución.
Tecnologías
Python · BeautifulSoup · Requests · Pandas · SQLite
Conocimiento demostrado
La disciplina de los procesos de datos: separar las fases, registrar cada paso y verificar la carga con consultas SQL al final. La extracción web es solo una parte; la confiabilidad depende del flujo completo.