Alquimista de código

Spring Cloud Data Flow es un kit de herramientas nativo de la nube para construir canalizaciones de datos en tiempo real y procesos por lotes. Se encarga de administrar aplicaciones ETL (Extract-Transform-Load) de Spring Batch . Spring Cloud Data Flow proporciona herramientas para crear topologías complejas para transmisión y canalizaciones de datos por lotes. Características El servidor Spring Cloud Data Flow utiliza Spring Cloud Deployer , para implementar canalizaciones de datos hechas de aplicaciones Spring Cloud Stream o Spring Cloud Task en plataformas modernas como Cloud Foundry y Kubernetes . Una selección de aplicaciones preestablecidas de flujo y de inicio de tareas / lotes para diversos escenarios de integración y procesamiento de datos facilitan el aprendizaje y la experimentación. Se pueden crear aplicaciones de flujo y tareas personalizadas, dirigidas a diferentes servicios de datos o middleware, utilizando el conocido modelo de programación de estilo Spring...

Spring Batch emplea una técnica llamada 'procesamiento chunk' para la ejecución de un proceso. El reader lee una porción de datos y los convierte en chunk (una entidad/objeto). Si existe un processor , ese chunk pasa al processor para que lo trate. Después el writer se encargará de guardar la información tratada. En el anterios post vimos los componentes principales del Batch Domain Language . El JobRepository se encargará de la persistencia de los datos (de alguna fuente como archivos TXT, CSV, BD, etc.). El JobLauncher lanzará procesos suministrando los parámetros de entrada deseados. El Job servirá de proceso, un contenedor de Steps . Cada Step es un elemento independiente dentro de un Job . Además cada Step se compone de tres elementos: ItemReader : responsable de leer los datos de una fuente. ItemProcessor : encargado de procesar la información. ItemWriter : encargado de guardar la información leída por el writer y procesada por el processor . Si hay...

El procesamiento por lotes es un tema recurrente en el mundo de la informática y la programación. Lenguajes como COBOL fueron hechos específicamente para cubrir esos temas. Lenguajes como Java y Python le han pisado los talones por años aunque no siempre han obtenido el rendimiento deseado. Con Spring Framework, específicamente Spring Batch, se ha paliado esa desventaja con respecto a COBOL. La documentación oficial nos dice que Spring Batch es: Un marco de trabajo por lotes liviano e integral diseñado para permitir el desarrollo de aplicaciones por lotes sólidas vitales para las operaciones diarias de los sistemas empresariales. Spring Batch proporciona funciones reutilizables que son esenciales en el procesamiento de grandes volúmenes de registros, incluidos el registro / rastreo, la gestión de transacciones, las estadísticas de procesamiento de trabajos, el reinicio de trabajos, la omisión y la gestión de recursos. También proporciona servicios técnicos más avanzados y ca...

En este vídeo nos enseñan cómo crear un proceso batch usando Spring Framework -Batch.