Ir al contenido principal

Entradas

Mostrando las entradas etiquetadas como spark

Conociendo Apache Spark & PySpark

Apache Spark es un motor de análisis unificado para el procesamiento de datos a gran escala. Ofrece API de alto nivel en Scala, Java, Python y R, y un motor optimizado que admite gráficos de cálculo general para el análisis de datos. También es compatible con un amplio conjunto de herramientas de alto nivel, como Spark SQL para SQL y DataFrames, la API de Pandas en Spark para cargas de trabajo de Pandas, MLlib para aprendizaje automático, GraphX para procesamiento de gráficos y Structured Streaming para procesamiento de flujos. Lo puedes usar en Java, Python, Scala y R. Nosotros lo usaremos con Python. Descargamos Apache Spark: https://www.apache.org/dyn/closer.lua/spark/spark-4.0.0/spark-4.0.0-bin-hadoop3.tgz Lo descomprimimos en: Configuramos la variable de entorno `` SPARK_HOME ```: Nombre de la variable: SPARK_HOME  Valor de la variable: C:\Spark\spark-4.0.0-bin-hadoop3 La agregamos al Path: %SPARK_HOME%\bin Podrías agregar otra instalación: https:...

Frameworks que deberías conocer

  He aquí un listado de Frameworks que deberíamos conocer: http://sparkjava.com/ Spark: un micro marco para crear aplicaciones web en Kotlin y Java 8 con un esfuerzo mínimo. Spark Framework es un DSL de marco web Java/Kotlin simple y expresivo creado para un desarrollo rápido.   La intención de Spark es brindar una alternativa para los desarrolladores de Kotlin/Java que desean desarrollar sus aplicaciones web de la manera más expresiva posible y con un mínimo de repeticiones.   Con una filosofía clara, Spark está diseñado no solo para que sea más productivo, sino también para mejorar su código bajo la influencia de la sintaxis elegante, declarativa y expresiva de Spark. En Java import static spark . Spark .*; public class HelloWorld { public static void main ( String [] args ) { get ( "/hello" , ( req , res ) -> "Hello World" ); } } En Kotlin import spark.kotlin.* fun main (args: Array<String>) { val...