[R-es] Avro.-

[Freddy Omar López Quintero]

Hola.

Espero que estén bien.

Les cuento. Tengo acceso a unos datos .avro en un s3 de amazon pero estoy
desconcertado con la forma de leerlos desde sparkR (*no sparklyr*) sin
tener que descargar el archivo.

Como antecedente, descargando el archivo, he utilizado felizmente las
instrucciones:

Sys.setenv(SPARK_HOME="/opt/apache-spark/")

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R",
"lib")))

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory
= "2g"), sparkPackages = c("com.databricks:spark-avro_2.11:4.0.0"

dd <- read.df(path="/home/vate01/Descargas/TR_TRN_1.avro", source =
'com.databricks.spark.avro')

Pero quisiera evitar el paso de la descarga, teniendo las credenciales de
la cuenta de amazon.

¡Gracias!

[José Luis Cañadas]

Quizá algún paquete de cloudyr te sirva.
https://github.com/cloudyr

El vie., 2 feb. 2018 16:57, Freddy Omar López Quintero <

Post by Freddy Omar López Quintero
Hola.
Espero que estén bien.
Les cuento. Tengo acceso a unos datos .avro en un s3 de amazon pero estoy
desconcertado con la forma de leerlos desde sparkR (*no sparklyr*) sin
tener que descargar el archivo.
Como antecedente, descargando el archivo, he utilizado felizmente las
Sys.setenv(SPARK_HOME="/opt/apache-spark/")
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R",
"lib")))
sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory
= "2g"), sparkPackages = c("com.databricks:spark-avro_2.11:4.0.0"
dd <- read.df(path="/home/vate01/Descargas/TR_TRN_1.avro", source =
'com.databricks.spark.avro')
Pero quisiera evitar el paso de la descarga, teniendo las credenciales de
la cuenta de amazon.
¡Gracias!
--
«...homines autem hominum causa esse generatos...»
Cicero
[[alternative HTML version deleted]]
_______________________________________________
R-help-es mailing list
https://stat.ethz.ch/mailman/listinfo/r-help-es

[[alternative HTML version deleted]]