Quale versione di Python utilizza Spark?

2024 Autore: Lynn Donovan | [email protected]. Ultima modifica: 2023-12-15 23:49

Scintilla funziona su Java 8+, Pitone 2.7+/3.4+ e R 3.1+. Per l'API Scala, Scintilla 2.3. 0 usa Scala 2.11. Avrai bisogno di utilizzo uno Scala. compatibile versione (2.11.

Di conseguenza, spark funziona con Python 3?

Apache Scintilla è un framework di cluster computing, attualmente uno dei più attivamente sviluppati nell'arena dei Big Data open source. Dall'ultima versione 1.4 (giugno 2015), Scintilla supporta R e Pitone 3 (per completare il supporto precedentemente disponibile per Java, Scala e Pitone 2).

Oltre sopra, come posso cambiare la versione spark di Python? Nel caso tu voglia solo modificare il versione pitone per l'attività corrente, puoi utilizzare il seguente comando di avvio pyspark: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ pitone PYSPARK_PYTHON=/usr/local/anaconda2/bin/ pitone pyspark --master..

Inoltre, qual è l'ultima versione di spark?

Apache Spark

Cos'è Spark Python?

Domare i Big Data con Apache Scintilla e Pitone Py4J è una libreria popolare integrata all'interno PySpark che permette pitone interfaccia dinamicamente con oggetti JVM (RDD). Apache Scintilla viene fornito con una shell interattiva per pitone come fa per Scala. Il guscio per pitone è conosciuto come PySpark ”.