Sommario:

Come faccio ad avviare il mio server Spark History?
Come faccio ad avviare il mio server Spark History?

Video: Come faccio ad avviare il mio server Spark History?

Video: Come faccio ad avviare il mio server Spark History?
Video: STOP turning off your COMPUTER like that. Do this INSTEAD! 2024, Novembre
Anonim

Per abilitare il server della cronologia Spark:

  1. Creare una directory per i log degli eventi nel file system DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Quando la registrazione degli eventi è abilitata, il comportamento predefinito prevede il salvataggio di tutti i registri, il che fa sì che l'archiviazione aumenti nel tempo.

Oltre a questo, come posso configurare un server Spark History?

Per abilitare il server della cronologia Spark:

  1. Creare una directory per i log degli eventi nel file system DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Quando la registrazione degli eventi è abilitata, il comportamento predefinito prevede il salvataggio di tutti i registri, il che fa sì che l'archiviazione aumenti nel tempo.

Allo stesso modo, come posso trovare l'URL del mio server Spark History? Ad es., per il server della cronologia , in genere sarebbero accessibili all'indirizzo server - URL >:18080/api/v1 e per un'applicazione in esecuzione su https://localhost:4040/api/v1. Nell'API, un'applicazione è referenziata dal suo ID applicazione, [app-id].

Allo stesso modo, cos'è il server Spark History?

Il Il server della cronologia di Spark è uno strumento di monitoraggio che visualizza informazioni su completato Scintilla applicazioni. Questa informazione è estratti dai dati che le applicazioni scrivono per impostazione predefinita in una directory su Hadoop Distributed File System (HDFS).

Cos'è Sparkui?

L'interfaccia utente Web di Spark consente di visualizzare un elenco di fasi e attività dell'utilità di pianificazione, informazioni sull'ambiente, informazioni sugli executor in esecuzione e altro ancora. Guarda questa demo di 30 minuti per informazioni su: Componenti e ciclo di vita di un programma Spark. Come viene eseguita l'applicazione Spark su un cluster Hadoop.

Consigliato: