Sommario:

Dove posso trovare i registri delle scintille?
Dove posso trovare i registri delle scintille?

Video: Dove posso trovare i registri delle scintille?

Video: Dove posso trovare i registri delle scintille?
Video: Scintille continue dal piano cottura 2024, Aprile
Anonim

Tronco d'albero directory

La posizione SPARK_WORKER_LOG_DIR predefinita è /var/ tronco d'albero / scintilla /lavoratore. Il predefinito tronco d'albero directory per avviare il Scintilla Il server SQL Thrift è $HOME/ scintilla -server dell'usato. Scintilla Guscio e applicazione log vengono inviati alla console. Tronco d'albero i file di configurazione si trovano nella stessa directory di scintilla -env.sh.

Rispetto a questo, come ottengo i registri delle scintille?

Scintilla lavoro o candidatura dalla pagina Analizza, puoi accedere al log tramite l'interfaccia utente dell'applicazione e Scintilla Interfaccia utente dell'applicazione. pagina, è possibile accedere al log tramite il Scintilla Interfaccia utente dell'applicazione. Puoi anche aggiungere log per identificare gli errori e le eccezioni in Scintilla fallimenti del lavoro o dell'applicazione.

Allo stesso modo, come si controllano i registri di filato? Visualizzazione di un tronco d'albero file Il log di un master applicazione può essere visualizzato anche in un browser nell'interfaccia utente del gestore risorse su filato .resourcemanager.webapp.address}/cluster (https://localhost:8088 su un singolo nodo "cluster").

Allo stesso modo ci si potrebbe chiedere, come ottengo i log degli esecutori su Spark?

Risposta

  1. Istruzioni per ottenere i log dell'executor Spark:
  2. Per Amabari -- 1) Vai al servizio Spark e alla scheda Configs: 2) Trova la voce "Advanced spark-log4j-properties".
  3. Per Cloudera: impostare: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Come posso trovare l'URL del mio server Cronologia Spark?

Ad es., per il server della cronologia , in genere sarebbero accessibili all'indirizzo server - URL >:18080/api/v1 e per un'applicazione in esecuzione su https://localhost:4040/api/v1. Nell'API, un'applicazione è referenziata dal suo ID applicazione, [app-id].

Consigliato: