Sommario:

Come posso programmare un lavoro alveare in oozie?
Come posso programmare un lavoro alveare in oozie?

Video: Come posso programmare un lavoro alveare in oozie?

Video: Come posso programmare un lavoro alveare in oozie?
Video: Apache OOZIE | OOZIE in Hadoop | OOZIE Workflows | COSO IT 2024, Aprile
Anonim

Per pianificare il lavoro Hive usando Oozie , devi scrivere a Alveare -azione.

hql) in esso.

  1. Crea una directory in HDFS sparando sotto il comando.
  2. hadoop fs -mkdir -p /utente/ oozie /flussi di lavoro/
  3. Metti flusso di lavoro. xml, Alveare script (create_table. hql) e alveare -posto. xml nella directory creata nel passaggio 2. È possibile utilizzare il comando seguente.

Proprio così, come eseguo lo script Hive in oozie?

Esegui lavori Hive con Oozie

  1. Specificare il sito dell'alveare. xml nel parametro job-xml.
  2. Specificare il nome dello script (ad esempio, script.q) che contiene la query hive nel parametro script.
  3. Facoltativamente, aggiungere le proprietà utilizzate dal processo di avvio di Oozie. Aggiungi il prefisso oozie. launcher ai nomi delle proprietà.

Inoltre, come eseguo il flusso di lavoro di oozie? Esecuzione del flusso di lavoro di Oozie dalla riga di comando

  1. Accedi alla console web.
  2. Copia gli esempi di oozie nella tua home directory nella console web: cp /usr/hdp/current/oozie-client/doc/oozie-examples. catrame. gz.
  3. Estrai i file da tar tar -zxvf oozie-examples.tar.gz.
  4. Copia la directory degli esempi in HDFS hadoop fs -copyFromLocal esempi.

A questo proposito, come posso programmare un lavoro Hadoop?

Come pianificare i lavori in hadoop - Quora. Il modo più semplice è avvolgere il codice in uno script di shell e orario è come un cron lavoro sul nodo edge (il nodo in cui di solito invii il tuo lavori ). Ma di solito impacchettare il codice in uno script ed eseguirlo come a lavoro è difficile da eseguire il debug. testare e mantenere.

Cos'è il flusso di lavoro di oozie?

Oozie è un flusso di lavoro sistema di pianificazione per gestire i lavori di Apache Hadoop. Flusso di lavoro di Oozie i lavori sono Grafici Aciclici Diretti (DAG) di azioni. Oozie I lavori di coordinatore sono ricorrenti Flusso di lavoro di Oozie lavori innescati dal tempo (frequenza) e dalla disponibilità dei dati. Oozie è un sistema scalabile, affidabile ed estensibile.

Consigliato: