S3 è basato su HDFS?
S3 è basato su HDFS?

Video: S3 è basato su HDFS?

Video: S3 è basato su HDFS?
Video: Hadoop 3x: Unleashing the Power of Big Data Processing | Apache Hadoop 3.0 2024, Marzo
Anonim

S3 è in realtà uno spazio di archiviazione infinito nel cloud ma HDFS non è. HDFS è ospitato su macchine fisiche, quindi puoi eseguire qualsiasi programma lì. Non puoi eseguire nulla su S3 come è solo Object Store e non FS.

Quindi, s3 è un file system distribuito?

S3 non è un file system distribuito . È un archivio di oggetti binari che archivia i dati in coppie chiave-valore. È essenzialmente un tipo di database NoSQL. Ogni bucket è un nuovo "database", con le chiavi che rappresentano il "percorso della cartella" e i valori gli oggetti binari ( File ).

Ci si potrebbe anche chiedere, AWS è basato su Hadoop? Hadoop è un framework che aiuta a elaborare grandi set di dati su più computer. Include Mappa/Riduci (elaborazione parallela) e HDFS (sistema di file distribuito). AWS è un data warehouse costruito su una tecnologia proprietaria originariamente sviluppata da ParAccel.

Oltre a questo, come posso trasferire file da s3 a HDFS?

Risposta. Non c'è diretto modo per copiare file da S3 a HDFS senza passare per locale File . Tuttavia, puoi usare il componente tSystem in un lavoro standard per chiamare il nativo Hadoop comando che usi di solito per copia file , Per esempio, s3 -dist-cp.

Che cos'è il database s3?

Amazon S3 o Amazon Simple Storage Service è un servizio offerto da Amazon Web Services (AWS) che fornisce lo storage di oggetti tramite un'interfaccia di servizio Web. Amazon S3 utilizza la stessa infrastruttura di archiviazione scalabile utilizzata da Amazon.com per gestire la sua rete di e-commerce globale.

Consigliato: