Neue Fragen mit dem Tag «hadoop»

Insgesamt gefunden 71 Frage

0
Bewertungen
0
Antworten
161
Ansicht

HortonWorks HDP-Setup unter Verwendung eines überbrückten Netzwerks in VirtualBox

Entschuldigung, wenn ich an einem falschen Ort poste. Ich versuche, mit SSH im selben Netzwerk von einem anderen System auf Hortonworks HDP zuzugreifen. Dafür habe ich das virtualBox-Netzwerk mit NAT und Bridged-Netzwerk wie folgt konfiguriert: Ich habe mich dafür entschieden, beide Netzwerkadapte...

-1
Bewertungen
0
Antworten
58
Ansichten

Hadoop Datanode kann nicht abgerufen werden, es wurde jedoch kein Fehler angezeigt. Daher kann nicht ermittelt werden, welche Fehlerquelle vorliegt

Ich habe eine Frage. Ich mache derzeit ein Projekt zum Aufbau von Data Governance. Ich habe bereits Master-IP und Slave1-IP miteinander verbunden. Dann habe ich SSH-Schlüssel gemacht und kopiert. Ich glaube nicht, dass ich Fehler im Netzwerk habe. Als nächstes versuchte ich, Hadoop wie folgt zu ver...
fragte Myeongjang JO vor einem Jahr

-1
Bewertungen
0
Antworten
66
Ansichten

Kann ein Hadoop-Client auf Cygwin installiert werden?

Mein Arbeitgeber hat einen Linux-basierten Hadoop-Cluster, und ich möchte eine Windows-Maschine als EdgeNode (Gateway) an den Cluster anschließen. Ich verstehe, dass dieser gemischte Aufbau über Cygwin64 möglich ist. Ist das richtig? Hat jemand das erfolgreich gemacht? Wenn ja, wo würde ich die Anwe...
fragte user169954 vor einem Jahr

0
Bewertungen
1
Antwort
61
Ansicht

Yum-Fehler in Cent OS 7 Server

Ich verwende den folgenden Fehler bei der Verwendung von Yum. yum repolist Loaded plugins: fastestmirror File contains no section headers. file: file:///etc/yum.repos.d/ambari.repo, line: 1 '<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">\n' Ich hab...
fragte Neville vor 2 Jahren

0
Bewertungen
1
Antwort
90
Ansichten

Kann ich einen Hadoop 2-Cluster mit zwei Knoten auf zwei verschiedenen VirtualBoxen auf zwei verschiedenen Laptops im selben Netzwerk erstellen?

Ich habe also zwei Laptops mit VirtualBox, auf denen Ubuntu 18.4 läuft, und ich versuche, Hadoop 2 Cluster einzurichten. Ist ein VB der Master und ein VB der Slave? Ist es möglich und wie? Denn alle Tutorials, die ich gefunden habe, waren für Master und Slave auf demselben Laptop mit geklonter Virtu...

2
Bewertungen
0
Antworten
226
Ansichten

Kann man zwei GNOME-Boxen über ssh verbinden?

Ich versuche, einen 2-Knoten-Hadoop-Cluster mit zwei Laptops mit GNOME-Boxen einzurichten, die beide Ubuntu 17.10 ausführen. Die beiden Laptops sind mit demselben WLAN verbunden, aber die GNOME-Boxen allein sind nicht mit dem WLAN verbunden. Ich brauche jemanden, der mir die Vernetzungskonzepte dess...
fragte anagardastro vor 2 Jahren

0
Bewertungen
0
Antworten
50
Ansichten

Wiederherstellen von HDFS-Metadaten

Ich habe einen HDFS-Server mit einem einzigen Knoten. Ich habe versehentlich den folgenden Befehl ausgeführt hadoop namenode -format:, der den Inhalt des Namensnamens löschte. Die Daten des Datanodes befinden sich immer noch in hdfs (die Größe auf der Festplatte hat sich nicht geändert), aber die hd...
fragte Nvn vor 2 Jahren

0
Bewertungen
0
Antworten
207
Ansichten

Apache nifi - Systemfehler: "Die Anforderung enthielt einen ungültigen Hostheader [localhost: 8080]"

Ich verwende Apache nifi im Hintergrund auf meinem System. Während des Zugriffs in meinem Browser über diese URL: http://localhost:8080/nifi Ich erhalte diesen Fehler: System Error : The request contained an invalid host header [localhost:8080] in the request [/nifi-api/site-to-site/peers]. Check...
fragte Kshitiz Katiyar vor 2 Jahren

0
Bewertungen
0
Antworten
59
Ansichten

Reg-exp zum Lesen der Weblogic-Protokolldatei

Mein Weblogic-Protokolldatei-Beispieldatensatz ist wie folgt. Ich suche nach einem regulären Ausdruck, der diese Datei lesen kann, und ich kann dann eine externe Bienentabelle erstellen, die SerDe mit Regex-Patern singt. Bitte kann jemand diesbezüglich helfen ####<03-Apr-2018, 7:06:05,564 PM BST&...
fragte Swastik vor 2 Jahren

1
Bewertungen
0
Antworten
337
Ansichten

Was ist der Unterschied zwischen Headless-, Service- und User-Kerberos-Keytabs?

Ich arbeite oft an kerberisierten Hadoop-Clustern und muss verschiedene Keytabs verwenden, wie zum Beispiel: hbase.headless.keytab hbase.service.keytab devuser.keytab Mir ist nicht ganz klar, was der Zweck von jedem ist, und es ist nicht wirklich online dokumentiert. Könnte mir jemand erklären, was...
fragte Ben Watson vor 2 Jahren

0
Bewertungen
0
Antworten
58
Ansichten

Hadoop unter Windows, das eine Verbindung zu Hadoop über VirtualBox herstellt

Ich verwende Apache BigTop auf VirtualBox und möchte von Windows 10 aus eine Verbindung herstellen und eine Verbindung herstellen. Ich habe mehrere Konfigurationen ausprobiert, aber nicht "100%" von dem, was ich möchte. Gibt es eine korrekte Konfiguration oder ein offensichtliches Problem bei dem, w...
fragte K.Nicholas vor 2 Jahren

0
Bewertungen
0
Antworten
167
Ansichten

Wie bearbeitet man eine HDFS-Gruppe?

Ich habe einen eigenständigen Cluster zu Übungszwecken. Ich habe versucht, den Root-Benutzer zur HDFS-Gruppe hinzuzufügen, indem ich mich als HDFS-Benutzer anmeldete. Der Befehl, den ich verwendet habe, ist: hdfs dfs -chown -R root:hdfs / Jetzt kann ich auf hdfs-dfs-Befehle als root zugreifen. Ic...
fragte Abhinav vor 2 Jahren

0
Bewertungen
0
Antworten
106
Ansichten

Unterschied zwischen Root-Benutzer auf dem SSH-Client und Root-Benutzer beim Anmelden in der HDP-Sandbox

Ich verwende also Hortonworks Sandbox 2.5 über eine virtuelle Box und hier ist meine einfache Abfrage. Ich kann mich mit einer SSH-Software namens putty und dem Benutzernamen maria_dev bei meinem Konto anmelden. Ich tippe dann ein, su -um auf das root-Konto zuzugreifen. Alternativ kann ich die virtu...
fragte Anwesh Mohapatra vor 2 Jahren

0
Bewertungen
0
Antworten
59
Ansichten

Wie kann man einfache Webseiten von einer Hortonworks-Sandbox aus ausführen?

Ich möchte eine einfache Webseite aus einer Hortonworks 2.6-Sandbox ausführen, die unter VmWare ausgeführt wird. Nichts Besonderes, nur eine Prototypenseite, um einige Grundlagen zu testen. Ich habe dieses Rezept gefunden, aber ich bekomme eine Nachricht, dass die Verbindung abgelehnt wurde. Ich kan...
fragte Leo vor 2 Jahren

-1
Bewertungen
1
Antwort
133
Ansichten

Putty Loading Vorherige Instanz Auch wenn ich die richtige PPK-Datei lade

Ich versuche, eine Verbindung zum Google Cloud Centos-Terminal mithilfe der externen IP-Adresse und der PPK-Datei herzustellen, aber Putty nimmt die zuvor geladene IP-Adresse vom AWS Centos-Terminal und ich habe die richtige PPK-Datei geladen Bitte sehen Sie den Screenshot unten.

0
Bewertungen
0
Antworten
89
Ansichten

spark.dynamicAllocation + Einstellung der Funkenparameter entsprechend dem Ambari-Cluster

wir wollen die Werte für die folgenden Funkenparameter entsprechend den Eingaben finden, wie Speicher auf Datenknotenmaschine, CPU-KERN auf Datenknotenmaschine, Nummern von Datenknotenmaschinen usw. spark.dynamicAllocation.initialExecutors = ? spark.dynamicAllocation.minExecutors = ? spark.dynamicAl...
fragte enodmilvado vor 2 Jahren

0
Bewertungen
0
Antworten
67
Ansichten

Hadoop: Einrichten eines einzelnen Knoten-Clusters

Ich bin neu bei ubuntu (Haftungsausschluss). Beim Erstellen eines Hadoop-Clusters mit einem einzelnen Knoten arbeiten Sie, indem Sie den Anweisungen unter https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html folgen Ich stoße ständig auf einen Fehler: / usr / jav...
fragte Pavan vor 2 Jahren

0
Bewertungen
0
Antworten
47
Ansichten

Ambari-Cluster + wie das RAID auf Master-Maschinenpartitionen definiert wird

Wir möchten die RAID-Konfiguration auf unseren Master-Rechnern definieren (definiertes Plattenspiegel-Setup). Wir haben 3 Master-Maschinen (während ein Ambari-Server auf einer Master02-Maschine installiert ist), wobei jede Master-Maschine 3 Partitionen hat eine Partition für Hadoop eine partition fü...
fragte King David vor 2 Jahren

1
Bewertungen
0
Antworten
255
Ansichten

Best Practices für die Datenübertragung zwischen Hadoop-Clustern

Situation: Ich muss etwa 100 TB von einem alten Hadoop-Cluster auf einen neuen Hadoop-Cluster übertragen. Die beiden Cluster verfügen über eine direkte 1-GbE-Verbindung vom Namensknoten in jedem Cluster. Die Datenknoten sind nicht verbunden. Was ich probiert habe: Distcp: Dies funktioniert nicht, d...
fragte tbenz9 vor 2 Jahren

0
Bewertungen
1
Antwort
102
Ansichten

HDFS-Datenkanal verwendet den gesamten verfügbaren Speicherplatz

Ich habe eine 1 TB (931 GB verwendbare) Festplatte, die ich HDFS gewidmet habe. Ich mounte es unter / hdfs. Hier ist meine hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.n...
fragte Dan Jenson vor 2 Jahren

-1
Bewertungen
1
Antwort
84
Ansichten

Kryptographie mit elliptischer Kurve in Hadoop

Verwendet das verteilte Hadoop-Dateisystem die elliptische Kurven-Kryptographie, um seine Daten zu sichern? Wenn nicht, mit welcher Methode wird der Datenzugriff gesichert?

3
Bewertungen
4
Antworten
654
Ansichten

Warum ist Hadoop kein Data Warehouse?

Was sind funktionale Gründe, warum Hadoop kein Data Warehouse sein kann? An mehreren Standorten kann man Aussagen sehen, dass ein Hadoop-Cluster kein herkömmliches Data Warehouse ersetzt. Ich kann jedoch nicht die wahren Gründe dafür finden. Ich bin mir bewusst, dass es technisch gesehen einige Ding...
fragte Dennis Jaheruddin vor 3 Jahren

13
Bewertungen
2
Antworten
16651
Ansicht

7Zip Kann keine symbolische Verbindung erstellen, der Zugriff auf libhdfs.so und libhadoop.so wird verweigert

Ich arbeite an Windows 10 und versuche, Hadoop zu installieren Ich habe es von hier heruntergeladen . Beim Versuch, Hadoop für Dateien zu extrahieren ( libhdfs.sound libhadoop.so), wird der Fehler angezeigt. Cannot create symbolic link : Access is denied Wie kann ich das beheben?
fragte Matas Vaitkevicius vor 4 Jahren

0
Bewertungen
1
Antwort
1789
Ansichten

SSH-Berechtigung von Linux an Windows mithilfe von Schlüsseln abgelehnt

Ich bin ein Anfänger in Hadoop und versuche, Hadoop-Cluster im Vollverteilungsmodus einzurichten. Mein Master ist Windows und mein Slave-Computer ist Linux auf VM. Ich habe SSH-Schlüssel in Windows und Linux erstellt und den öffentlichen Schlüssel von meinem Master-Windows-Rechner auf einen Linux-Sl...
fragte Sriram Chandramouli vor 4 Jahren

0
Bewertungen
1
Antwort
164
Ansichten

Kopieren Sie die in Liste genannten Dateien nacheinander nur einzeln

Ich habe eine Liste von Dateinamen in einer Textdatei, files.txtdie in der nächsten Zeile nacheinander aufgelistet sind. file1.txt file2.txt file3.txt file4.txt ... ... ... Ich muss den folgenden Befehl für jede Datei ausführen. hadoop fs -cp /tmp/FILENAME /folder/ Der Kopierbefehl der nächsten Dat...

0
Bewertungen
2
Antworten
102
Ansichten

Wird Hadoop von nur einer Platte profitieren?

Wenn ich ein Einzelknotensetup mit Hadoopnur einer Festplatte benutze, kann ich sie leicht zum Spielen Hadoopund so verwenden, aber ist es Hadoopin diesem Fall von Vorteil, ein anderes Paradigma zu verwenden (Verarbeitung Pythonohne Mapreduce usw.) .)
fragte drjrm3 vor 5 Jahren

2
Bewertungen
2
Antworten
3458
Ansichten

Eclipse mit einem Linux-Benutzer öffnen, der keine grafische Umgebung hat (von der Konsole erstellt)

Ich habe einen Benutzer von der Konsole in meinem Ubuntu Destkop 14.04 LTS erstellt, und zwar folgendermaßen: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser Ich habe diesen Benutzer für alle Arten von Sachen verwendet, weil ich es für einige Programmier-Sachen benutze, die mit hadoop in...
fragte chomp vor 5 Jahren

1
Bewertungen
0
Antworten
681
Ansicht

Wie finde ich heraus, welche Festplatte (Volume) fehlerhaft ist?

Ich verwende die Standardversion von Apache Hadoop 1.1.1. Ich kann keinen Datanode zum Starten erhalten, weil: 2015-04-23 09:12:48,138 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2015-04-23 09:12:48,152 INFO org.apache.hadoop.metrics2.impl.Me...
fragte drjrm3 vor 5 Jahren

0
Bewertungen
1
Antwort
88
Ansichten

Hadoop-Ausgabe während des Laufs - Wie lautet die Zahl direkt nach dem Zeitstempel

Wenn Hadoop ausgeführt wird, werden die Nachrichten angezeigt, die wir alle oft gesehen haben. Z.B: 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Configuration - dfs.data.dir is deprecated. Instead, use dfs.datanode.data.dir 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Con...
fragte James Madison vor 5 Jahren

0
Bewertungen
1
Antwort
6218
Ansichten

FEHLER: Master-Adresse kann nicht vom Zoowärter abgerufen werden. z-Knotendaten == null

Ich habe eine two linuxMaschine master machine(192.168.8.174)und eine andere slave1 machine(192.168.8.173). Ich habe Hadoop 2.6.0im vollständig verteilten Modus erfolgreich installiert und konfiguriert . Hadoop-Ausgabe kommt auch perfekt. Ich installierte und konfigurierte HBase 1.0.i verwendete hba...
fragte user430092 vor 5 Jahren