Neue Fragen mit dem Tag «hadoop»
Insgesamt gefunden 71 Frage
0
Bewertungen
0
Antworten
710
Ansichten
HortonWorks HDP-Setup unter Verwendung eines überbrückten Netzwerks in VirtualBox
Entschuldigung, wenn ich an einem falschen Ort poste. Ich versuche, mit SSH im selben Netzwerk von einem anderen System auf Hortonworks HDP zuzugreifen. Dafür habe ich das virtualBox-Netzwerk mit NAT und Bridged-Netzwerk wie folgt konfiguriert: Ich habe mich dafür entschieden, beide Netzwerkadapte...
fragte user10061588 vor 5 Jahren
-1
Bewertungen
0
Antworten
318
Ansichten
Hadoop Datanode kann nicht abgerufen werden, es wurde jedoch kein Fehler angezeigt. Daher kann nicht ermittelt werden, welche Fehlerquelle vorliegt
Ich habe eine Frage. Ich mache derzeit ein Projekt zum Aufbau von Data Governance. Ich habe bereits Master-IP und Slave1-IP miteinander verbunden. Dann habe ich SSH-Schlüssel gemacht und kopiert. Ich glaube nicht, dass ich Fehler im Netzwerk habe. Als nächstes versuchte ich, Hadoop wie folgt zu ver...
fragte Myeongjang JO vor 5 Jahren
-1
Bewertungen
0
Antworten
381
Ansicht
Kann ein Hadoop-Client auf Cygwin installiert werden?
Mein Arbeitgeber hat einen Linux-basierten Hadoop-Cluster, und ich möchte eine Windows-Maschine als EdgeNode (Gateway) an den Cluster anschließen. Ich verstehe, dass dieser gemischte Aufbau über Cygwin64 möglich ist. Ist das richtig? Hat jemand das erfolgreich gemacht? Wenn ja, wo würde ich die Anwe...
fragte user169954 vor 5 Jahren
0
Bewertungen
1
Antwort
347
Ansichten
Yum-Fehler in Cent OS 7 Server
Ich verwende den folgenden Fehler bei der Verwendung von Yum. yum repolist Loaded plugins: fastestmirror File contains no section headers. file: file:///etc/yum.repos.d/ambari.repo, line: 1 '<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">\n' Ich hab...
fragte Neville vor 5 Jahren
0
Bewertungen
1
Antwort
419
Ansichten
Kann ich einen Hadoop 2-Cluster mit zwei Knoten auf zwei verschiedenen VirtualBoxen auf zwei verschiedenen Laptops im selben Netzwerk erstellen?
Ich habe also zwei Laptops mit VirtualBox, auf denen Ubuntu 18.4 läuft, und ich versuche, Hadoop 2 Cluster einzurichten. Ist ein VB der Master und ein VB der Slave? Ist es möglich und wie? Denn alle Tutorials, die ich gefunden habe, waren für Master und Slave auf demselben Laptop mit geklonter Virtu...
fragte anagardastro vor 5 Jahren
2
Bewertungen
0
Antworten
534
Ansichten
Kann man zwei GNOME-Boxen über ssh verbinden?
Ich versuche, einen 2-Knoten-Hadoop-Cluster mit zwei Laptops mit GNOME-Boxen einzurichten, die beide Ubuntu 17.10 ausführen. Die beiden Laptops sind mit demselben WLAN verbunden, aber die GNOME-Boxen allein sind nicht mit dem WLAN verbunden. Ich brauche jemanden, der mir die Vernetzungskonzepte dess...
fragte anagardastro vor 5 Jahren
0
Bewertungen
0
Antworten
339
Ansichten
Wiederherstellen von HDFS-Metadaten
Ich habe einen HDFS-Server mit einem einzigen Knoten. Ich habe versehentlich den folgenden Befehl ausgeführt hadoop namenode -format:, der den Inhalt des Namensnamens löschte. Die Daten des Datanodes befinden sich immer noch in hdfs (die Größe auf der Festplatte hat sich nicht geändert), aber die hd...
fragte Nvn vor 5 Jahren
0
Bewertungen
0
Antworten
565
Ansichten
Apache nifi - Systemfehler: "Die Anforderung enthielt einen ungültigen Hostheader [localhost: 8080]"
Ich verwende Apache nifi im Hintergrund auf meinem System. Während des Zugriffs in meinem Browser über diese URL: http://localhost:8080/nifi Ich erhalte diesen Fehler: System Error : The request contained an invalid host header [localhost:8080] in the request [/nifi-api/site-to-site/peers]. Check...
fragte Kshitiz Katiyar vor 5 Jahren
0
Bewertungen
0
Antworten
353
Ansichten
Reg-exp zum Lesen der Weblogic-Protokolldatei
Mein Weblogic-Protokolldatei-Beispieldatensatz ist wie folgt. Ich suche nach einem regulären Ausdruck, der diese Datei lesen kann, und ich kann dann eine externe Bienentabelle erstellen, die SerDe mit Regex-Patern singt. Bitte kann jemand diesbezüglich helfen ####<03-Apr-2018, 7:06:05,564 PM BST&...
fragte Swastik vor 5 Jahren
1
Bewertungen
0
Antworten
637
Ansichten
Was ist der Unterschied zwischen Headless-, Service- und User-Kerberos-Keytabs?
Ich arbeite oft an kerberisierten Hadoop-Clustern und muss verschiedene Keytabs verwenden, wie zum Beispiel: hbase.headless.keytab hbase.service.keytab devuser.keytab Mir ist nicht ganz klar, was der Zweck von jedem ist, und es ist nicht wirklich online dokumentiert. Könnte mir jemand erklären, was...
fragte Ben Watson vor 5 Jahren
0
Bewertungen
0
Antworten
332
Ansichten
Hadoop unter Windows, das eine Verbindung zu Hadoop über VirtualBox herstellt
Ich verwende Apache BigTop auf VirtualBox und möchte von Windows 10 aus eine Verbindung herstellen und eine Verbindung herstellen. Ich habe mehrere Konfigurationen ausprobiert, aber nicht "100%" von dem, was ich möchte. Gibt es eine korrekte Konfiguration oder ein offensichtliches Problem bei dem, w...
fragte K.Nicholas vor 5 Jahren
0
Bewertungen
0
Antworten
461
Ansicht
Wie bearbeitet man eine HDFS-Gruppe?
Ich habe einen eigenständigen Cluster zu Übungszwecken. Ich habe versucht, den Root-Benutzer zur HDFS-Gruppe hinzuzufügen, indem ich mich als HDFS-Benutzer anmeldete. Der Befehl, den ich verwendet habe, ist: hdfs dfs -chown -R root:hdfs / Jetzt kann ich auf hdfs-dfs-Befehle als root zugreifen. Ic...
fragte Abhinav vor 5 Jahren
0
Bewertungen
0
Antworten
393
Ansichten
Unterschied zwischen Root-Benutzer auf dem SSH-Client und Root-Benutzer beim Anmelden in der HDP-Sandbox
Ich verwende also Hortonworks Sandbox 2.5 über eine virtuelle Box und hier ist meine einfache Abfrage. Ich kann mich mit einer SSH-Software namens putty und dem Benutzernamen maria_dev bei meinem Konto anmelden. Ich tippe dann ein, su -um auf das root-Konto zuzugreifen. Alternativ kann ich die virtu...
fragte Anwesh Mohapatra vor 6 Jahren
0
Bewertungen
0
Antworten
407
Ansichten
Wie kann man einfache Webseiten von einer Hortonworks-Sandbox aus ausführen?
Ich möchte eine einfache Webseite aus einer Hortonworks 2.6-Sandbox ausführen, die unter VmWare ausgeführt wird. Nichts Besonderes, nur eine Prototypenseite, um einige Grundlagen zu testen. Ich habe dieses Rezept gefunden, aber ich bekomme eine Nachricht, dass die Verbindung abgelehnt wurde. Ich kan...
fragte Leo vor 6 Jahren
-1
Bewertungen
1
Antwort
431
Ansicht
Putty Loading Vorherige Instanz Auch wenn ich die richtige PPK-Datei lade
Ich versuche, eine Verbindung zum Google Cloud Centos-Terminal mithilfe der externen IP-Adresse und der PPK-Datei herzustellen, aber Putty nimmt die zuvor geladene IP-Adresse vom AWS Centos-Terminal und ich habe die richtige PPK-Datei geladen Bitte sehen Sie den Screenshot unten.
fragte Eresh vor 6 Jahren
0
Bewertungen
0
Antworten
430
Ansichten
spark.dynamicAllocation + Einstellung der Funkenparameter entsprechend dem Ambari-Cluster
wir wollen die Werte für die folgenden Funkenparameter entsprechend den Eingaben finden, wie Speicher auf Datenknotenmaschine, CPU-KERN auf Datenknotenmaschine, Nummern von Datenknotenmaschinen usw. spark.dynamicAllocation.initialExecutors = ? spark.dynamicAllocation.minExecutors = ? spark.dynamicAl...
fragte enodmilvado vor 6 Jahren
0
Bewertungen
0
Antworten
376
Ansichten
Hadoop: Einrichten eines einzelnen Knoten-Clusters
Ich bin neu bei ubuntu (Haftungsausschluss). Beim Erstellen eines Hadoop-Clusters mit einem einzelnen Knoten arbeiten Sie, indem Sie den Anweisungen unter https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html folgen Ich stoße ständig auf einen Fehler: / usr / jav...
fragte Pavan vor 6 Jahren
0
Bewertungen
0
Antworten
326
Ansichten
Ambari-Cluster + wie das RAID auf Master-Maschinenpartitionen definiert wird
Wir möchten die RAID-Konfiguration auf unseren Master-Rechnern definieren (definiertes Plattenspiegel-Setup). Wir haben 3 Master-Maschinen (während ein Ambari-Server auf einer Master02-Maschine installiert ist), wobei jede Master-Maschine 3 Partitionen hat eine Partition für Hadoop eine partition fü...
fragte King David vor 6 Jahren
1
Bewertungen
0
Antworten
537
Ansichten
Best Practices für die Datenübertragung zwischen Hadoop-Clustern
Situation: Ich muss etwa 100 TB von einem alten Hadoop-Cluster auf einen neuen Hadoop-Cluster übertragen. Die beiden Cluster verfügen über eine direkte 1-GbE-Verbindung vom Namensknoten in jedem Cluster. Die Datenknoten sind nicht verbunden. Was ich probiert habe: Distcp: Dies funktioniert nicht, d...
fragte tbenz9 vor 6 Jahren
0
Bewertungen
1
Antwort
384
Ansichten
HDFS-Datenkanal verwendet den gesamten verfügbaren Speicherplatz
Ich habe eine 1 TB (931 GB verwendbare) Festplatte, die ich HDFS gewidmet habe. Ich mounte es unter / hdfs. Hier ist meine hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.n...
fragte Dan Jenson vor 6 Jahren
-1
Bewertungen
1
Antwort
397
Ansichten
Kryptographie mit elliptischer Kurve in Hadoop
Verwendet das verteilte Hadoop-Dateisystem die elliptische Kurven-Kryptographie, um seine Daten zu sichern? Wenn nicht, mit welcher Methode wird der Datenzugriff gesichert?
fragte Aman vor 7 Jahren
3
Bewertungen
4
Antworten
1034
Ansichten
Warum ist Hadoop kein Data Warehouse?
Was sind funktionale Gründe, warum Hadoop kein Data Warehouse sein kann? An mehreren Standorten kann man Aussagen sehen, dass ein Hadoop-Cluster kein herkömmliches Data Warehouse ersetzt. Ich kann jedoch nicht die wahren Gründe dafür finden. Ich bin mir bewusst, dass es technisch gesehen einige Ding...
fragte Dennis Jaheruddin vor 7 Jahren
13
Bewertungen
2
Antworten
16988
Ansichten
7Zip Kann keine symbolische Verbindung erstellen, der Zugriff auf libhdfs.so und libhadoop.so wird verweigert
Ich arbeite an Windows 10 und versuche, Hadoop zu installieren Ich habe es von hier heruntergeladen . Beim Versuch, Hadoop für Dateien zu extrahieren ( libhdfs.sound libhadoop.so), wird der Fehler angezeigt. Cannot create symbolic link : Access is denied Wie kann ich das beheben?
fragte Matas Vaitkevicius vor 7 Jahren
0
Bewertungen
1
Antwort
2154
Ansichten
SSH-Berechtigung von Linux an Windows mithilfe von Schlüsseln abgelehnt
Ich bin ein Anfänger in Hadoop und versuche, Hadoop-Cluster im Vollverteilungsmodus einzurichten. Mein Master ist Windows und mein Slave-Computer ist Linux auf VM. Ich habe SSH-Schlüssel in Windows und Linux erstellt und den öffentlichen Schlüssel von meinem Master-Windows-Rechner auf einen Linux-Sl...
fragte Sriram Chandramouli vor 8 Jahren
0
Bewertungen
1
Antwort
488
Ansichten
Kopieren Sie die in Liste genannten Dateien nacheinander nur einzeln
Ich habe eine Liste von Dateinamen in einer Textdatei, files.txtdie in der nächsten Zeile nacheinander aufgelistet sind. file1.txt file2.txt file3.txt file4.txt ... ... ... Ich muss den folgenden Befehl für jede Datei ausführen. hadoop fs -cp /tmp/FILENAME /folder/ Der Kopierbefehl der nächsten Dat...
fragte Shahrukh Khan vor 8 Jahren
0
Bewertungen
2
Antworten
419
Ansichten
Wird Hadoop von nur einer Platte profitieren?
Wenn ich ein Einzelknotensetup mit Hadoopnur einer Festplatte benutze, kann ich sie leicht zum Spielen Hadoopund so verwenden, aber ist es Hadoopin diesem Fall von Vorteil, ein anderes Paradigma zu verwenden (Verarbeitung Pythonohne Mapreduce usw.) .)
fragte drjrm3 vor 8 Jahren
2
Bewertungen
2
Antworten
3771
Ansicht
Eclipse mit einem Linux-Benutzer öffnen, der keine grafische Umgebung hat (von der Konsole erstellt)
Ich habe einen Benutzer von der Konsole in meinem Ubuntu Destkop 14.04 LTS erstellt, und zwar folgendermaßen: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser Ich habe diesen Benutzer für alle Arten von Sachen verwendet, weil ich es für einige Programmier-Sachen benutze, die mit hadoop in...
fragte chomp vor 8 Jahren
1
Bewertungen
0
Antworten
990
Ansichten
Wie finde ich heraus, welche Festplatte (Volume) fehlerhaft ist?
Ich verwende die Standardversion von Apache Hadoop 1.1.1. Ich kann keinen Datanode zum Starten erhalten, weil: 2015-04-23 09:12:48,138 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2015-04-23 09:12:48,152 INFO org.apache.hadoop.metrics2.impl.Me...
fragte drjrm3 vor 8 Jahren
0
Bewertungen
1
Antwort
399
Ansichten
Hadoop-Ausgabe während des Laufs - Wie lautet die Zahl direkt nach dem Zeitstempel
Wenn Hadoop ausgeführt wird, werden die Nachrichten angezeigt, die wir alle oft gesehen haben. Z.B: 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Configuration - dfs.data.dir is deprecated. Instead, use dfs.datanode.data.dir 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Con...
fragte James Madison vor 9 Jahren
0
Bewertungen
1
Antwort
6500
Ansichten
FEHLER: Master-Adresse kann nicht vom Zoowärter abgerufen werden. z-Knotendaten == null
Ich habe eine two linuxMaschine master machine(192.168.8.174)und eine andere slave1 machine(192.168.8.173). Ich habe Hadoop 2.6.0im vollständig verteilten Modus erfolgreich installiert und konfiguriert . Hadoop-Ausgabe kommt auch perfekt. Ich installierte und konfigurierte HBase 1.0.i verwendete hba...
fragte user430092 vor 9 Jahren