Apache Sqoop Vor- und Nachteile

Apache ist sehr hilfreich beim Extrahieren großer Datensätze in minimaler Zeit. Es kann integriert und implementiert werden mit vielen ähnlichen Anwendungen, bei denen Big Data häufig verwendet wird. Bewertung gesammelt von und auf G2.com gehostet.

Manchmal dauert die Ausführung einer Abfrage länger, wenn viele Joins oder Left Outer Joins oder andere Joins mit zusätzlichen Filtern in der Where-Bedingung beteiligt sind. Der Fehler während des Teilimports trat bei einer langen Abfrage auf. Bewertung gesammelt von und auf G2.com gehostet.

Die Einfachheit, mit der das Werkzeug mit minimalem Setup in einer verteilten Umgebung verwendet werden kann, und die kurze Lernkurve. Bewertung gesammelt von und auf G2.com gehostet.

Das Protokollieren schien etwas zu sein, mit dem ich persönlich Schwierigkeiten hatte, Datenanomalien bei der Datenbewegung in meinen Anwendungsfällen zu identifizieren. Bewertung gesammelt von und auf G2.com gehostet.

Data transfer is in parallel,making it fast and cost effective. Bewertung gesammelt von und auf G2.com gehostet.

The failure during partial import and export need special handling. Bewertung gesammelt von und auf G2.com gehostet.

Inkrementelle Importe sind in Sqoop am nützlichsten. Bewertung gesammelt von und auf G2.com gehostet.

manchmal, wenn dieselbe Datenbank für andere Geschäftsanwendungen verwendet wird und meine Abfragen mehrere Joins beinhalten, wird die Leistung beeinträchtigt Bewertung gesammelt von und auf G2.com gehostet.

Das Beste daran ist, dass es den Datentransfer parallel ausführt. Es ermöglicht den Transfer von Daten aus einer Vielzahl von strukturierten Datenbanken. Es hat eine große Unterstützergemeinschaft. Bewertung gesammelt von und auf G2.com gehostet.

Unter der Haube verwendet es MapReduce, was selbst für kleine Datenübertragungen Zeit benötigt. Die Implementierung von Change Data Capture und inkrementellen Ladevorgängen ist ziemlich komplex. Es kann nicht pausiert und fortgesetzt werden. Bewertung gesammelt von und auf G2.com gehostet.

Das Beste an Apache Sqoop ist, dass es eine einfache Konfiguration für das Abrufen von Daten in Echtzeit aus dem Quellsystem bietet. Bewertung gesammelt von und auf G2.com gehostet.

Die Sache, die mir an Apache Sqoop nicht gefiel, ist, dass es schwierig ist, verlorene Nachrichten wiederherzustellen, wenn die Pipeline unterbrochen wird. Bewertung gesammelt von und auf G2.com gehostet.

Die Nutzung ist sehr einfach. Es ist sehr benutzerfreundlich. Wir müssen nicht viele Codezeilen schreiben, um die Daten aus der Datenbank zu erhalten oder zurückzuschreiben. Bewertung gesammelt von und auf G2.com gehostet.

Es gibt nichts, was ich im Moment sehen kann. Wenn wir Unterstützung für das Umstellen von NoSQL-Datenbanken erhalten, wäre das großartig. Bewertung gesammelt von und auf G2.com gehostet.

Die Einfachheit und Effektivität der Anwendung gewinnt mein Herz. Auch das benutzerzentrierte Design ist großartig. Ich benutze Sqoop, um Daten aus externen Datenspeichern in das Hadoop Distributed File System oder verwandte Hadoop-Ökosysteme wie Hive und HBase zu importieren. Der größte Vorteil ist, wie einfach es zu benutzen ist und wie schnell es ist. Sqoop kann sich leicht in Hadoop integrieren und strukturierte Daten aus relationalen Datenbanken auf HDFS ablegen, was die Leistungsfähigkeit von Hadoop ergänzt. Deshalb erfordert die Big Data- und Hadoop-Zertifizierung fundierte Kenntnisse in Apache Sqoop und Flume. Bewertung gesammelt von und auf G2.com gehostet.

Ich habe eigentlich nichts gefunden, was mir nicht gefallen hat, aber wenn ich in Zukunft etwas finde, würde ich es gerne teilen. Es gibt einige Probleme bei der Verwendung von Sqoop, die mich anfangs gestört haben, aber leicht zu handhaben sind:

Sqoop-Connector:

Problem:

Verwendung eines falschen Connectors für die zu verbindende Datenbank bei der Durchführung von Sqoop-Export oder Sqoop-Import.

Fehlender Treiber oder Verwendung des korrekten Treibernamens der jeweiligen JDBC-Klasse für den Sqoop-Befehl.

Fehlender Verbindungsmanager-Name in einigen Fällen des Sqoop-Befehls.

Falscher Ansatz bei der Angabe des Passworts oder Benutzernamens der zu verbindenden Datenbank.

Das Format der in HDFS/Hive-Tabellen gespeicherten Daten kann Probleme verursachen. Es gibt einige Formate wie ORC-Dateien, die keinen direkten Datentransfer mit Sqoop erlauben.

Nicht übereinstimmende oder falsche Namen von Spalten der Quell- und Zieltabellen, bei denen HCatalog im Sqoop-Befehl verwendet wird, können einen erfolgreichen Sqoop-Job anzeigen, ohne dass die Daten übertragen werden. Bewertung gesammelt von und auf G2.com gehostet.

Replication of Relational DB onto HDFS for MR jobs Bewertung gesammelt von und auf G2.com gehostet.

The data had to be re-imported every time the data was changed Bewertung gesammelt von und auf G2.com gehostet.