Sie fragen sich, wie Sie AWS DMS verwenden: Daten zu Amazon S3 migrieren? Wir können Ihnen helfen! Hier bei Bobcares bearbeiten wir oft Anfragen zur Migration von Daten mit AWS DMS für unsere Kunden, die AWS als Teil unserer Server Management Services nutzen. Heute wollen wir sehen, wie unsere Support-Techniker dies für unsere Kunden tun.

AWS DMS verwenden: Daten zu Amazon S3 migrieren Hier werden wir Daten im Apache Parquet (.parquet)-Format zu Amazon Simple Storage Service migrieren. Wir können Daten im Apache Parquet-Format in einen S3-Bucket migrieren, wenn wir Replication 3.1.3 oder eine neuere Version verwenden. Die Standard-Parquet-Version ist Parquet 1.0. Im Folgenden sind die Schritte aufgeführt, die unsere Support-Techniker für die Migration verwenden: 1. Zunächst müssen wir einen Amazon SE-Zielendpunkt in der AWS DMS-Konsole erstellen.

2. Dann fügen Sie ein zusätzliches Verbindungsattribut (ECA) wie folgt hinzu: dataFormat=parquet; Wir müssen auch die anderen zusätzlichen Verbindungsattribute prüfen, die wir für die Speicherung von Parkett-Objekten in einem S3-Ziel verwenden können. Oder erstellen Sie einen Amazon S3-Zielendpunkt mit dem folgenden create-endpoint-Befehl in der AWS-Befehlszeilenschnittstelle (AWS CLI): aws dms create-endpoint --endpoint-identifier s3-target-parque --engine-name s3 --endpoint-type target --s3-settings {/ServiceAccessRoleArn/: , /BucketName/: , /DataFormat/: /parquet/} 3.

Danach können wir das folgende zusätzliche Verbindungsattribut verwenden, um die Parquet-Version der Ausgabedatei anzugeben: parquetVersion=PARQUET_2_0; 4. Und führen Sie den Befehl describe-endpoints aus, um zu sehen, ob der von uns erstellte S3-Endpunkt die S3-Einstellung DataFormat oder das zusätzliche Verbindungsattribut dataFormat auf parquet gesetzt hat.

Um die S3-Einstellung DataFormat zu überprüfen, können wir den folgenden Befehl verwenden: aws dms describe-endpoints --filters Name=endpoint-arn,Values= --query /Endpoints 5.

Wenn der Wert des DataFormat-Parameters CSV ist, müssen wir den Endpunkt neu erstellen. 6. Nachdem wir die Ausgabe im Parquet-Format erhalten haben, können wir die Ausgabedatei parsen, indem wir das Apache Parquet-Kommandozeilen-Tool installieren: pip install parquet-cli --user 7.

AWS DMS: Daten zu Amazon S3 migrieren - So gehts

Überprüfen Sie dann das Dateiformat: parq LOAD00000001.parquet # Metadaten created_by: AWSnum_columns: 2num_rows: 2num_row_groups: 1format_version: 1.0serialized_size: 169 8. Schließlich können wir den Inhalt der Datei ausdrucken: parq LOAD00000001.parquet --headi c0 1 insert11 2 insert2 [Brauchen Sie Hilfe?

Wir können Ihnen helfen] Schlussfolgerung Abschließend haben wir die Schritte gesehen, die unsere Support-Techniker bei der Migration von Daten zu Amazon S3 befolgen.


13 1 4