GOOGLE ADS

Samstag, 23. April 2022

Verwenden der Glue-Schemaregistrierung mit MSK Connector

Ich habe versucht, einen MSK-Connector zu erstellen und die Glue-Schema-Registrierung damit zu verwenden. Die Konfiguration ist wie folgt.

connector.class=io.confluent.connect.s3.S3SinkConnector
s3.region=eu-west-1
topics.dir=topics/dir
flush.size=200
tasks.max=2
s3.part.size=5242880
timezone=GMT
# value.converter.schema.registry.url=http://someIP:8081
key.converter.schemaName=my-topic-schema
locale=US
format.class=io.confluent.connect.s3.format.parquet.ParquetFormat
value.converter.schemaName=my-topic-schema
value.converter=io.confluent.connect.avro.StringConverter
s3.bucket.name=my-bucket
key.converter=io.confluent.connect.avro.StringConverter
# key.converter.schema.registry.url==http://someIP:8081
partition.duration.ms=3600000
schema.compatibility=BACKWARD
topics=osb
value.converter.registry.name=Glue-Schema-Registry
key.converter.registry.name=Glue-Schema-Registry
key.converter.schemas.enable=true
partitioner.class=io.confluent.connect.storage.partitioner.TimeBasedPartitioner
value.converter.schemas.enable=true
storage.class=io.confluent.connect.s3.storage.S3Storage
rotate.schedule.interval.ms=0
path.format='year'=YYYY/'month'=MM/'day'=dd/'hour'=HH
timestamp.extractor=RecordField
timestamp.field=timestamp

Zuerst habe ich die konfluente Schemaregistrierung verwendet, die auf einem EC2 ausgeführt wurde, dessen IP ich im Feld "key/value.converter.schema.registry.url" hinzugefügt habe, und es hat gut funktioniert. Jetzt versuche ich, Glue Schema Registry zu verwenden. Aber ich weiß nicht, wie ich den Connector mit der Glue Schema Registry verbinden soll.


Lösung des Problems

Diese Klassen existieren nicht

key.converter=io.confluent.connect.avro.StringConverter
value.converter=io.confluent.connect.avro.StringConverter

Der StringConverterKlassenname beginnt mitorg.apache.kafka

In ähnlicher Weise sieht es so aus, als hätten Sie eine Reihe zufälliger Konvertereigenschaften hinzugefügt, die abgesehen von der URL für den String- oder Confluent Avro-Konverter nicht gültig sind

Um Glue zu verwenden, müssen Sie AWSKafkaAvroConverter, das Teil dieses Repos ist, verwenden.

https://github.com/awslabs/aws-glue-schema-registry/tree/master/avro-kafkaconnect-converter

Und ist hier dokumentiert

https://docs.aws.amazon.com/glue/latest/dg/schema-registry-integrations.html#schema-registry-integrations-apache-kafka-connect

Keine Kommentare:

Kommentar veröffentlichen

Warum werden SCHED_FIFO-Threads derselben physischen CPU zugewiesen, obwohl CPUs im Leerlauf verfügbar sind?

Lösung des Problems Wenn ich das richtig verstehe, versuchen Sie, SCHED_FIFO mit aktiviertem Hyperthreading ("HT") zu verwenden, ...