Ich habe versucht, einen MSK-Connector zu erstellen und die Glue-Schema-Registrierung damit zu verwenden. Die Konfiguration ist wie folgt.
connector.class=io.confluent.connect.s3.S3SinkConnector
s3.region=eu-west-1
topics.dir=topics/dir
flush.size=200
tasks.max=2
s3.part.size=5242880
timezone=GMT
# value.converter.schema.registry.url=http://someIP:8081
key.converter.schemaName=my-topic-schema
locale=US
format.class=io.confluent.connect.s3.format.parquet.ParquetFormat
value.converter.schemaName=my-topic-schema
value.converter=io.confluent.connect.avro.StringConverter
s3.bucket.name=my-bucket
key.converter=io.confluent.connect.avro.StringConverter
# key.converter.schema.registry.url==http://someIP:8081
partition.duration.ms=3600000
schema.compatibility=BACKWARD
topics=osb
value.converter.registry.name=Glue-Schema-Registry
key.converter.registry.name=Glue-Schema-Registry
key.converter.schemas.enable=true
partitioner.class=io.confluent.connect.storage.partitioner.TimeBasedPartitioner
value.converter.schemas.enable=true
storage.class=io.confluent.connect.s3.storage.S3Storage
rotate.schedule.interval.ms=0
path.format='year'=YYYY/'month'=MM/'day'=dd/'hour'=HH
timestamp.extractor=RecordField
timestamp.field=timestamp
Zuerst habe ich die konfluente Schemaregistrierung verwendet, die auf einem EC2 ausgeführt wurde, dessen IP ich im Feld "key/value.converter.schema.registry.url" hinzugefügt habe, und es hat gut funktioniert. Jetzt versuche ich, Glue Schema Registry zu verwenden. Aber ich weiß nicht, wie ich den Connector mit der Glue Schema Registry verbinden soll.
Lösung des Problems
Diese Klassen existieren nicht
key.converter=io.confluent.connect.avro.StringConverter
value.converter=io.confluent.connect.avro.StringConverter
Der StringConverter
Klassenname beginnt mitorg.apache.kafka
In ähnlicher Weise sieht es so aus, als hätten Sie eine Reihe zufälliger Konvertereigenschaften hinzugefügt, die abgesehen von der URL für den String- oder Confluent Avro-Konverter nicht gültig sind
Um Glue zu verwenden, müssen Sie AWSKafkaAvroConverter
, das Teil dieses Repos ist, verwenden.
https://github.com/awslabs/aws-glue-schema-registry/tree/master/avro-kafkaconnect-converter
Und ist hier dokumentiert
https://docs.aws.amazon.com/glue/latest/dg/schema-registry-integrations.html#schema-registry-integrations-apache-kafka-connect
Keine Kommentare:
Kommentar veröffentlichen