앞에서 만들었던 1부터 9999까지 숫자를 넣는 걸 이용.
홀수인 숫자만 다시 토픽으로 넣는 스트림 애플리케이션을 개발 예정
추후에 데이터 정해지면 해당 데이터에 맞게 개발 예정
스트림 애플리케이션을 실행하면 계속해서 이런 오류가 발생.
advertised.listener에 문제가 있다고 판단.
원래는 이렇게 dns를 이용해서 했는데 쿠버네티스 안에서만 통신이 가능하다. 테스트용으로 만들기 위해 IP로 변경
gradle을 이용하여 애플리케이션 개발 -> compile 명령어가 implementation으로 바뀜.
이런 오류를 만남...
gradle에 mainclass를 지정하고 쿠버네티스에 올렸는데 또 에러가 나옴
자바 패키지 경로 문제로 보인다.
gradle버전이 달라서 생기는 오류들을 모두 해결하고 .jar 파일을 생성 후 docker 이미지로 생성
정상적으로 실행이 된다.
테스트 해보면
6글자 이상으로 필터를 설정해서 6글자 이상의 데이터만 토픽에 저장이 된다.
{
"name":"test_mirror3",
"config": {
"connector.class": "org.apache.kafka.connect.mirror.MirrorSourceConnector",
"name":"test_mirror3",
"source.cluster.alias":"source",
"topics":"mirror3",
"source.cluster.bootstrap.servers":"kafka-broker-0.kafka-service.default.svc.cluster.local:9092 ,kafka-broker-1.kafka-service.default.svc.cluster.local:9092,kafka-broker-2.kafka-service.default.svc.cluster.local:9092",
"target.cluster.bootstrap.servers":"mirror-broker-0.mirror-service.default.svc.cluster.local:9093,mirror-broker-1.mirror-service.default.svc.cluster.local:9093,mirror-broker-2.mirror-service.default.svc.cluster.local:9093",
"producer.override.bootstrap.servers":"mirror-broker-0.mirror-service.default.svc.cluster.local:9093,mirror-broker-1.mirror-service.default.svc.cluster.local:9093,mirror-broker-2.mirror-service.default.svc.cluster.local:9093",
"offset-syncs.topic.replication.factor":"1",
"whitelist": "mirror2"
}
}
kubectl exec -it connect-0 -n debezium -- curl -X POST 10.36.0.5:8083/connectors/ -H "Content-Type:application/json" -d '{ "name": "conn6", "config": { "connector.class": "io.debezium.connector.mysql.MySqlConnector", "tasks.max": "1", "database.hostname": "35.78.222.244", "database.port": "3306", "database.user": "test", "database.password": "123", "database.server.id": "184059", "database.server.name": "dbserver", "database.include.list": "test", "schema.history.internal.kafka.bootstrap.servers": "kafka-broker-0.kafka-service.default.svc.cluster.local:9092 ,kafka-broker-1.kafka-service.default.svc.cluster.local:9092,kafka-broker-2.kafka-service.default.svc.cluster.local:9092","topic.prefix": "debezium_", "schema.history.internal.kafka.topic": "debezium" } }'
