kafka connect sink config

kafka confluent의 sink connector config 설정

출처: Kafka Connect Sink Configuration Properties for Confluent Platform
JDBC Sink Connector Configuration Properties

name

전역으로 사용될 유니크한 sink connector의 이름

• type: non-empty String

---

connector.class

이 커넥터를 위한 클래스 이름
org.apache.kafka.connect.connector.Connector의 서브클래스여야 한다.

• ex) java
  • io.confluent.connect.jdbc.JdbcSinkConnector
• type: string

connection.url

JDBC connection URL

• ex) jdbc mysql사용할 때
  • jdbc:mysql://127.0.0.1:3306/{name}

connection.user

JDBC connection user

connection.password

JDBC connection password

dialect.name

커넥터의 DB dialect 지정, 디폴트는 비어있으며 커넥터가 자동으로 JDBC connection URL을 보고 dialect를 결정함

• Valid Values: [, Db2DatabaseDialect, MySqlDatabaseDialect, SybaseDatabaseDialect, GenericDatabaseDialect, OracleDatabaseDialect, SqlServerDatabaseDialect, PostgreSqlDatabaseDialect, SqliteDatabaseDialect, DerbyDatabaseDialect, SapHanaDatabaseDialect, MockDatabaseDialect, VerticaDatabaseDialect]

---

Write

• insert.mode

  • valid values: insert, upsert, update
  • insert: 표준 SQL INSERT
  • upsert: INSERT OR IGNORE, pk.mode와 pk.fields를 필수로 정의해줘야 함
  • update: UPDATE

• batch.size

  • 얼마나 많은 레코드들을 테이블에 함께 추가할 것인지 결정
  • default: 3000

• delete.enabled

  • null 레코드 값을 삭제로 처리할지 여부
  • pk.mode: record_key 필수
  • default: false

DDL support

• auto.create
  • CREATE할 때, 테이블 자동 생성
• auto.evolve
  • ALTER할 때, 컬럼 자동 생성
  • default: false