👨‍👧‍👦 Kafka 와 JDBC Connect 설치 및 환경 확인

🐟 시작하기에 앞서..

설치에 앞서 굉장히 실패를 많이 하게 되어 다른 사람들은 그렇게 되지 않았으면 하는 마음에 굉장히 꼼꼼히 작성할것이다. 

• 필자는 이미 한 번 진행을 하게 되어 파일이 모두 있다...하지만 최대한 알 수 있도록 노력하여 작성해본다.
• 환경은 윈도우이며 폴더는 C드라이브에 만들어진 kafka폴더를 이용해서 진행할 예정이다
• 윈도우의 환경으로 인해 bin/windows 의 경로에서 진행할 것이다.

---

🐟 Zookeeper 와 Kafka server

우선 connect 설치를 하기 앞서 알아두어야 하는 것은 주키퍼와 카프카서버는 열려있어야 한다는 조건이 있다.

주키퍼와 카프카를 정상적으로 설치했다면 kafka_버전으로 적힌 폴더가 있을 것이다. 

※ c/kafka/kafka_버전/bin/windows 가 현재 폴더 이다

Zookeeper 시작
./zookeeper-server-start.bat ../../config/zookeeper.properties
Kafka 시작
./kafka-server-start.bat ../../config/server.properties

 

로 실행을 먼저 해보자

---

🐟 Kafka Connect 설치

1. Kafka Connect 알집 설치와 알집 풀기

Kafka Connect 의 설치 폴더는 C:/kafka 이다

• 현재 폴더에 명령어를 통해 알집의 형태인 Kafka Connect 를 설치하고 알집을 풀것이다.
• 밑에 있는 로직을 순서대로 작성하면 된다

curl -O http://packages.confluent.io/archive/7.6/confluent-community-7.6.0.tar.gz
tar xvf confluent-community-7.6.0.tar.gz

• 이 두개를 순서대로 작성한다면 밑의 사진처럼 다운로드 된다.

• 그리고 confluent-7.6.0을 경로로 잡고 connect를 바로 실행해주면 된다.

 ./bin/windows/connect-distributed.bat ./etc/kafka/connect-distributed.properties

• 여기서 바로 실행이 된다면 정말정말 좋겠지만 세상은 그렇게 만만하지 않다 아가야 죄송합니다

 

---

 

2. 세상은 만만하지 않았다. 오류1 - Classpath is empty. ~

• 제일 처음 만나는 오류이다. 클래스패스가 비어있다고 말한다. 

해결 방법 ( Kafka\confluent-7.6.0\bin\windows\kafka-run-class.bat )

• 혹시 이걸 어떻게 여는지 모르겠다면 위에 적힌 경로에서 오른클릭으로 눌러 IDE로 실행한다.
• rem Classpath addition for core 의 문제 
  • 해당 파일을 source 파일로 다운받는 분들이 계실수 있다고 한다. 가장 밑에 코드처럼 변경해주면 된다
• rem Classpath addition for LSB style path
  • 이건 기존에 있는 코드가 아니다 추가로 작성해주어야 하는 코드이다.

 

오류를 잡았다면 다시 connect 를 실행해보자

 

 

---

 

3. 세상은 만만하지 않았다. 오류2 - Log4j 오류

• 두번쨰로 만난 오류이다. 설정파일의 오류이다. 우리가 properties가 문제가 발생하는 것이다.

해결 방법 ( Kafka\confluent-7.6.0\bin\windows\connect-distributed.bat )

• 이렇게 변경을 진행해주면 된다. 필자는 etc/kafka 가 아니라 다르게 작성되어있었다.

해당 오류까지 잡았다면 다시 실행해보자

 

---

 

4. 정상 작동 확인

• 이렇게 난잡하게 적힌 무언가가 바로 잘 시작되었다는 증거이다 ㅋㅋㅋㅋ 나이스 다들 이렇게 잘 되길 바랍니다.
• 그리고 나서 토픽의 리스트를 확인해보자

토픽 리스트 확인 방법
./kafka-topics.bat --bootstrap-server localhost:9092 --list

• 이렇게 기존에 없던 connect 가 달린 topic 이 생겼다는 것을 확인 할 수 있다.
• Kafka Connect 설치 완료!

 

---

 

🐟 JDBC Connector 설치

• 두번째로 jdbc connector를 설치해보자. 밑에 링크를 통해 다운을 받으면 된다. 물론 download installation 의 다운로드다

https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc

• 해당 파일은 물론 kafka 의 폴더에 설치를 진행할 것이다. 물론 이것은 알집형태의 파일이고 당연히 알집을 해제할 것이다. 물론 kafka 폴더에 해제하면 된다.
• 해당 폴더에서 필요한것은 바로 kafka-connect-jdbc 파일이다. 그전에 해야할 일이 있다.

 

---

 

1. plugin 변경 (C:\Kafka\confluent-7.6.0\etc\kafka\connect-distributed.properties)

• 다시 이쪽으로 와서 의아하겠지만 이 작업을 꼭 해주어야 한다

• 아마 초기셋팅에는 주석표시로 되어있을텐데 가장 마지막 줄에 존재한다. 역시 윈도우 파일이기에 macOS 랑은 표기법이 다르다. 어쨌든 lib의 경로까지 신경써서 작성해주면 된다.

 

---

 

2. mariadb-java-client.jar 파일 이동

• mariadb와 연동시켜줄 jar파일이 필요한데 이것은 따로 다운 받아 사용할 것이다. 밑에 링크를 통해 다운로드 받으면 된다. Java 와 최신버전을 확인하고 다운받으면 된다.

https://mariadb.com/downloads/connectors/connectors-data-access/java8-connector/

• 이번에는 원하는 경로 다운로드 폴더여도 상관없다 다운로드 받아주고 알집을 풀어주면 mariadb-java-client-버전.jar라는 파일이 생길 것이다. 이것을 옮겨줄건데 어디로 옮기냐가 중요하다.

\confluent-7.6.0\share\java\kafka

• 이곳으로 옮겨주면 된다 물론 앞은 이제 슬슬 알아서 생각할 것이라고 생각이 든다. 어차피 다운로드는 모두 잘 받았다는 전제하니까 앞의 경로까지 굳이 신경쓰지 않겠다. 
• 어쨌든 다운받은 마리아DB파일을 이곳으로 "복사해서 붙여넣기"해주면 된다. 물론 그냥 넣어줘도 된다.
  

 

---

 

🐟 끝

너무 갑작스레 끝나는거 같지만 이게 끝이다 다음으로 진행될 테스트는 이곳에서 진행될 예정이니 해당 글을 보면 같이 따라해볼수 있을것이다.