spring kafka dead letter queue 설정
spring kafka dead letter queue 설정 kafka 커넥터를 사용해서 dlq를 설정하는 방법이 있고 spring을 사용해서 컨슈머를 만들었으면 스프링을 통해서 dlq를 설정 하는 방법이 있다. spring에서 dlq를 설정하는 방법에 대해서 알아 보겠다. 스프링 부트를 사용하면 위와 같은 코드를 통해서
2 min read
kafka
10 posts
ErrorHandlingDeserializer 설정
ErrorHandlingDeserializer 설정 poll() 시에 deserializer가 메시지를 deserialize하는 데 실패하면 반환 전에 발생하기 때문에 Spring은 문제를 처리할 방법이 없다. 에러 메시지 위에 코드처럼 처음부터 객체를 받을때를 말하는것이다. 이런 문제를 해결하기 위해 ErrorHandl
2 min read
카프카 send 시 에러
카프카 send 시 에러 org.apache.kafka.common.InvalidRecordException: This record has failed the validation on broker and hence will be rejected. 위에 에러메시지시가 발생하면서 send가 되지 않았다 확인해 보니 kafka
1 min read
kafka meetup
kafka meetup kafka + elk 를 활용한 클로벌 서비스 쿼리 모니터링 현충헌 못들음 ㅜㅜ apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안 박상원 이부분은 너무 늦게 도착해서 마지막 QNA만 조금 들었다. 위에 발표자분 github 카프카 기반의 대규모 모니터링 플랫폼 개발이야기 임
2 min read
kafka 고승범님 발표
kafka 고승범님 발표 얼마전에 이직하셨음 ^^ 주키퍼 + 카프카 서비스 영속성? 데이터 일부 손실 데이터 정합성? key는 유니크하게 만들어야 되고 필요 없으면 none을 추천함 컨슈머에서 순서를 보장하지 않는다. 순차 보장은 파티션은 하나 카카오는 vip를 dns로 맵핑해서 사용함 9월 10월에 밋업 크게 할것임 참
1 min read
spring kafka consumer sample
spring kafka consumer sample 스프링 카프카로 간단한 consumer sample 프로그램 해볼려고 한다. 처음에는 카프카를 다운 받고 에 3번항목 토픽생성까지 한후에 스프링 컨슈머를 시작하면 간단하게 정보를 볼수있다. 일단 로컬에 환경을 맞춘다는 가정하에 코드를 만들었는데 프로퍼티에 spring.k
1 min read
spring kafka sample
spring kafka sample 스프링 카프카로 간단한 sample 프로그램 해볼려고 한다. 프로그램 자체는 스프링 카프카 자체 sample 코드를 사용하려고 한다. 그럼 먼저 카프카를 다운로드 하겠다. 압축을 푼후에 다음 명령어를 실행하겠다. 주키퍼 실행 실행이 되면 카프카를 실행하겠다. sample1 첫번째 샘플은
3 min read
카프카 Quickstart
카프카 Quickstart 이 튜토리얼은 당신이 기존의 Kafka 또는 ZooKeeper 데이터가 없다고 가정합니다. Kafka 콘솔 스크립트는 Unix 기반 및 Windows 플랫폼에서 서로 다르므로 Windows 플랫폼에서는 bin/대신 bin\windows\ 경로를 사용하고 스크립트 확장자는 .sh 대신 .bat 사
15 min read