개요 처음으로 producer, consumer 를 개발하게 되었습니다. 문제 -> 테스트때문에 개발시간을 까먹고 있었습니다. 위 문제를 해결하기 위한 과정을 적어봅니다. 환경 스펙 spring boot : 3.1.2 spring kafka : 3.0.9 kafka

저는 사실 java 1.8... 에 머물러 있던 사람입니다.😭 그러나 다른 사람의 권유로 golang 을 추천해줬습니다. 그리고 k8s 클러스터를 구성하는 다양한 애플리케이션들을 보니까 go를 정말 많이 사용한다는 것을 알게되었습니다. 간단하게 예를들면 Argo,

일단 위 의미가 무엇인지 ? 인터넷에서 정말 다양한 말들이 있습니다. gitlab 을 사용중이라면 이것을 조심해라 docker registry 를 이용 분들이라면 한 번쯤은 위와 같은 err log를 봤을거라 생각합니다. 소개 저는 docker registry(h

이번 글은 간단한 글입니다. AWS를 처음 공부하시는 분들에게 책 하나 추천해드리고 싶습니다. 여기다가 글을 작성하면 ?

최근에 strimzi 를 통해 data hub 를 만드는 작업을 해보고 있엇습니다. 그리고 Connector 를 생성, 관리하는 면에서 마음에 들지 않는 부분이 있었습니다. 수많은 KafkaConnector(Strimzi)가 생길텐데 이것들을 소스레벨로 더해서 git으

전 포스티에서 connector 구현하던 중 애매하게 끝났던 부분이 있었습니다. strimzi 에서 KafkaConnect를 사용할 이미지를 커스텀하는 방법입니다. 해당 내용과 관련하여 정리해보고 실제로 connector 를 어떻게 구현했는지 공유해보겠습니다.Build

https://velog.io/@gsun/kafka작성중-이전 포스팅에선 local에서 kafka를 탐색해봤습니다. 하지만 kafka의 컨셉을 계속 보다보니 k8s 랑 어울리는 스택이더라고요. local에서 connect 1개를 테스트 해보려고 하니 … 최소

최근에 레이싱 데이터를 실시간으로 수집하여 모니터링으로 표현하는 영상을 봤습니다.카프카를 활용한 레이싱카 센서 실시간 수집 데이터 파이프라인 구축재밌어 보였습니다. 위 주제에서 주로 사용되는 kafka 에 대해서 컨셉, 구조, 간단한 코드들과 함께 설명해보려고 합니다.

니콜라스와 함께 무료로 Go 강의 봤습니다.관심생겨서 다시 공부하는 중에 Pointer가 혼란스러워서 정리합니다. 쉽고 빠른 Go 시작하기 – 노마드 코더 Nomad Coders예제로 배우는 Go 프로그래밍우선 코드를 먼저 봅시다. ( 저는 포인터를 글로만 이해를 하려

Firebase용 Cloud Functions는 Firebase 기능과 HTTPS 요청에 의해 트리거되는 이벤트에 응답하여 백엔드 코드를 자동으로 실행할 수 있는 서버리스 프레임워크입니다. 자바스크립트 또는 TypeScript 코드는 Google의 클라우드 서비스에 저

Firebase 인증역시나 정말 많은 포스팅이 있고 코드와 함께 보여주는 자료가 많이 있었습니다.Firebase Auth 설정과 로그인 & 로그아웃 구현 | thisyujeong.dev이밖에 다른 내용들도 많이 있으니 찾아보면 됩니다. firebase 의 auth 기능

파이어베이스(Firebase)는 구글(Google)에서 제공하는 모바일 및 웹 애플리케이션 개발 플랫폼으로, 백엔드 기능과 클라우드 서비스를 제공합니다. 파이어베이스를 사용하면 서버를 구축하거나 관리할 필요 없이, 앱 또는 웹 애플리케이션에 대한 백엔드 서비스를 쉽게

Alertmanager | Prometheus정확하게 알고 싶은 분들은 위 문서를 참고해주세요.저는 하다보니까 이런거라고 생각 됩니다. 메트릭정보를 기준으로 알림을 보내줄 수 있는 기능 입니다. ex. 현재 클러스터의 모든 노드들이 사용하는 cpu 코어의 % 가 90%

Overview | Grafana설명이 되어 있습니다. 다양한 datasource를 기준으로 데이터를 시각적으로 표현하는 역할을 수행합니다. 그렇다면 prometheus랑 어떻게 연동할 수 있을까 ? prometheus와 grafana를 이용한 통합모니터링 체계 구축참

Overview | Prometheus결론 적으로 말하면 모니터링을 데이터를 수집하는 역할을 합니다. architecture를 보면 큰 그림으로 이해가 됩니다. 아는 것만 적어보도록 하겠습니다. 60% 만 신뢰해주세요.jobs/exporters: 각각의 노드에서 베트릭

pipeline 중 gitlab-ci.yaml 스크립트를 작성하는 과정에서 생긴 문제를 공유합니다.위 스크립트는 안되던 스크립트를 수정하여 정상적으로 동작하는 스크립트입니다. 위에서 빨강색으로 칠한 부분들을 환경변수로 설정했었습니다. Lab 2: GitLab CI/CD

gitlab-ci 스크립트 (Error: error resolving source context: authentication required) 위 gitlab-ci.yaml 스크립트를 작성하다가 궁금한 점이 생겨서 간단하게 정리해봅니다.결과적으로 말하면 runner 환

Securing NGINX-ingress(https://cert-manager.io/docs/tutorials/acme/nginx-ingress/과거에 포털 api 개발을 했었습니다. 그리고 고객들은 기업, 기관, 학교 등이 있었습니다. 그래서 서버가 대부분

이번 파이프라인 포스팅의 내용들은 개인 공부를 위해 작업했던 내용입니다. 만약 이걸 서비스이 적용한다면 ?! → 예상컨대 수정해야할 부분들이 많아 보입니다. 예를 들자면 네트워트, ingress의 네임스페이스, 등등 지금도 찾고 있긴 하지만 제품레벨의 환경을 보게 된다

구성한 파이프라인이 정상적으로 돌아가는 아주 간단한 project로 테스트를 진행한다demo-chart.gitlab.ci-yamlDockerfile\[Kaniko] Gitlab CI를 위해 Docker 대신 사용할 수 있는 이미지 빌드 툴kaniko 참고한 내용입니다.