제조 데이터 검색엔진 프로젝트 중도 참여 ( 2월 ~)백엔드 및 데이터 엔지니어 포지션 역할 애자일하게 개발하고, 사내에 없던 코드리뷰나 개발 명세서 작성 등의 경험애자일 코치(SR)님에게 수시로 피드백 받기대학원을 진학해보고자하는 이유는 아래와 같다.(1) 논문을 작

앞선 쿼리 튜닝들의 경우 두세 개 테이블을 단순한 형태로 조인하는 예제만 다루었다.실무에서는 복잡한 서브쿼리와 조인하는 형태를 흔히 보게 된다.옵티마이저가 서브쿼리 조인을 어떻게 처리하는 지 이해할 필요가 있고, 이를 통해 튜닝을 진행해야 한다.쿼리 변환이란, 의미상으

NL 조인은 인덱스 구성에 따라 속도차이가 심하게 나타난다.인덱스를 아무리 완벽하게 구사했더라도, 랜덤 I/O 때문에 대량의 데이터 처리에 불리하고, 버퍼캐시 히트율에 따라 들쭉날쭉한 성능을 보인다.소트 머지 조인과 해시 조인은 조인 과정에서 인덱스를 이용하지 않기 때

앞선 포스팅들에서 인덱스와 관련된 내용들을 정리했다.조인은 테이블간의 관계를 이용해서 우리가 원하는 쿼리를 반환하는 것을 의미한다.일반적으로 카타시안곱을 사용하기 때문에, 대량의 데이터의 경우 문제가 생길 수 있다.이를 해결하기 위해 조인에 관해서 튜닝을 할 줄 알아야

데이터베이스 트랜잭션에 큰 영향을 끼치는 인덱스의 중요성은 아무리 강조해도 지나치지 않다.많은 경험과 고도의 기술력이 요구되는 영역이다.세밀한 인덱스의 원리에 대한 이해와 더불어 많은 경험이 필요로 되는 분야이다.이번 포스트에서는 전략적 설계의 필요성과 방법론에 대해서

이번 챕터는 인덱스 스캔 과정에 대해서 알아보고, 인덱스 스캔의 효율성을 높이는 방안에 대해서 설명한다. 사전지식으로 카디널리티 에 대해 간단하게 알아보고 넘어가자중복도가 낮으면, 카디널리티가 높다.중복도가 높으면, 카디널리티가 낮다.예를들면 주민번호는 카디널리티가 높

앞 포스팅에서 언급한 것 처럼, SQL 튜닝은 RANDOM I/O를 최소화 하는 것이다.이를 위한 방법들에 대해서 2번의 포스팅에 나누어 정리해보고자 한다.인덱스는 만능이 아니다.오히려 느려질 수 있다. 이전 포스팅에서 index range scan, index ful

인덱스의 구조와 탐색 원리에 대해서 간략하게 기록해보고자 한다. 인덱스에 대한 명확한 그림을 제시하는 챕터로 다음 챕터에서 소개할 인덱스 튜딩에 기초가 되는 내용들을 기록할 것이다.인덱스 탐색 과정이 수직적 탐색과 수평적 탐색 두단계로 이루어진다는 것이 이번 포스팅의

업무과정에서 오라클 최적화를 위한 튜닝 공부를 시작했다. 현재 개인적으로 진행하는 딥러닝 스터디와는 관련 전혀 없다. 기록으로 남기고자 이렇게 포스팅을 하고자 한다.참조하고 있는 도서는 아래와 같다.친절한 sql 튜닝이 포스팅 시리즈에서는 각 용어들 별로 예제와 자세한

4-layers LSTM을 사용해서 기존 RNN의 단점을 최소화 했다.Input/Output LSTM을 사용해서 (인코딩-디코딩) 도메인에 자유로움을 부여했다.Input Sequence의 단어의 순서를 바꿈으로써 정확도를 향상시켰다.기존의 Deep Learning의 I

논문에서 해결하고자 한 문제점이 무엇인지논문 간단한 요약 및 시행착오Keywords, Insight, last papers... 파악하기간단한 결과위 4가지를 중점적으로 이해한다.보통 새로운 접근법이나 자신만의 독특한 네트워크 등 방법이 존재할 것이다. 이를 바탕으로

최신 뉴스, 업데이트 정보, 이벤트, 선물 등 고객에게 중요할 만한 정보를 비동기적으로 제공한다.단순히 모바일 푸시 알림에 한정되지 않는다.하루에 백만건 이상의 알림이 처리하는 확장성 높은 시스템을 구축한다.푸시알림, SMS 메시지 등으로 구성되어 있다.실시간 타임이라

웹 크롤러는 로봇, 스파이더라고 부른다.검색엔진에서 널리 쓰는 기술로, 웹에 새로 올라오거나 갱신된 콘텐츠를 찾아내는 것이 주된 목적이미지나 비디오, PDF 파일 일 수 있음이용사례는 아래와 같다.검색 엔진 인덱싱 : 로컬 인덱스를 만듬웹 아카이빙 : 나중에 사용할 목

사내에서 백엔드 과제를 맡게 될 것 같다. NestJS 또는 Spring Boot 중 하나의 프레임워크를 사용할 것 같다. 그 이유는 여러가지가 있다.오픈소스레퍼런스 코드가 많은 편공식문서도 잘 준비 되어 있음객체지향적인 설계가 가능함 AOP 기능이 있어서 유지보수에

problem Solution 기초 용어 아키텍처 구성 파이프라이닝 장점 단점

REST API 기능 구현각 과제별 이종 데이터베이스 레플리케이션 이 후, REST API 구현검색엔진, 그래프 데이터베이스 REST API 구현admin, user 등 인증, 인가 기능 구현{ ... }uri(resource) + verb(Http Method) +

타 지역에 온프레미스 환경에서, 실시간으로 운영중인 sql-server(mssql)가 하나 존재이 데이터를 활용하여 독립적인 서비스를 하나 만들고자 함.독립적인 CRUD를 해당 sql-server에 접근하기에는 방화벽, 성능, 개발에 대한 자유도, 안정성 등 여러 이슈

클라이언트 또는 서비스가 보내는 처리율(rate)를 제어하기 위한 시스템 ⇒ API 요청 횟수가 제한 장치에 정의된 임계치(threshold)를 넘어서면 추가로 도달한 모든 호출은 처리가 중단 (HTTP 인 경우 상태 코드 429를 반환) DoS(Denial of

설계 능력의 기술적 측면 평가협력에 적합한 사람인지 확인압박이 심한 상황에서 대응모호한 문제를 건설적으로 해결할 수 있는지좋은 질문을 던질 능력이 있는지상황에 맞지 않는 over-engineering 을 하는지(비용 / 보안 등 여러 측면에서 tradeoff 고려)질문

우선, 모집단과 표본집단의 특징에 대해 알아야 한다. 전 세계 총인구의 IQ에 대해 모 분산을 측정했다고 하자. 전 세계 인원 80억 명 모두를 하나하나 IQ 테스트해서 모 분산을 구했다. 이는 실제 모집단 전체의 분산이다. 이제, 어떤 대학생 한 명이 전 세계 총인구