profile
Mechanical & Computer Science

2022 1분기 회고

제조 데이터 검색엔진 프로젝트 중도 참여 ( 2월 ~)백엔드 및 데이터 엔지니어 포지션 역할 애자일하게 개발하고, 사내에 없던 코드리뷰나 개발 명세서 작성 등의 경험애자일 코치(SR)님에게 수시로 피드백 받기대학원을 진학해보고자하는 이유는 아래와 같다.(1) 논문을 작

2022년 5월 6일
·
0개의 댓글

[SQL-TUNING] 조인 튜닝 - Sub Query

앞선 쿼리 튜닝들의 경우 두세 개 테이블을 단순한 형태로 조인하는 예제만 다루었다.실무에서는 복잡한 서브쿼리와 조인하는 형태를 흔히 보게 된다.옵티마이저가 서브쿼리 조인을 어떻게 처리하는 지 이해할 필요가 있고, 이를 통해 튜닝을 진행해야 한다.쿼리 변환이란, 의미상으

2022년 4월 4일
·
0개의 댓글

[SQL-TUNING] 조인 튜닝 - HASH Join

NL 조인은 인덱스 구성에 따라 속도차이가 심하게 나타난다.인덱스를 아무리 완벽하게 구사했더라도, 랜덤 I/O 때문에 대량의 데이터 처리에 불리하고, 버퍼캐시 히트율에 따라 들쭉날쭉한 성능을 보인다.소트 머지 조인과 해시 조인은 조인 과정에서 인덱스를 이용하지 않기 때

2022년 4월 3일
·
0개의 댓글

[SQL-TUNING] 조인 튜닝 - NL & SORT MERGE

앞선 포스팅들에서 인덱스와 관련된 내용들을 정리했다.조인은 테이블간의 관계를 이용해서 우리가 원하는 쿼리를 반환하는 것을 의미한다.일반적으로 카타시안곱을 사용하기 때문에, 대량의 데이터의 경우 문제가 생길 수 있다.이를 해결하기 위해 조인에 관해서 튜닝을 할 줄 알아야

2022년 4월 1일
·
0개의 댓글

[SQL-TUNING] 테이블 엑세스 최소화 (3)

데이터베이스 트랜잭션에 큰 영향을 끼치는 인덱스의 중요성은 아무리 강조해도 지나치지 않다.많은 경험과 고도의 기술력이 요구되는 영역이다.세밀한 인덱스의 원리에 대한 이해와 더불어 많은 경험이 필요로 되는 분야이다.이번 포스트에서는 전략적 설계의 필요성과 방법론에 대해서

2022년 3월 31일
·
0개의 댓글

[SQL-TUNING] 테이블 엑세스 최소화 (2)

이번 챕터는 인덱스 스캔 과정에 대해서 알아보고, 인덱스 스캔의 효율성을 높이는 방안에 대해서 설명한다. 사전지식으로 카디널리티 에 대해 간단하게 알아보고 넘어가자중복도가 낮으면, 카디널리티가 높다.중복도가 높으면, 카디널리티가 낮다.예를들면 주민번호는 카디널리티가 높

2022년 3월 30일
·
0개의 댓글

[SQL-TUNING] 테이블 엑세스 최소화 (1)

앞 포스팅에서 언급한 것 처럼, SQL 튜닝은 RANDOM I/O를 최소화 하는 것이다.이를 위한 방법들에 대해서 2번의 포스팅에 나누어 정리해보고자 한다.인덱스는 만능이 아니다.오히려 느려질 수 있다. 이전 포스팅에서 index range scan, index ful

2022년 3월 29일
·
0개의 댓글

[SQL-TUNING] 인덱스 구조 및 탐색

인덱스의 구조와 탐색 원리에 대해서 간략하게 기록해보고자 한다. 인덱스에 대한 명확한 그림을 제시하는 챕터로 다음 챕터에서 소개할 인덱스 튜딩에 기초가 되는 내용들을 기록할 것이다.인덱스 탐색 과정이 수직적 탐색과 수평적 탐색 두단계로 이루어진다는 것이 이번 포스팅의

2022년 3월 28일
·
0개의 댓글

[SQL-TUNING] SQL 처리과정의 I/O

업무과정에서 오라클 최적화를 위한 튜닝 공부를 시작했다. 현재 개인적으로 진행하는 딥러닝 스터디와는 관련 전혀 없다. 기록으로 남기고자 이렇게 포스팅을 하고자 한다.참조하고 있는 도서는 아래와 같다.친절한 sql 튜닝이 포스팅 시리즈에서는 각 용어들 별로 예제와 자세한

2022년 3월 27일
·
0개의 댓글
post-thumbnail

[paper-review] seq2seq Learning with Neural Networks

4-layers LSTM을 사용해서 기존 RNN의 단점을 최소화 했다.Input/Output LSTM을 사용해서 (인코딩-디코딩) 도메인에 자유로움을 부여했다.Input Sequence의 단어의 순서를 바꿈으로써 정확도를 향상시켰다.기존의 Deep Learning의 I

2022년 3월 23일
·
0개의 댓글

[paper-review] 논문 리뷰 방식

논문에서 해결하고자 한 문제점이 무엇인지논문 간단한 요약 및 시행착오Keywords, Insight, last papers... 파악하기간단한 결과위 4가지를 중점적으로 이해한다.보통 새로운 접근법이나 자신만의 독특한 네트워크 등 방법이 존재할 것이다. 이를 바탕으로

2022년 3월 23일
·
0개의 댓글
post-thumbnail

System Design - (6) : Alarm System design

최신 뉴스, 업데이트 정보, 이벤트, 선물 등 고객에게 중요할 만한 정보를 비동기적으로 제공한다.단순히 모바일 푸시 알림에 한정되지 않는다.하루에 백만건 이상의 알림이 처리하는 확장성 높은 시스템을 구축한다.푸시알림, SMS 메시지 등으로 구성되어 있다.실시간 타임이라

2022년 3월 3일
·
0개의 댓글
post-thumbnail

System Design - (5) : Web Crawler design

웹 크롤러는 로봇, 스파이더라고 부른다.검색엔진에서 널리 쓰는 기술로, 웹에 새로 올라오거나 갱신된 콘텐츠를 찾아내는 것이 주된 목적이미지나 비디오, PDF 파일 일 수 있음이용사례는 아래와 같다.검색 엔진 인덱싱 : 로컬 인덱스를 만듬웹 아카이빙 : 나중에 사용할 목

2022년 3월 3일
·
0개의 댓글

Spring Basic - (0)

사내에서 백엔드 과제를 맡게 될 것 같다. NestJS 또는 Spring Boot 중 하나의 프레임워크를 사용할 것 같다. 그 이유는 여러가지가 있다.오픈소스레퍼런스 코드가 많은 편공식문서도 잘 준비 되어 있음객체지향적인 설계가 가능함 AOP 기능이 있어서 유지보수에

2022년 2월 22일
·
0개의 댓글
post-thumbnail

kafka - (1) : 카프카를 활용한 데이터 베이스 동기화

problem Solution 기초 용어 아키텍처 구성 파이프라이닝 장점 단점

2022년 2월 17일
·
0개의 댓글
post-thumbnail

NodeJS - (6) : nest.js 소개

REST API 기능 구현각 과제별 이종 데이터베이스 레플리케이션 이 후, REST API 구현검색엔진, 그래프 데이터베이스 REST API 구현admin, user 등 인증, 인가 기능 구현{ ... }uri(resource) + verb(Http Method) +

2022년 2월 17일
·
0개의 댓글
post-thumbnail

SQL - (17) : db replication

타 지역에 온프레미스 환경에서, 실시간으로 운영중인 sql-server(mssql)가 하나 존재이 데이터를 활용하여 독립적인 서비스를 하나 만들고자 함.독립적인 CRUD를 해당 sql-server에 접근하기에는 방화벽, 성능, 개발에 대한 자유도, 안정성 등 여러 이슈

2022년 2월 15일
·
0개의 댓글
post-thumbnail

System Design - (4) : Rate Limiter

클라이언트 또는 서비스가 보내는 처리율(rate)를 제어하기 위한 시스템 ⇒ API 요청 횟수가 제한 장치에 정의된 임계치(threshold)를 넘어서면 추가로 도달한 모든 호출은 처리가 중단 (HTTP 인 경우 상태 코드 429를 반환) DoS(Denial of

2022년 1월 24일
·
0개의 댓글

System Design - (3) : 시스템 설계 면접 팁

설계 능력의 기술적 측면 평가협력에 적합한 사람인지 확인압박이 심한 상황에서 대응모호한 문제를 건설적으로 해결할 수 있는지좋은 질문을 던질 능력이 있는지상황에 맞지 않는 over-engineering 을 하는지(비용 / 보안 등 여러 측면에서 tradeoff 고려)질문

2022년 1월 24일
·
0개의 댓글

MLDL - (5) : 자유도

우선, 모집단과 표본집단의 특징에 대해 알아야 한다. 전 세계 총인구의 IQ에 대해 모 분산을 측정했다고 하자. 전 세계 인원 80억 명 모두를 하나하나 IQ 테스트해서 모 분산을 구했다. 이는 실제 모집단 전체의 분산이다. 이제, 어떤 대학생 한 명이 전 세계 총인구

2022년 1월 19일
·
0개의 댓글