과거 대시보드 프로젝트를 할 당시 설계에 문제가 있었는지 조회 쿼리의 성능이 매우 안 좋아서 추출속도가 느리고 조인이 과부화가 걸렸던 경험이 있어, 해당 챕터를 좀 더 꼼꼼히 공부했던 것 같습니다.
성능 데이터 모델링의 개요
성능 데이터 모델링이란?
DB 성능향상을 목적으로 설계 단계의 데이터 모델링 때부터 정규화, 반정규화, 테이블통합, 테이블분할, 조인구조, PK, FK 등 여러 가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것을 말합니다.
분석/설계 단계에서 데이터 모델에 성능을 고려한 데이터 모델링을 수행할 경우 성능저하에 따른 재업무 비용을 최소화 할 수 있기에, 설계 시 필수적으로 고려되어야합니다.
데이터의 증가가 빠를수록 성능저하에 따른 성능개선 비용은 기하급수적으로 증가하게 됩니다.
성능 데이터 모델링 고려사항 순서
- 데이터 모델링을 할 때 정규화를 정확하게 수행
- DB 용량산정을 수행한다.
- DB에 발생되는 트랜잭션의 유형을 파악한다.
- 용량과 트랜잭션의 유형에 따라 반정규화를 수행
- 이력모델의 조정, PK/FK조정, 슈퍼/서브타입 조정
- 성능관점에서 데이터 모델을 검증한다.
정규화
정규화란?
정규화를 하는 것은 기본적으로 데이터에 대한 중복성을 제거하여 주고 데이터가 관심사별로 처리되는 경우가 많기 때문에 성능이 향상되는 특징을 가지고 있습니다.
물론 엔터티가 계속 발생되므로 SQL문장에서 조인이 많이 발생하여 이로 인한 성능저하가 나타나는 경우도 있지만 이런 부분은 사례별로 유의하여 반정규화를 적용하는 전략이 필요합니다.
- 1차 정규화 : 같은 성격, 내용컬럼이 연속될 때 컬럼 제거, 테이블 생성
중복속성 값을 제거함
- 2차 정규화 : PK 복합키 구성일 때 부분적 함수 종속 관계 테이블 분리
부분함수의 종속성 제거
- 3차 정규화 : PK가 아닌 일반 컬럼에 의존하는 컬럼 분리
이행함수 종속성을 제거하는 과정
- 보이스 코드 정규화:모든 결정자가 후보키(유일, 최소)여야 한다.
일단 결정자라 함은 릴레이션 내에서 다른 속성을 결정할 수 있는 것입니다.
예를 들면 (이름, 주민등록번호)로 구성된 릴레이션이 있다고 했을 때, 이름 속성은 동명이인이 있을 수 있으므로 주민등록번호 속성을 결정하지 못합니다.
하지만 주민등록번호 속성은 릴레이션에서 유일하기 때문에 이름 속성을 결정할 수 있습니다.
이렇게 한 속성이 다른 속성을 유일하게 결정할 수 있을 때 결정자라 합니다.
함수의 종속성(Functional Dependency)
데이터들이 어떤 기준값에 의해 종속되는 현상을 지칭하는 것입니다. 이 때 기준값을 결정자(Determinant)라 하고 종속되는 값을 종속자(Dependent)라고 합니다.
반정규화
반정규화란?
반정규화를 정의하면 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발(Development)과 운영(Maintenance)의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미합니다.
협의의 반정규화는 데이터를 중복하여 성능을 향상시키기 위한 기법이라고 정의할 수 있고 좀 더 넓은 의미의 반정규화는 성능을 향상시키기 위해 정규화된 데이터 모델에서 중복, 통합, 분리 등을 수행하는 모든 과정을 의미합니다.
-
조회 시 디스크 I/O가 많거나 경로가 멀어 조인에 의한 성능 저하를 막기 위해 수행합니다.
-
일반적으로 정규화시 입력/수정/삭제 성능이 향상되며 반정규화시 조인 성능이 향상됩니다.
-
무분별하게 칼럼의 반정규화를 많이 하게 되는 것은 데이터에 대한 무결성을 깨뜨리는 결정적인 역할을 하는 경우가 많이 있습니다.
반정규화 절차
1. 반정규화 대상조사 (범위처리빈도수, 범위, 통계성)
-
자주 사용되는 테이블에 접근하는 프로세스의 수가 많고 항상 일정한 범위만을 조회하는 경우
-
테이블에 대량의 데이터가 있고 대량의 데이터 범위를 자주 처리하는 경우에 처리범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우
-
통계성 프로세스에 의해 통계 정보를 필요로 할 때 별도의 통계테이블(반정규화 테이블)을 생성합니다.
-
테이블에 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우
2. 다른 방법유도 검토 (뷰, 클러스터링, 인덱스 조정)
-
VIEW 사용 : 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 VIEW를 사용한다. (VIEW가 성능향상X)
-
클러스터링 : 대량의 데이터처리나 부분처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나 인덱스를 조정합니다. (조회가 대부분일 때 클러스터링 적용)
-
파티셔닝 : 대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리할 수 있습니다. 파티셔닝 키에 의해 물리적 저장공간 분리합니다.
-
캐시 : 응용 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상시킬 수 있다.
3. 반정규화 적용
대량 데이터에 따른 성능
대량 데이터발생에 따른 테이블 분할 개요
아무리 설계가 잘되어 있는 데이터 모델이라고 하더라도 대량의 데이터가 하나의 테이블에 집약되어 있고 하나의 하드웨어 공간에 저장되어 있으면 성능저하를 피하기가 힘듭니다.
일의 처리되는 양이 한군데에 몰리는 현상은 어떤 업무에 있어서 중요한 업무에 해당되는 데이터가 특정 테이블에 있는 경우에 발생이 되는데 이런 경우 트랜잭션이 분산 처리될 수 있도록 테이블 단위에서 분할의 방법을 적용할 필요가 있습니다.
한 테이블에 많은 수의 칼럼을 가지고 있는 경우
칼럼이 많아지게 되면 물리적인 디스크에 여러 블록에 데이터가 저장되게 된다. 따라서 데이터를 처리할 때 여러 블록에서 데이터를 I/O해야 하는 즉 SQL문 장의 성능이 저하될 수 특징을 가지게 됩니다.
많은 칼럼을 가지고 있는 테이블에 대해서는 트랜잭션이 발생될 때 어떤 칼럼에 대해 집중적으로 발생하는지 분석하여 테이블을 쪼개어 주면 디스크 I/O가 감소하게 되어 성능이 개선됩니다.
-
로우 체이닝 : 로우의 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 하나의 로우가 저장되어 있는 형태를 말합니다.
-
로우 마이그레이션 : 데이터블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식을 말합니다.
로우 체이닝과 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 DB 메모리에서 디스크 I/O가 발생할 때 많은 I/O가 발생하여 성능저하 발생 트랜잭션을 분석하여 적절하게 1:1관계로 분리함으로 써 성능향상이 가능하도록 해야 합니다.
대량 데이터 저장 및 처리
테이블에 많은 양의 데이터가 예상될 경우, 파티셔닝을 적용하거나 PK에 의해 테이블을 분할하는 방법을 적용할 수 있습니다. Oracle의 경우 크게 LIST PARTITION (특정값 지정), RANGE PARTITION(범위), HASH PARTITION(해쉬적용), COMPOSITE PARTITION(범위와 해쉬가 복합) 등이 가능합니다.
-
RANGE PARTITION : 대상 테이블이 날짜 또는 숫자값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리되는 경우
ex) 요금일자의 년+월을 이용 하여 12개의 파티션 테이블을 만들기 (요금_0401) -
LIST PARTITION : 지점, 사업소 등 핵심적인 코드값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우
ex) 지역을 나타내는 사업소코드별로 테이블 만들기 (고객_서울) -
HASH PARTITION : 지정된 HASH 조건에 따라 해싱 알고리즘이 적용되어 테이블이 분리되며 설계자는 테이블에 데이터가 정확하게 어떻게 들어갔는지 알 수 없다
테이블에 대한 수평/수직분할의 절차
- 데이터 모델링을 완성한다.
- DB 용량산정을 한다.
- 대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석합니다.
- 칼럼 단위로 집중화된 처리가 발생하는지, 로우 단위로 집중화된 처리가 발생하는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토합니다.
- 컬럼 많음 -> 1:1 분리
- 데이터 많음 -> 파티셔닝
데이터베이스 구조와 성능
슈퍼/서브 타입 모델
업무를 구성하는 데이터를 공통과 차이점의 특징을 고려하여 효과적 표현하는 논리적 모델입니다.
공통의 부분을 슈퍼타입으로 모델링하고 공통으로부터 상속받아 다른 엔터티와 차이가 있는 속성에 대해서는 별도의 서브엔터티로 구분하여 업무의 모습을 정확하게 표현하면서 물리적인 데이터 모델로 변환을 할 때 선택의 폭을 넓힐 수 있는 장점이 있습니다.
- 슈퍼 타입 : 공통 부분
- 서브 타입 : 공통으로부터 상속받아 다른 엔터티와 차이가 있는 속성
슈퍼/서브 타입 데이터 모델의 변환기술
-
개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성 (OneToOne Type)
-
슈퍼타입+서브타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼+서브타입 테이블로 구성 (Plus Type)
-
전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 구성 (Single Type, All in One Type)
인덱스 특성을 고려한 PK/FK DB 성능향상
인덱스의 특징은 여러 개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속성의 값이 비교자 로 있어야 좋은 효율을 나타냅니다.
앞쪽에 위치한 속성의 값이 가급적 ‘=’ 아니면 최소한 범위 ‘BETWEEN’ ‘<>’ 가 들어와야 효율적입니다.
물리적인 테이블에 FK제약이 걸려있지 않을 경우 인덱스 미생성으로 성능저하
보통 기본키와 외래 키에 대해서는 자동으로 인덱스 테이블이 생성되기 때문에 별도로 인덱스를 만들어줄 필요가 없습니다. 하지만 개념상 외래 키에 해당하는 속성을 외래 키로 설정하지 않고 사용하는 경우는 검색 속도를 높이기 위해 인덱스를 만들어주어야 합니다.
물리적인 테이블에 FK를 사용하지 않아도 데이터 모델 관계에 의해 상속받은 FK속성들은 SQL WHERE 절에서 조인으로 이용되는 경우가 많이 있으므로 FK 인덱스를 생성해야 성능이 좋은 경우가 빈번합니다.
물리적인 테이블에 FK제약을 걸었을 때는 반드시 FK인덱스를 생성하도록 하고 FK제약이 걸리지 않았을 경우에는 FK인덱스를 생성하는 것을 기본정책으로 하되 발생되는 트랜잭션에 의해 거의 활용되지 않았을 때에만 FK인덱스를 지우는 방법으로 하는 것이 적절한 방법입니다.
분산 데이터베이스
분산 DB란?
분산 데이터베이스는 데이터베이스를 연결하는 빠른 네트워크 환경을 이용하여 데이터베이스를 여러 지역 여러 노드로 위치시켜 사용성/성능 등을 극대화 시킨 데이터베이스라고 정의할 수 있습니다.
분산 DB를 만족하기 위한 6가지 투명성
-
분할 투명성(단편화) : 하나의 논리적 Relation이 여러 단편으로 분할되어 각 사본이 여러 site에 저장
-
위치 투명성 : 사용하려는 데이터의 저장 장소 명시 불필요, 위치정보가 시스템 카탈로그에 유지
-
지역사상 투명성 : 지역 DBMS와 물리적 DB 사이의 Mapping 보장
-
중복 투명성 : DB 객체가 여러 site에 중복 되어 있는지 알 필요가 없는 성질
-
장애 투명성 : 구성요소의 장애에 무관한 트랜잭션의 원자성 유지
-
병행 투명성 : 다수 트랜잭션 동시 수행시 결과의 일관성 유지, TimeStamp, 분산 2단계 Locking 이용
분산 DB 장-단점
분산 DB 적용 기법
1. 테이블 위치 분산 : 설계된 테이블을 본사와 지사 단위로 분산, 위치별 DB문서 필요
2. 테이블 분할 분산 : 각각의 테이블을 쪼개어 분산
- 수평분할 : 로우 단위로 분리, 지사별로 다를때, 중복X
- 수직분할 : 칼럼 단위로 분리, 각 테이블에 동일 PK 있어야 함.
3. 테이블 복제 분산 : 동일한 테이블을 다른 지역이나 서버에서 동시에 생성하여 관리하는 유형
- 부분복제 : 마스터 DB에서 테이블의 일부의 내용만 다른 지역이나 서버에 위치
- 광역복제 : 마스터 DB 테이블의 내용을 각 지역이나 서버에 존재
4. 테이블 요약 분산 : 지역 간에 또는 서버 간에 데이 터가 비슷하지만 서로 다른 유형으로 존재하는 경우
- 분석요약 : 동일한 테이블 구조를 가지고 있으면서 분산되어 있는 동일한 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식, ex) 판매실적 지사A, 지사B
- 통합요약 : 분산되어 있는 다른 내용의 데이터를 이 용하여 통합된 데이터를 산출하는 방식 ex) 판매실적 지사A:C제품, 지사B:D제품
출처: SQL 전문가 가이드 서적
