[Spring] 스프링DB #2. 커넥션풀과 데이터소스 이해

bien·2023년 7월 11일
springDB
0

springDB

목록 보기
1/2

1. 커넥션 풀 이해

데이터베이스 커넥션을 매번 획득

데이터 커넥션 획득 과정

  1. 애플리케이션 로직은 DB 드라이버를 통해 커넥션을 조회한다.
  2. DB 드라이버는 DB와 TCP/IP 커넥션을 연결한다. 물론 이 과정에서 3 way handshake 같은 TCP/IP 연결을 위한 네트워크 동작이 발생한다.
  3. DB 드라이버는 TCP/IP 커넥션이 연결되면 ID, PW와 기타 부가정보를 DB에 전달한다.
  4. DB는 ID, PW를 통해 내부 인증을 완료하고, 내부에 DB 세션을 생성한다.
  5. DB는 커넥션 생성이 완료되었다는 응답을 보낸다.
  6. DB 드라이버는 커넥션 객체를 생성해서 클라이언트에 반환한다

이처럼 커넥션을 새로 만드는 과정은 매우 복잡하고 시간이 많이 소모되는 일이다. 이로 인해 사용자에게 좋지 않은 경험을 줄 수 있다.

이 같은 문제를 해결하기 위해, 커넥션을 미리 생성해두고 사용하는 커넥션 풀(커넥션을 관리하는 풀)을 사용할 수 있다.

커넥션 풀 초기화

애플리케이션 시작 시점에 필요한 커넥션을 미리 확보하여 풀에 보관. 일반적으로 10개를 확보한다. (서비스마다 다르다)

커넥션 풀의 연결 상태

커넥션 풀에 있는 커넥션은 TCP/IP로 DB와 커넥션이 연결되어있는 상태이기 때문에 언제든지 즉시 SQL을 DB로 전달할 수 있다.

커넥션 풀 사용

  • 애플리케이션 로직에서 DB 드라이버가 아니라, 이미 커넥션 풀에 생성되어있는 커넥션을 객체 참조로 가져다 쓴다.
  • 커넥션 풀에 커넥션을 요청하면 커넥션 풀은 자신이 가지고 있는 커넥션 중에 하나를 반환한다.

  • 커넥션 사용후 커넥션을 종료하는 것이 아니라, 다음에 다시 사용할 수 있도록 해당 커넥션을 그대로 풀에 반환하면 된다. (주의! 커넥션 종료가 아니라 커넥션이 살아있는 상태로 풀에 반환해야 한다.)

정리

  • 적절한 커넥션 풀 숫자: 여러 스펙(서비스 특징, 애플리케이션 서버 스팩, DB 서버 스펙 등등)에 따라 다르므로 성능 테스트로 결정해야 한다.
  • 커넥션풀은 서버당 최대 커넥션 수를 제한할 수 있다. : DB에 무한정 연결이 생성되는것을 막아주어 DB를 보호하는 효과가 있다.
  • 실무에서는 항상 기본으로 사용한다.
  • 직접 구현이 가능하나, 유용한 오픈소스 커넥션 풀이 많아 사용이 권장된다.
    • commons-dbcp2, tomcat-jdbc pool, HikariCP
  • 최근에는 거의 HikariCP를 사용하는 추세.

2. DataSource 이해

커넥션을 획득하는 다양한 방법

커넥션을 얻는 방법은 다양하다. 만약 DriverManager를 이용해 커넥션을 획득하다가 HikariCP 같은 커넥션 풀을 사용하도록 변경하면 의존관계의 변경으로 코드의 변경이 필요하다.

이 문제를 해결하기 위해 자바에서 DataSource라는 인터페이스를 제공한다.

커넥션을 획득하는 방법을 추상화

  • javax.sql.DataSource 인터페이스
  • DataSource 커넥션을 획득하는 방법을 추상화하는 인터페이스
  • 이 인터페이스의 핵심 기능은 커넥션 조회이다. (다른 기능도 있으나 크게 중요치 않다)

DataSource 핵심 기능만 축약

public interface DataSource {
	Connection getConnection() thorws SQLException;
}

정리

  • 대부분의 커넥션 풀은 DataSource 인터페이스를 구현해 둠
    • 따라서 개발자는 해당 인터페이스에 의존하도록 로직을 작성하고,
    • 커넥션 풀 구현 기술을 변경할 때 구현체만 변경하면 된다.
  • DriverManager는 해당 인터페이스를 사용하지 않으므로 직접 구현해야 한다.
    • 이를 보완하기 위해 스프링에서 DriverManagerDataSource라는 구현체를 제공한다.

3. DataSource 예제1 - DriverManager

ConnectionTest- 드라이버 매니저

package hello.jdbc.connection;
 import lombok.extern.slf4j.Slf4j;
 import org.junit.jupiter.api.Test;
 import java.sql.Connection;
 import java.sql.DriverManager;
 import java.sql.SQLException;
 import static hello.jdbc.connection.ConnectionConst.*;
 @Slf4j
 public class ConnectionTest {
 @Test
 void driverManager() throws SQLException {
        Connection con1 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        Connection con2 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        log.info("connection={}, class={}", con1, con1.getClass());
        log.info("connection={}, class={}", con2, con2.getClass());
 }
 }

ConnectionTest - 데이터소스 드라이버 매니저 추가

package hello.jdbc.connection;
 import lombok.extern.slf4j.Slf4j;
 import org.junit.jupiter.api.Test;
 import org.springframework.jdbc.datasource.DriverManagerDataSource;
 import javax.sql.DataSource;
 import java.sql.Connection;
 import java.sql.DriverManager;
 import java.sql.SQLException;
 import static hello.jdbc.connection.ConnectionConst.*;
 @Slf4j
 public class ConnectionTest {
 @Test
 void driverManager() throws SQLException {
        Connection con1 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        Connection con2 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        log.info("connection={}, class={}", con1, con1.getClass());
        log.info("connection={}, class={}", con2, con2.getClass());
 }
 @Test
 void dataSourceDriverManager() throws SQLException {
 //DriverManagerDataSource - 항상 새로운 커넥션 획득
        DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, 
USERNAME, PASSWORD);
 useDataSource(dataSource);
}
 private void useDataSource(DataSource dataSource) throws SQLException {
        Connection con1 = dataSource.getConnection();
        Connection con2 = dataSource.getConnection();
        log.info("connection={}, class={}", con1, con1.getClass());
        log.info("connection={}, class={}", con2, con2.getClass());
 }
 }

dataSourceDriverManager() - 실행 결과

DriverManagerDataSource - Creating new JDBC DriverManager Connection to 
[jdbc:h2:tcp:..test]
 DriverManagerDataSource - Creating new JDBC DriverManager Connection to 
[jdbc:h2:tcp:..test]
 connection=conn0: url=jdbc:h2:tcp://..test user=SA, class=class 
org.h2.jdbc.JdbcConnection
 connection=conn1: url=jdbc:h2:tcp://..test user=SA, class=class 
org.h2.jdbc.JdbcConnection
  • DataSource를 통해 커넥션을 획득하고 있다.

차이점

DriverManager

DriverManager.getConnection(URL, USERNAME, PASSWORD)
DriverManager.getConnection(URL, USERNAME, PASSWORD)

DataSource

void dataSourceDriverManager() throws SQLException {
    DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, 
USERNAME, PASSWORD);
 useDataSource(dataSource);
 }
 private void useDataSource(DataSource dataSource) throws SQLException {
    Connection con1 = dataSource.getConnection();
    Connection con2 = dataSource.getConnection();
    log.info("connection={}, class={}", con1, con1.getClass());
    log.info("connection={}, class={}", con2, con2.getClass());
 }
  • DriverManager: 커넥션 획득시 마다 URL, USERNAME, PASSWORD와 같은 파라미터를 계속 전달해야 한다.
  • DataSource: 처음 객체 생성시에만 필요한 파라미터를 넘겨두고, 커넥션 획득시 단순히 data.getConnection()만 호출하면 된다.

설정과 사용의 분리

  • 설정: URL, USERNAME, PASSWORD같은 부분을 입력하는 것. 설정과 관련된 속성들은 한 곳에 있는 것이 향후 변경에 더 유연하게 대처할 수 있다.

  • 사용: 설정은 고려하지 않고, getConnection()만 호출하여 사용할 수 있다.

  • 리포지토리는 DataSource만 의존하고, 속성은 몰라도 된다.

  • 애플리케이션을 개발하다보면 설정은 한 곳에서 하나 사용은 수많은 곳에서 하게 된다.

    • 객체를 설정하는 부분과, 사용하는 부분을 좀 더 명확히 분리할 수 있다.

4. DataSource 예제2 - 커넥션 풀

DatSource를 통해 커넥션 풀을 사용하는 예제

ConnectionTest - 데이터소스 커넥션 풀 추가

import com.zaxxer.hikari.HikariDataSource;

 @Test
 void dataSourceConnectionPool() throws SQLException, InterruptedException {
	 //커넥션 풀링: HikariProxyConnection(Proxy) -> JdbcConnection(Target)
    HikariDataSource dataSource = new HikariDataSource();
    dataSource.setJdbcUrl(URL);
    dataSource.setUsername(USERNAME);
    dataSource.setPassword(PASSWORD);
    dataSource.setMaximumPoolSize(10);
    dataSource.setPoolName("MyPool");
 
 	useDataSource(dataSource);
    Thread.sleep(1000); //커넥션 풀에서 커넥션 생성 시간 대기
}
  • HikariCP 커넥션 풀 사용: HikariDataSource는 DataSource 인터페이스를 구현
  • 커넥션 풀 최대 사이즈: 10, 풀의 이름: MyPool
  • 커넥션 풀의 커넥션 생성 작업은 별도의 쓰레드에서 작동한다. (애플리케이션 실행 속도에 영향을 주지 않기 위함)
    • 예제처럼 Thread.sleep(1000)을 통해 대기시간을 주어야 쓰레드 풀에 커넥션이 생성되는 로그를 확인할 수 있다.

실행결과

#커넥션 풀 초기화 정보 출력
HikariConfig - MyPool - configuration:
 HikariConfig - maximumPoolSize................................10
 HikariConfig - poolName................................"MyPool"
 
 #커넥션 풀 전용 쓰레드가 커넥션 풀에 커넥션을 10개 채움
[MyPool connection adder] MyPool - Added connection conn0: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn1: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn2: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn3: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn4: url=jdbc:h2:.. user=SA
 ...
 [MyPool connection adder] MyPool - Added connection conn9: url=jdbc:h2:.. user=SA
 
 #커넥션 풀에서 커넥션 획득1
 ConnectionTest - connection=HikariProxyConnection@446445803 wrapping conn0: 
url=jdbc:h2:tcp://localhost/~/test user=SA, class=class 
com.zaxxer.hikari.pool.HikariProxyConnection
 #커넥션 풀에서 커넥션 획득2
 ConnectionTest - connection=HikariProxyConnection@832292933 wrapping conn1: 
url=jdbc:h2:tcp://localhost/~/test user=SA, class=class 
com.zaxxer.hikari.pool.HikariProxyConnection

 MyPool - After adding stats (total=10, active=2, idle=8, waiting=0

HikariConfig

#커넥션 풀 초기화 정보 출력
HikariConfig - MyPool - configuration:
 HikariConfig - maximumPoolSize................................10
 HikariConfig - poolName................................"MyPool"

풀의 이름과 최대 풀 수 확인가능

MyPool connection adder

#커넥션 풀 전용 쓰레드가 커넥션 풀에 커넥션을 10개 채움
[MyPool connection adder] MyPool - Added connection conn0: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn1: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn2: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn3: url=jdbc:h2:.. user=SA
 [MyPool connection adder] MyPool - Added connection conn4: url=jdbc:h2:.. user=SA
 ...
 [MyPool connection adder] MyPool - Added connection conn9: url=jdbc:h2:.. user=SA
  • 별도의 쓰레드 활용헤 커넥션 풀에 최대 커넥션 풀 수(10) 까지 커넥션을 채우고 있다.
  • 커넥션 풀에 커넥션을 채우는 것은 상대적으로 오래걸리는 일이다. 애플리케이션 실행 시 풀이다 채워질때까지 대기하고 있으면 애플리케이션 실행 시간이 늦어진다.
    • 따라서 이렇게 별도의 쓰레드를 활용하여 커넥션 풀을 채워 애플리케이션의 실행시간에 영향을 주지 않는다.

커넥션 풀에서 커넥션 획득

 MyPool - After adding stats (total=10, active=2, idle=8, waiting=0
  • 커넥션 풀에서 커넥션을 획득하고 그 결과를 출력했다.
  • 여기선 커넥션 풀에서 2개를 획득하고 반환하지 않았다. 따라서 10개중 2개를 가지고 있는 상태이기에 active=2, 풀에서 대기 상태인 커넥션 idle=8을 확인할 수 있다.

5. DataSource 적용

MemberRepositoryV1

package hello.jdbc.repository;

 import hello.jdbc.domain.Member;
 import lombok.extern.slf4j.Slf4j;
 import org.springframework.jdbc.support.JdbcUtils;
 import javax.sql.DataSource;
 import java.sql.*;
 import java.util.NoSuchElementException;
 
 /**
 * JDBC - DataSource 사용, JdbcUtils 사용
 */
@Slf4j
 public class MemberRepositoryV1 {
	 private final DataSource dataSource;
	 public MemberRepositoryV1(DataSource dataSource) {
	 this.dataSource = dataSource;
 }
 
 //save()...
 //findById()...
 //update()....
 //delete()....
 
 private void close(Connection con, Statement stmt, ResultSet rs) {
        JdbcUtils.closeResultSet(rs);
        JdbcUtils.closeStatement(stmt);
        JdbcUtils.closeConnection(con);
 }
 
 private Connection getConnection() throws SQLException {
        Connection con = dataSource.getConnection();
        log.info("get connection={}, class={}", con, con.getClass());
 		return con;
 	}
 }
  • DataSource의존관계 주입
    • 외부에서 DataSource 주입받아서 사용한다.
    • 표준 인터페이스이기 때문에 사용하는 구현체가 변경되어도 코드의 변경이 필요 없다.
  • JdbcUtils 편의 메서드
    • connection, resultSet, stmt를 더 쉽게 닫을 수 있다.

MemberRepositoryV1Test

package hello.jdbc.repository;
 import com.zaxxer.hikari.HikariDataSource;
 import hello.jdbc.domain.Member;
 import lombok.extern.slf4j.Slf4j;
 import org.junit.jupiter.api.BeforeEach;
 import org.junit.jupiter.api.Test;
 import org.springframework.jdbc.datasource.DriverManagerDataSource;
 import java.sql.SQLException;
 import java.util.NoSuchElementException;
 import static hello.jdbc.connection.ConnectionConst.*;
 import static org.assertj.core.api.Assertions.assertThat;
 import static org.assertj.core.api.Assertions.assertThatThrownBy;
 @Slf4j
 class MemberRepositoryV1Test {
    MemberRepositoryV1 repository;
 @BeforeEach
 void beforeEach() throws Exception {
 //기본 DriverManager - 항상 새로운 커넥션 획득
//DriverManagerDataSource dataSource =
 //        new DriverManagerDataSource(URL, USERNAME, PASSWORD);
 //커넥션 풀링: HikariProxyConnection -> JdbcConnection
        HikariDataSource dataSource = new HikariDataSource();
        dataSource.setJdbcUrl(URL);
        dataSource.setUsername(USERNAME);
        dataSource.setPassword(PASSWORD);
        repository = new MemberRepositoryV1(dataSource);
 }
 @Test
 void crud() throws SQLException, InterruptedException {
        log.info("start");
 //save
        Member member = new Member("memberV0", 10000);
        repository.save(member);
 //findById
        Member memberById = repository.findById(member.getMemberId());
 assertThat(memberById).isNotNull();
 //update: money: 10000 -> 20000
        repository.update(member.getMemberId(), 20000);
        Member updatedMember = repository.findById(member.getMemberId());
 assertThat(updatedMember.getMoney()).isEqualTo(20000);
 //delete
        repository.delete(member.getMemberId());
 assertThatThrownBy(() -> repository.findById(member.getMemberId()))
 .isInstanceOf(NoSuchElementException.class);
 }
 }

DriverManagerDataSource 사용

get connection=**conn0**: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
 get connection=**conn1**: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
 get connection=**conn2**: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
 get connection=**conn3**: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
 get connection=**conn4**: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
 get connection=**conn5**: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

-DriverManagerDataSource 사용 시, 항상 새로운 커넥션이 생성되어 사용된다.

HikariDataSource 사용

get connection=HikariProxyConnection@xxxxxxxx1 wrapping conn0: url=jdbc:h2:... 
user=SA
 get connection=HikariProxyConnection@xxxxxxxx2 wrapping conn0: url=jdbc:h2:... 
user=SA
 get connection=HikariProxyConnection@xxxxxxxx3 wrapping conn0: url=jdbc:h2:... 
user=SA
 get connection=HikariProxyConnection@xxxxxxxx4 wrapping conn0: url=jdbc:h2:... 
user=SA
 get connection=HikariProxyConnection@xxxxxxxx5 wrapping conn0: url=jdbc:h2:... 
user=SA
 get connection=HikariProxyConnection@xxxxxxxx6 wrapping conn0: url=jdbc:h2:... 
user=SA
  • 커넥션 풀 사용시 conn0 커넥션이 재사용되고 있다.
  • 테스트는 순서대로 실행되므로 커넥션 사용 후 다시 되돌려주는 것을 반복한다. 따라서 conn0만 사용된다.
  • 동시에 여러 요청이 들어오면 여러 쓰레드에서 커넥션 풀의 커넥션을 다양하게 가져가는 상황을 확인할 수 있다.

DI+OCP 구현으로, 이후 구현체가 바뀌더라도 코드의 변경을 최소화할 수 있다!

connection을 close()하더라도 hikari connection이 감싸고 있어서 반환하는 로직이 안에 들어가있다.

profile
bien
Good Luck!
다음 포스트

[Spring] 스프링DB #1. JDBC

0개의 댓글