[Clean Code] 13장 동시성

Intro

“객체는 처리의 추상화다. 스레드는 일정의 추상화다.” - 제임스 O. 코플리

• 동시성과 깔끔한 코드는 양립하기 어렵다.
• 스레드를 하나만 실행 하는 코드는 짜기가 쉽다.
• 겉으로 보기에는 멀쩡해 보이는 다중 스레드코드도 짜기 쉽다.
• 이런코드는 시스템이 부하를 받기 전까지 멀쩡 하게 돌아간다.
• 이 장에서는 concurrent 프로그래밍의 필요성, 어려움에 대해 논한다.
• 또한, 이런 어려움에 대처하고 깨끗한 코드를작성 하는 방법도 몇 가지 제안한다.
• 마지막으로, 동시성을 테스트하는 방법과 문제점을 논한다.

동시성이 필요한 이유?

• 동시성은 결합을 없애는 전략이다. 즉, 무엇과 언제를 분리하는 전략이다.
• 무엇과 언제를 분리하면 애플리케이션 구조와 효율이 극적으로 나아진다.
• 구조적인 관점에서 프로그램이 작은 협력 프로그램 여럿으로 보인다.
• 따라서 시스템을 이해하기가 쉽고 문제를 분리하기도 쉽다.
• 구조적 개선만을 위해 동시성을 채택하는 건 아니다.
• 응답 시간과 작업 처리량 개선이라는 요구사항으로 인해 사용하기도 한다.

미신과 오해

• 동시성은 항상 성능을 높여준다.
  • 대기 시간이 아주 길어 여러 스레드가 프로세서를 공유할 수 있거나
  • 여러 프로세서가 동시에 처리할 독립적인 계산이 충분히 많은 경우에만 성능이 높아진다.
• 동시성을 구현해도 설계는 변하지 않는다.
  • 단일 스레드 시스템과 다중 스레드 시스템은 설계가 판이하게 다르다.
  • 일반적으로 무엇과 언제를 분리하면 시스댐 구조가 크게 달라진다.
• 웹 또는 EJB 컨테이너를 사용하면 동시성을 이해할 필요가 없다.
  • 실제로는 컨테이너가 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알아야만 한다.

동시성과 관련된 타당한 생각 몇 가지

• 동시성은 다소 부하를 유발한다. 성능 측면에서 부하가 걸리며 코드도 더 짜야한다.
• 동시성은 복잡하다. 간단한 문제라도 동시성은 복잡하다.
• 일반적으로 동시성 버그는 재현하기 어렵다. 그래서 진짜 결함으로 간주되지 않고 일회성 문제로 여겨 무시하기 쉽다.
• 동시성을 구현하려면 흔히 근본적인 설계 전략을 재고해야 한다.

난관

// Code 1-1
public class X { 
  private int lastIdUsed;
  
  public int getNextId() {
    return ++lastIdUsed;
  }
}

• lastIdUsed 필드를 42로 설정한 다음， 두 스레드가 해당 인스턴스를 공유한다고 했을때
• getNextId(); 를 호출하면 결과는 아래 셋중 하나이다.
  • 1번 스레드는 43을 받고 2번 스레드는 44를 받는다. (lastIdUsed = 44)
  • 1번 스레드는 44를 받고 2번 스레드는 43을 받는다. (lastIdUsed = 44)
  • 1번 스레드, 2번 스레드 모두 43을 받는다. (lastIdUsed = 43)
• 대다수는 올바른 결과를 내지만, 문제는 잘못된 결과를 내놓는 일부가 존재한다는 것이다.

동시성 방어 원칙

단일 책임 원칙(Single Responsibility Principle, SRP)

• SRP는 주어진 메서드/클래스/컴포넌트를 변경할 이유가 하나여야 한다는 원칙 이다.
• 동시성 관련 코드는 다른 코드와 분리해야 한다.
• 동시성 구현시 고려 사항
  • 동시성 코드는 독자적인 개발, 변경, 조율 주기가 있다.
  • 동시성 코드에는 독자적인 난관이 있다. 다른 코드의 난관과 다르고 훨씬 어렵다.
  • 잘못 구현한 동시성 코드는 별의별 방식으로 실패한다.

따름 정리: 자료 범위를 제한하라

• 공유 객체를 시용하는 코드 내 임계영역(critical section)을 synchronized 키워드로 보호하라.
• 이런 임계영역의 수를 줄이는 기술이 중요하다.
• 공유자료를 수정하는 위치가 많을수록 커지는 문제
  • 보호할 임계영역을 빼먹는다. 그래서 공유 자료를 수정하는 모든 코드를 망가뜨린다.
  • 임계영역을 올바르게 보호했는지 확인하느라 똑같은 노력과 수고를 반복한다.
  • 찾기 어려운 버그가 더 찾기 어렵게 된다.

권장사항: 자료를 캡슐화하라. 공유 자료를 최대한 줄여라.

따름 정리: 자료 사본을 사용하라

• 공유 자료를 줄이려면 처음부터 공유하지 않는 방법이 제일 좋다.
• 어떤 경우에는 객체를 복사해 읽기 전용으로 사용하는 방법이 가능하다.
• 각 스레드가 객체를 복사해 사용한 후 한 스레드가 해당 사본에서 결과를 가져오는 방법도 가능하다.
• 객체를 복사하는 cost 가 공유 자원 동기화 cost 보다 작을 수 있다.

따름정리: 스레드는 가능한 독립적으로 구현하라

• 자신만의 세상에 존재하는 스레드를 구현한다. 즉, 다른 스레드와 자료를 공유 하지 않는다.
• 각 스레드는 클라이언트 요청 하나를 처리한다.
• 모든 정보는 비공유 출처에서 가져오며 로컬 변수에 저장한다.
• 그러면 각 스레드는 세상에 자신만 있는듯이 돌아갈 수 있다.

  권장사항: 독자적인 스레드로, 가능하면 다른 프로세서에서, 돌려도 괜찮도록 자료를 독립적인 단위로 분할하라.

라이브러리를 이해하라

• 자바5로 스레드 코드를 구현할때 고려사항
  • 스레드 환경에 안전한 컬렉션을 사용한다.
  • 서로 무관한 작업을 수행할 때에는 executor 프레임워크 사용하기
  • 가능하면 스레드가 차단(blocking)되지 않는 방법 사용하기
  • 일부 클래스 라이브러리는 스레드에 안전하지 못하다.

스레드 환경에 안전한 컬렉션

• java.util.concurrent 패키지가 제공하는 클래스는 다중 스레드 환경에서 사용해도 안전하며, 성능도 좋다.
• ConcurrentHashMap, ReentrantLock, Semaphore, CountDownLatch 등등

  권장사항: 자바의 경우 java.util.concurrent, java.util.concurrent.atomic, java.util.concurrent.locks 살펴보기

실행 모델을 이해하라

• 한정된 자원 (Bound Resource)
  • 다중 스레드 환경에서 사용하는 한정된 자원, ex. 데이터베이스 연결
• 상호 배제 (Mutual Exclusion)
  • 한 번에 한 스레드만 공유 자원을 사용할 수 있는 경우
• 기아 (Starvation)
  • 특정 스레드가 굉장히 오랫동안 또는 영원히 자원을 기다리는 경우
• 데드락 (Deadlock)
  • 여러 스레드가 서로가 끝나기를 기다리는 경우
• 라이브락 (Livelock)
  • 락을 거는 단계에서 각 스레드가 서로를 방해하는 경우

생산자-소비자

• 하나 이상 생산자 스레드가 정보를 생성해 빈 공간이 있으면 (없으면 대기) 버퍼나 대기열에 넣는다.
• 하나 이상 소비자 스레드가 대기열에서 정보가 있으면 (없으면 대기) 정보를 가져와 사용한다.
• 생산자 - 소비자 스레드가 사용하는 대기열은 한정된 자원
• 서로에게 시그널을 보내게 되는데, 잘못하면 둘 다 진행 가능하지만 무한정 대기만 할 수도 있다.

읽기-쓰기

• 읽기 스레드를 위한 주된 정보원으로 공유 자원 사용
• 쓰기 스레드가 공유 자원을 갱신 하는 경우
• 적절히 균형을 잡아 처리율을 적당히 높이고 기아를 방지하는 해법이 필요하다

식사하는 철학자들

• 기업 애플리케이션은 여러 프로세스가 자원을 얻으려 경쟁한다
• 주의해서 설계하지 않으면 데드락, 라이브락, 처리율 저하, 효율성 저하등의 상황을 겪을 수 있다.

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

• 동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾아내기 어려운 버그가 생긴다.
• 공유 클래스 하나에 통기화된 메서드가 여럿이라면 구현이 올바른지 다시 한번 확인해야 한다.

권장사항: 공유 객체 하나에는 메서드 하나만 사용하라

• 공유객체 하나에 여러 메서드가 필요한 경우
  • 클라이언트에서 잠금 : 클라이언트에서 첫 번째 메서드를 호출하기 전에 서버를 잠근다.
  • 서버에서 잠금 : 서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는 메서드를 구현한다.
  • 연결 서버 : 잠금을 수행하는중간단계 를 생성한다.

동기화하는 부분을 작게 만들어라

• 락은 스레드를 지연시키고 부하를 가중시킨다.
• synchronized 를 남발하면 안된다.
• 코드를 짤때는 임계영역수를 최대한 줄여야 한다.
• 그렇다고 임계영역 크기를 키우면 스레드 간에 경쟁이 늘어나고 프로그램 성능이 떨어진다.

올바른 종료 코드는 구현하기 어렵다

• 영구적으로 돌아가는 시스템을 구현하는 방법과 잠시 돌다 깔끔하게 종료하는 시스템을 구현하는 방법은 다르다.
• 깔끔하게 종료하는 코드는 올바로 구현하기 어렵다.
• 가장 흔히 발생하는 문제가 데드락이다. 즉, 스레드가 절대 오지 않을 시그널을 기다린다.
• 깔끔하게 종료하는 다중 스레드 코드를 짜야 한다면 시간을 투자해 올바로 구현하기 바란다.

권장사항: 종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현하라.
생각보다 오래 걸린다. 생각보다 어려우므로 이미 나온 알고리즘을 검토하라.

스레드 코드 테스트하기

• 코드가 올바르다고 증명하기는 현실적으로 불가능하다, 테스트가 정확성을 보장하지는 않는다.
• 그럼에도 충분한 테스트는 위험을 낮춘다. 이는 스레드가 하나일 경우 얘기다.
• 스레드가 둘 이상으로 늘어나면 상황은 급격하게 복잡해진다.

권장사항: 문제를 노출하는 테스트 케이스를 작성하라. 프로그램 설정과 시스템 설정과 부하를 바꿔가며 자주 돌려라.
테스트가 실패하면 원인을 추적하라. 다시 돌렸더니 통과하더라는 이유로 그냥 넘어가면 절대로 안 된다.

• 구체적인 여러 지침
  • 말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라
  • 다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자
  • 다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있게 스레드 코드를 구현하라
  • 다중 스레드를 쓰는 코드 부분을 상황에 맞게 조율할 수 있게 작성하라
  • 프로세서 수보다 많은 스레드를 돌려보라
  • 다른 플랫폼에서 돌려보라
  • 코드에 보조 코드(instrument)를 넣어 돌려라. 강제로 실패를 일으키게 해보라

말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라

• 다중 스레드 코드는 때때로 말이 안 되는 오류를 일으킨다.
• 많은 개발자가 하드웨어 문제, 단순한 ‘일회성’ 문제로 치부하고 무시한다.
• 일회성 문제란 존재하지 않는다고 가정하는 편이 안전하다.
• 일회성 문제를 계속 무시한다면 잘못된 코드 위에 코드가 계속 쌓인다.

권장사항: 시스템 실패를 ‘일회성’이라 치부하지 마라.

다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자

• 당연한 소리지만 다시 한 번 강조한다. 스레드 환경 밖에서 코드가 제대로 도는지 반드시 확인한다.
• 일반적인 방법으로, 스레드가 호출하는 POJO를 만든다. POJO는 스레드를 모른다.
• 따라서 스레드 환경 밖에서 테스트가 가능하다. POJO에 넣는 코드는 많을수록 더 좋다.

권장사항: 스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅하지 마라.
먼저 스레드 환경 밖에서 코드를 올바로 돌려라.

다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있게 스레드 코드를 구현하라

• 다중 스레드를 쓰는 코드를 다양한 설정으로 실행하기 쉽게 구현하라.
  • 한 스레드로 실행하거나, 여러 스레드로 실행하거나, 실행 중 스레드 수를 바꿔본다.
  • 스레드 코드를 실제 환경이나 테스트 환경에서 돌려본다.
  • 테스트 코드를 빨리, 천천히, 다양한 속도로 돌려본다.
  • 반복 테스트가 가능하도록 테스트 케이스를 작성한다.

권장사항: 다양한 설정에서 실행할 목적으로 다른 환경에 쉽게 끼워 넣을 수 있게 코드를 구현하라.

다중 스레드를 쓰는 코드 부분을 상황에 맞게 조율할 수 있게 작성하라

• 적절한 스레드 개수를 파악하려면 상당한 시행착오가 필요하다.
• 처음부터 다양한 설정으로 프로그램의 성능 측정 방법을 강구한다.
• 스레드 개수를 조율하기 쉽게 코드를 구현한다.
• 프로그램이 돌아가는 도중에 스레드 개수를 변경하는 방법도 고려한다.
• 프로그램 처리율과 효율에 따라 스스로 스레드개수를 조율하는 코드도 고민한다.

프로세서 수보다 많은 스레드를 돌려보라

• 시스템이 스레드를 스와핑(swapping)할 때도 문제가 발생한다.
• 스와핑을 일으키려면 프로세서 수보다 많은 스레드를 돌린다.
• 스와핑이 잦을수록 임계영역을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.

다른 플랫폼에서 돌려보라

• 다중 스레드 코드는 플랫폼에 따라 다르게 돌아간다.
• 따라서 코드가 돌아갈 가능성이 있는 플랫폼 전부에서 테스트를 수행해야 마땅하다.

권장사항: 처음부터 그리고 자주 모든 목표 플랫폼에서 코드를 돌려라.

코드에 보조 코드(instrument)를 넣어 돌려라. 강제로 실패를 일으키게 해보라

• 스레드 버그가 산발적이고 우발적이고 재현이 어려운 이유는 코드가 실행되는 수천 가지 경로 중에 아주 소수만 실패하기 때문이다.
• 보조코드를 추가해 코드가 실행되는 순서를 바꿔주어 오류를 좀 더 자주 일으킬수 있도록 할 수 있다.
  • Object.wait(), Object.sleep(), Object.yield(), Object.priority()...
• 각 메서드는 스레드가 실행되는 순서에 영향을 미친다.
• 코드에 보조 코드를 추가하는 방법은 두 가지다.
  • 직접 구현하기
  • 자동화 : AOP, CGLib, ASM 등등

결론

• 다중 스레드 코드는 올바로 구현하기 어렵다. 그러므로 각별히 깨끗하게 코드를 짜야 한다.
• SRP 준수하여야 하며 POJO를 사용해 스레드를 아는 코드와 스레드를 모르는 코드를 분리한다.
• 스레드 코드를 테스트할 때는 전적으로 스레드만 테스트한다
• 동시성 오류를 일으키는 잠정적 원인을 철저히 이해한다.
• 사용하는 라이브러리와 기본 알고리즘을 이해한다.
• 보호할 코드 영역을 찾아내는 방법과 특정 코드 영역을 잠그는 방법을 이해한다.
• 어떻게든 문제는 생긴다. 초반에 드러나지 않는 문제는 일회성으로 치부해 무시하면 안된다.
• 스레드 코드는 많은 플랫폼에서 많은 설정으로 반복해서 계속 테스트해야 한다.
• 시간을 들여 보조 코드를 추가하면 오류가 드러날 가능성이 크게 높아진다.

깔끔한 접근 방식을 취한다면 코드가 올바로 돌아갈 가능성이 극적으로 높아 진다.