13. 동시성Ⅰ

✍️ Overview

“객체는 처리의 추상화다. 스레드는 일정의 추상화다.” - 제임스 O. 코플리

• 동시성과 깔끔한 코드는 양립하기 어렵다.
• 스레드를 하나만 실행 하는 코드는 짜기가 쉽다.
• 겉으로 보기에는 멀쩡해 보이는 다중 스레드코드도 짜기 쉽다.
• 이런코드는 시스템이 부하를 받기 전까지 멀쩡 하게 돌아간다.
• 이 장에서는 concurrent 프로그래밍의 필요성, 어려움에 대해 논한다.
• 또한, 이런 어려움에 대처하고 깨끗한 코드를작성 하는 방법도 몇 가지 제안한다.
• 마지막으로, 동시성을 테스트하는 방법과 문제점을 논한다.

✍️ 동시성이 필요한 이유?

• 동시성은 결합을 없애는 전략이다. 즉, 무엇과 언제를 분리하는 전략이다.
• 무엇과 언제를 분리하면 애플리케이션 구조와 효율이 극적으로 나아진다.
• 구조적인 관점에서 프로그램이 작은 협력 프로그램 여럿으로 보인다.
• 따라서 시스템을 이해하기가 쉽고 문제를 분리하기도 쉽다.
• 구조적 개선만을 위해 동시성을 채택하는 건 아니다.
• 응답 시간과 작업 처리량 개선이라는 요구사항으로 인해 사용하기도 한다.

✅ 미신과 오해

• 동시성은 항상 성능을 높여준다.
  • 대기 시간이 아주 길어 여러 스레드가 프로세서를 공유할 수 있거나
  • 여러 프로세서가 동시에 처리할 독립적인 계산이 충분히 많은 경우에만 성능이 높아진다.
• 동시성을 구현해도 설계는 변하지 않는다.
  • 단일 스레드 시스템과 다중 스레드 시스템은 설계가 판이하게 다르다.
  • 일반적으로 무엇과 언제를 분리하면 시스댐 구조가 크게 달라진다.
• 웹 또는 EJB 컨테이너를 사용하면 동시성을 이해할 필요가 없다.
  • 실제로는 컨테이너가 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알아야만 한다.

동시성과 관련된 타당한 생각 몇 가지

• 동시성은 다소 부하를 유발한다. 성능 측면에서 부하가 걸리며 코드도 더 짜야한다.
• 동시성은 복잡하다. 간단한 문제라도 동시성은 복잡하다.
• 일반적으로 동시성 버그는 재현하기 어렵다. 그래서 진짜 결함으로 간주되지 않고 일회성 문제로 여겨 무시하기 쉽다.
• 동시성을 구현하려면 흔히 근본적인 설계 전략을 재고해야 한다.

✍️ 난관

// Code 1-1
public class X { 
  private int lastIdUsed;
  
  public int getNextId() {
    return ++lastIdUsed;
  }
}

• lastIdUsed 필드를 42로 설정한 다음， 두 스레드가 해당 인스턴스를 공유한다고 했을때
• getNextId(); 를 호출하면 결과는 아래 셋중 하나이다.
  • 1번 스레드는 43을 받고 2번 스레드는 44를 받는다. (lastIdUsed = 44)
  • 1번 스레드는 44를 받고 2번 스레드는 43을 받는다. (lastIdUsed = 44)
  • 1번 스레드, 2번 스레드 모두 43을 받는다. (lastIdUsed = 43)
• 대다수는 올바른 결과를 내지만, 문제는 잘못된 결과를 내놓는 일부가 존재한다는 것이다.

✍️ 동시성 방어 원칙

✅ 단일 책임 원칙(Single Responsibility Principle, SRP)

• SRP는 주어진 메서드/클래스/컴포넌트를 변경할 이유가 하나여야 한다는 원칙 이다.
• 동시성 관련 코드는 다른 코드와 분리해야 한다.
• 동시성 구현시 고려 사항
  • 동시성 코드는 독자적인 개발, 변경, 조율 주기가 있다.
  • 동시성 코드에는 독자적인 난관이 있다. 다른 코드의 난관과 다르고 훨씬 어렵다.
  • 잘못 구현한 동시성 코드는 별의별 방식으로 실패한다.

✅ 따름 정리: 자료 범위를 제한하라

• 공유 객체를 시용하는 코드 내 임계영역(critical section)을 synchronized 키워드로 보호하라.
• 이런 임계영역의 수를 줄이는 기술이 중요하다.
• 공유자료를 수정하는 위치가 많을수록 커지는 문제
  • 보호할 임계영역을 빼먹는다. 그래서 공유 자료를 수정하는 모든 코드를 망가뜨린다.
  • 임계영역을 올바르게 보호했는지 확인하느라 똑같은 노력과 수고를 반복한다.
  • 찾기 어려운 버그가 더 찾기 어렵게 된다.

권장사항: 자료를 캡슐화하라. 공유 자료를 최대한 줄여라.

✅ 따름 정리: 자료 사본을 사용하라

• 공유 자료를 줄이려면 처음부터 공유하지 않는 방법이 제일 좋다.
• 어떤 경우에는 객체를 복사해 읽기 전용으로 사용하는 방법이 가능하다.
• 각 스레드가 객체를 복사해 사용한 후 한 스레드가 해당 사본에서 결과를 가져오는 방법도 가능하다.
• 객체를 복사하는 cost 가 공유 자원 동기화 cost 보다 작을 수 있다.

✅ 따름정리: 스레드는 가능한 독립적으로 구현하라

• 자신만의 세상에 존재하는 스레드를 구현한다. 즉, 다른 스레드와 자료를 공유 하지 않는다.

• 각 스레드는 클라이언트 요청 하나를 처리한다.

• 모든 정보는 비공유 출처에서 가져오며 로컬 변수에 저장한다.

• 그러면 각 스레드는 세상에 자신만 있는듯이 돌아갈 수 있다.

  권장사항: 독자적인 스레드로, 가능하면 다른 프로세서에서, 돌려도 괜찮도록 자료를 독립적인 단위로 분할하라.

✍️ 라이브러리를 이해하라

• 자바5로 스레드 코드를 구현할때 고려사항
  • 스레드 환경에 안전한 컬렉션을 사용한다.
  • 서로 무관한 작업을 수행할 때에는 executor 프레임워크 사용하기
  • 가능하면 스레드가 차단(blocking)되지 않는 방법 사용하기
  • 일부 클래스 라이브러리는 스레드에 안전하지 못하다.

✅ 스레드 환경에 안전한 컬렉션

• java.util.concurrent 패키지가 제공하는 클래스는 다중 스레드 환경에서 사용해도 안전하며, 성능도 좋다.

• ConcurrentHashMap, ReentrantLock, Semaphore, CountDownLatch 등등

  권장사항: 자바의 경우 java.util.concurrent, java.util.concurrent.atomic, java.util.concurrent.locks 살펴보기

✍️ 실행 모델을 이해하라

• 한정된 자원 (Bound Resource)
  • 다중 스레드 환경에서 사용하는 한정된 자원, ex. 데이터베이스 연결
• 상호 배제 (Mutual Exclusion)
  • 한 번에 한 스레드만 공유 자원을 사용할 수 있는 경우
• 기아 (Starvation)
  • 특정 스레드가 굉장히 오랫동안 또는 영원히 자원을 기다리는 경우
• 데드락 (Deadlock)
  • 여러 스레드가 서로가 끝나기를 기다리는 경우
• 라이브락 (Livelock)
  • 락을 거는 단계에서 각 스레드가 서로를 방해하는 경우

✅ 생산자-소비자

• 하나 이상 생산자 스레드가 정보를 생성해 빈 공간이 있으면 (없으면 대기) 버퍼나 대기열에 넣는다.
• 하나 이상 소비자 스레드가 대기열에서 정보가 있으면 (없으면 대기) 정보를 가져와 사용한다.
• 생산자 - 소비자 스레드가 사용하는 대기열은 한정된 자원
• 서로에게 시그널을 보내게 되는데, 잘못하면 둘 다 진행 가능하지만 무한정 대기만 할 수도 있다.

✅ 읽기-쓰기

• 읽기 스레드를 위한 주된 정보원으로 공유 자원 사용
• 쓰기 스레드가 공유 자원을 갱신 하는 경우
• 적절히 균형을 잡아 처리율을 적당히 높이고 기아를 방지하는 해법이 필요하다

✅ 식사하는 철학자들

• 기업 애플리케이션은 여러 프로세스가 자원을 얻으려 경쟁한다
• 주의해서 설계하지 않으면 데드락, 라이브락, 처리율 저하, 효율성 저하등의 상황을 겪을 수 있다.

✍️ 동기화하는 메서드 사이에 존재하는 의존성을 이해하라

• 동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾아내기 어려운 버그가 생긴다.
• 공유 클래스 하나에 통기화된 메서드가 여럿이라면 구현이 올바른지 다시 한번 확인해야 한다.

권장사항: 공유 객체 하나에는 메서드 하나만 사용하라

• 공유객체 하나에 여러 메서드가 필요한 경우
  • 클라이언트에서 잠금 : 클라이언트에서 첫 번째 메서드를 호출하기 전에 서버를 잠근다.
  • 서버에서 잠금 : 서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는 메서드를 구현한다.
  • 연결 서버 : 잠금을 수행하는중간단계 를 생성한다.

클라이언트 기반 잠금(Client-Based Locking): 클라이언트가 첫 메서드를 부르기 이전부터 마지막 메서드를 부른 다음까지 서버를 잠근다. (역주: 공유 객체를 사용하는 코드에서 공유 객체를 잠그는 것이다.)
=> Bad: 서버를 사용하는 모든 클라이언트 코드에서 lock이 필요하게 되며 이는 유지보수 및 디버깅에 필요한 비용을 상승시킨다.

서버 기반 잠금(Server-Based Locking): 서버 내에서 서버(자신)을 잠그고 모든 동작을 수행한 후 잠금을 푸는 메서드를 제공한다. 클라이언트에게는 새로운 메서드를 제공한다. (역주: 공유 객체에 새로운 메서드를 작성하고 잠금이 필요한 동작 전체를 수행하게 하는 것이다.)
=> Good: Critical section에 접근하는 코드를 최소화해 위 4-2에 부합한다.

중계된 서버(Adapted Server): 잠금을 수행하는 중계자를 작성한다. 이는 기본적으로 서버 기반 잠금이지만 기존의 서버를 변경할 수 없는 상황에 사용할 수 있는 방법이다.(역주: 서드 파티 라이브러리를 사용한다고 생각하면 쉬울 것이다.)
=> Good: 서버 기반 잠금 방식을 사용할 수 없는 경우에 사용하자.

/* Code 2-1: 문제가 되는 상황 */

public class IntegerIterator implements Iterator<Integer> {
    private Integer nextValue = 0;
    
    public synchronized boolean hasNext() {
        return nextValue < 100000;
    }
    
    public synchronized Integer next() {
        if (nextValue == 100000)
            throw new IteratorPastEndException();
        return nextValue++;
    }
    
    public synchronized Integer getNextValue() {
        return nextValue;
    }
}

// Shared Resource
IntegerIterator iterator = new IntegerIterator();

// Threaded-Code
while(iterator.hasNext()) {
    // nextValue가 99999인 상황에서 두 스레드에서 순차적으로 while(iterator.hasNext())를 호출하게 되면
    // 두 스레드 모두 while문 안으로 진입하게 된다. 이는 예상되지 않은 결과이다.
    int nextValue = iterator.next();
    // do something with nextValue
}

/* Code 2-2: Client-Based Locking */

// Shared Resource
IntegerIterator iterator = new IntegerIterator();

// Threaded-Code
while (true) {
    int nextValue;
    synchronized (iterator) {
        if (!iterator.hasNext())
            break;
        nextValue = iterator.next();
    }
    doSometingWith(nextValue);
}

/* Code 2-3: Server-Based Locking */

public class IntegerIteratorServerLocked {
    private Integer nextValue = 0;
    
    public synchronized Integer getNextOrNull() {
        if (nextValue < 100000)
            return nextValue++;
        else
            return null;
    }
}

// Shared Resource
IntegerIterator iterator = new IntegerIterator();

// Threaded-Code
while (true) {
    Integer nextValue = iterator.getNextOrNull();
    if (next == null)
        break;
    // do something with nextValue
}

/* Code 2-4: Adapted Server */

public class ThreadSafeIntegerIterator {
    private IntegerIterator iterator = new IntegerIterator();
    
    public synchronized Integer getNextOrNull() {
        if(iterator.hasNext())
            return iterator.next();
        return null;
    }
}

// Threaded-Code는 위 Code 2-3과 동일

✍️ 동기화하는 부분을 작게 만들어라

• 락은 스레드를 지연시키고 부하를 가중시킨다.
• synchronized 를 남발하면 안된다.
• 코드를 짤때는 임계영역수를 최대한 줄여야 한다.
• 그렇다고 임계영역 크기를 키우면 스레드 간에 경쟁이 늘어나고 프로그램 성능이 떨어진다.

✍️ 올바른 종료 코드는 구현하기 어렵다

• 영구적으로 돌아가는 시스템을 구현하는 방법과 잠시 돌다 깔끔하게 종료하는 시스템을 구현하는 방법은 다르다.
• 깔끔하게 종료하는 코드는 올바로 구현하기 어렵다.
• 가장 흔히 발생하는 문제가 데드락이다. 즉, 스레드가 절대 오지 않을 시그널을 기다린다.
• 깔끔하게 종료하는 다중 스레드 코드를 짜야 한다면 시간을 투자해 올바로 구현하기 바란다.

권장사항: 종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현하라.
생각보다 오래 걸린다. 생각보다 어려우므로 이미 나온 알고리즘을 검토하라.

✍️ 스레드 코드 테스트하기

• 코드가 올바르다고 증명하기는 현실적으로 불가능하다, 테스트가 정확성을 보장하지는 않는다.
• 그럼에도 충분한 테스트는 위험을 낮춘다. 이는 스레드가 하나일 경우 얘기다.
• 스레드가 둘 이상으로 늘어나면 상황은 급격하게 복잡해진다.

권장사항: 문제를 노출하는 테스트 케이스를 작성하라. 프로그램 설정과 시스템 설정과 부하를 바꿔가며 자주 돌려라.
테스트가 실패하면 원인을 추적하라. 다시 돌렸더니 통과하더라는 이유로 그냥 넘어가면 절대로 안 된다.

• 구체적인 여러 지침
  • 말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라
  • 다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자
  • 다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있게 스레드 코드를 구현하라
  • 다중 스레드를 쓰는 코드 부분을 상황에 맞게 조율할 수 있게 작성하라
  • 프로세서 수보다 많은 스레드를 돌려보라
  • 다른 플랫폼에서 돌려보라
  • 코드에 보조 코드(instrument)를 넣어 돌려라. 강제로 실패를 일으키게 해보라

✅ 말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라

• 다중 스레드 코드는 때때로 말이 안 되는 오류를 일으킨다.
• 많은 개발자가 하드웨어 문제, 단순한 ‘일회성’ 문제로 치부하고 무시한다.
• 일회성 문제란 존재하지 않는다고 가정하는 편이 안전하다.
• 일회성 문제를 계속 무시한다면 잘못된 코드 위에 코드가 계속 쌓인다.

권장사항: 시스템 실패를 ‘일회성’이라 치부하지 마라.

✅ 다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자

• 당연한 소리지만 다시 한 번 강조한다. 스레드 환경 밖에서 코드가 제대로 도는지 반드시 확인한다.
• 일반적인 방법으로, 스레드가 호출하는 POJO를 만든다. POJO는 스레드를 모른다.
• 따라서 스레드 환경 밖에서 테스트가 가능하다. POJO에 넣는 코드는 많을수록 더 좋다.

권장사항: 스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅하지 마라.
먼저 스레드 환경 밖에서 코드를 올바로 돌려라.

✅ 다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있게 스레드 코드를 구현하라

• 다중 스레드를 쓰는 코드를 다양한 설정으로 실행하기 쉽게 구현하라.
  • 한 스레드로 실행하거나, 여러 스레드로 실행하거나, 실행 중 스레드 수를 바꿔본다.
  • 스레드 코드를 실제 환경이나 테스트 환경에서 돌려본다.
  • 테스트 코드를 빨리, 천천히, 다양한 속도로 돌려본다.
  • 반복 테스트가 가능하도록 테스트 케이스를 작성한다.

권장사항: 다양한 설정에서 실행할 목적으로 다른 환경에 쉽게 끼워 넣을 수 있게 코드를 구현하라.

✅ 다중 스레드를 쓰는 코드 부분을 상황에 맞게 조율할 수 있게 작성하라

• 적절한 스레드 개수를 파악하려면 상당한 시행착오가 필요하다.
• 처음부터 다양한 설정으로 프로그램의 성능 측정 방법을 강구한다.
• 스레드 개수를 조율하기 쉽게 코드를 구현한다.
• 프로그램이 돌아가는 도중에 스레드 개수를 변경하는 방법도 고려한다.
• 프로그램 처리율과 효율에 따라 스스로 스레드개수를 조율하는 코드도 고민한다.

✅ 프로세서 수보다 많은 스레드를 돌려보라

• 시스템이 스레드를 스와핑(swapping)할 때도 문제가 발생한다.
• 스와핑을 일으키려면 프로세서 수보다 많은 스레드를 돌린다.
• 스와핑이 잦을수록 임계영역을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.

✅ 다른 플랫폼에서 돌려보라

• 다중 스레드 코드는 플랫폼에 따라 다르게 돌아간다.
• 따라서 코드가 돌아갈 가능성이 있는 플랫폼 전부에서 테스트를 수행해야 마땅하다.

권장사항: 처음부터 그리고 자주 모든 목표 플랫폼에서 코드를 돌려라.

public synchronized String nextUrlOrNull() {
    if(hasNext()) {
        String url = urlGenerator.next();
        Thread.yield();
        // inserted for testing.
        updateHasNext();
        return url;
    }
    return null;
}

yield() 메서드를 호출함으로써 코드의 실행 경로를 변경할 수 있다. 만약 위 코드에서 문제가 발생한다면 이는 yield()를 추가해 생긴 문제가 아니라 이미 존재하던 문제를 명백히 만든것 뿐이다.

하지만 이 방법에는 몇 가지 문제가 있다.

• 테스트할 부분을 직접 찾아야 한다.
• 어디에 어느 메서드를 호출해야 할지 알기 어렵다.
• 이와 같은 코드를 제품에 포함해 배포하는 것은 불필요하게 퍼포먼스를 저하시킬 뿐이다.
• Shotgun approach이기 때문에 반드시 문제가 발생한다는 보장을 얻을 수 없다.

우리는 실제 제품에 포함되지 않으며 여러 조합으로 실행해 에러를 찾기 쉽게 만들 방법이 필요하다.
이를 위해서는 시스템을 최대한 POJO 단위로 나눠 instrument code를 삽입할 부분을 찾기 쉽게 하고 여러 정책에 따라 sleep, yield등을 삽입할 수 있게 해야 한다.

• 위와 다르게 Aspect-oriented Framework, CGLib, ASM등을 통해 프로그램적으로 코드를 조작할 수도 있다. 아래의 예를 보자.

/* Code 4-1 */

public class ThreadJigglePoint {
    public static void jiggle() { }
}

public synchronized String nextUrlOrNull() {
    if(hasNext()) {
        ThreadJiglePoint.jiggle();
        String url = urlGenerator.next();
        ThreadJiglePoint.jiggle();
        updateHasNext();
        ThreadJiglePoint.jiggle();
        return url;
    }
    return null;
}

위와 같이 구현한 후 간단한 Aspect 9를 이용해 '아무 것도 안하기', 'sleep', 'yield'등을 무작위로 선택하게 할 수 있다.

혹은 ThreadJigglePoint가 두 가지 구현을 가지게 할 수도 있다. 첫 번째 구현은 배포용 코드를 위한 '아무 것도 안하기'를 수행하며 두 번째 구현은 'sleep, yield, 아무 것도 안하기' 중의 하나를 무작위로 선택하는 것이다. 다소 간단하긴 하지만 좀 더 정교한 툴을 사용하는 대신 이 정도로 구현하는 것도 적절한 선택일 것이다.

혹은 이와 비슷한 작업을 수행해 주는 IBM에서 개발한 ConTest라는 툴도 있다. 이는 수행시마다 다른 순서로 스레드를 실행하게 만들어 줌으로써 문제를 발견할 확률을 극적으로 높여준다.

✅ 코드에 보조 코드(instrument)를 넣어 돌려라. 강제로 실패를 일으키게 해보라

• 스레드 버그가 산발적이고 우발적이고 재현이 어려운 이유는 코드가 실행되는 수천 가지 경로 중에 아주 소수만 실패하기 때문이다.
• 보조코드를 추가해 코드가 실행되는 순서를 바꿔주어 오류를 좀 더 자주 일으킬수 있도록 할 수 있다.
  • Object.wait(), Object.sleep(), Object.yield(), Object.priority()...
• 각 메서드는 스레드가 실행되는 순서에 영향을 미친다.
• 코드에 보조 코드를 추가하는 방법은 두 가지다.
  • 직접 구현하기
  • 자동화 : AOP, CGLib, ASM 등등

✍️ 결론

• 다중 스레드 코드는 올바로 구현하기 어렵다. 그러므로 각별히 깨끗하게 코드를 짜야 한다.
• SRP 준수하여야 하며 POJO를 사용해 스레드를 아는 코드와 스레드를 모르는 코드를 분리한다.
• 스레드 코드를 테스트할 때는 전적으로 스레드만 테스트한다
• 동시성 오류를 일으키는 잠정적 원인을 철저히 이해한다.
• 사용하는 라이브러리와 기본 알고리즘을 이해한다.
• 보호할 코드 영역을 찾아내는 방법과 특정 코드 영역을 잠그는 방법을 이해한다.
• 어떻게든 문제는 생긴다. 초반에 드러나지 않는 문제는 일회성으로 치부해 무시하면 안된다.
• 스레드 코드는 많은 플랫폼에서 많은 설정으로 반복해서 계속 테스트해야 한다.
• 시간을 들여 보조 코드를 추가하면 오류가 드러날 가능성이 크게 높아진다.

깔끔한 접근 방식을 취한다면 코드가 올바로 돌아갈 가능성이 극적으로 높아 진다.