해당글은 오늘 공부한 내용을 정리하여 메모하는 형식으로 작성한 것으로
설명이나 이해를 돕는 글이 아님을 명시합니다.
컴퓨터 공학 기초
문자열
- 2010년도 이후부터 유니코드 인코딩 방식이 통일되었다.
문자열 Byte
- 예전에는 영어의 경우 알파벳 하나가 1 바이트(byte)를 차지한 적도 있지만, 유니코드로 통일된 현재는 유니코드로만 텍스트를 정확하게 저장할 수 있다.
- 프로그래밍 언어마다 문자저장하는 자료형이 다르므로 단정지어 문자열 하나의 byte값을 정할 수 없다.
유니코드(Unicode)
- 정의 : 유니코드 협회가 제정하는 전세계의 모든 문자를 컴퓨터에서 일관되게 다룰수 있도록 설계된 산업 표준
- 표준에는 ISO 10646 문자 집합, 문자 인코딩, 문자 정보 데이터베이스, 문자를 다루기 위한 알고리즘 등을 포함된다.
- 이전에는 같은 문자로 적힌 파일이라도 표현하는 방식이 달라서, 파일이 지원하지 않는 인코딩 방식으로 저장된 파일은 파일을 제대로 불러올 수 없었다.
인코딩(부호화)이란?
- 인코딩 : 어떤 문자나 기호를 컴퓨터가 이용할 수 있는 신호로 만드는 것
- 디코딩 : 그 문자를 해독하는 것
- 신호를 입력하는 인코딩과 문자를 해독하는 디코딩을 하기 위해서는 미리 정해진 기준을 바탕으로 입력과 해독이 처리되어야 한다.
- 문자셋(charset) : 인코딩과 디코딩을 하기 위해서는 미리 정해진 기준
- 문자셋의 국제표준이 유니코드이다.
ASCII 문자
- 영문 알파벳을 사용하는 대표적인 문자 인코딩
- 7 비트로 모든 영어 알파벳을 표현 가능
- 52개의 영문 알파벳 대소문자와, 10개의 숫자, 32개의 특수 문자, 그리고 하나의 공백 문자를 포함
- 유니코드는 ASCII를 확장한 형태이다.
UTF-8 vs UTF-16
- UTF-8과 UTF-16은 인코딩 방식의 차이를 의미한다.
UTF-8
- UTF-8 : Universal Coded Character Set + Transformation Format – 8-bit의 약자
- 유니코드 한 문자를 나타내기 위해 1 byte(= 8 bits) 에서 4 bytes까지 사용한다.
[ 예시 ]
'코'를 표현
- 유니코드: U+CF54 (16진수, HEX)
- 이진법(binary number) :
1100-1111-0101-0100 - UTF-8
1110xxxx 10xxxxxx 10xxxxxx
// x 안에 순서대로 값을 채워넣습니다.
11101100 10111101 10010100
// utf-8 값을 알아내는 방법
let encoder = new TextEncoder(); // 기본 인코딩은 'utf-8'
encoder.encode('코') // Uint8Array(3) [236, 189, 148]
(236).toString(2) // "11101100"
(189).toString(2) // "10111101"
(148).toString(2) // "10010100"
'b'문자를 UTF-8로
0xxxxxxx
01100010
// utf-8 값을 알아내는 방법
encoder.encode('b') // Uint8Array [98]
(98).toString(2) // "1100010"ASCII 코드는 7비트로 표현되고, UTF-8 에서는 1 byte의 결과로 만들 수 있다.
[ 특징 ]
- UTF-8은 1 byte에서 4 bytes까지의 가변 길이를 가지는 인코딩 방식이다.
- 사용된 문자에 따라 더 작은 크기의 문자열을 표현할 수 있기 때문에 네트워크를 통해 전송되는 텍스트는 주로 UTF-8로 인코딩된다.
- UTF-8은 ASCII 코드의 경우 1 byte, 크게 영어 외 글자는 2byte, 3byte, 보조 글자는 4byte를 차지한다.
이모지는 보조 글자에 해당하기 때문에 4byte가 필요하다. - UTF-16에 비해 바이트 순서를 따지지 않고, 순서가 정해져 있다.
UTF-16
-
유니코드 코드 대부분(U+0000부터 U+FFFF; BMP) 을 16 bits로 표현한다.
-
대부분에 속하지 않는 기타문자는 32 bit(4 bytes)로 표현하므로 UTF-16도 가변 길이라고 할 수 있으나, 대부분은 2 바이트로 표현한다.
-
U+ABCD라는 16진수를 있는 그대로 이진법으로 변환하면
1010-1011-1100-1101이고 이 문자를 16 bits(2 bytes)로 그대로 사용하며, 바이트 순서(엔디언)에 따라 UTF-16의 종류도 달라진다. -
UTF-8에서는 한글은 3 바이트, UTF-16에서는 2 바이트를 차지한다.
Reference
유니코드, UTF-8, UTF-16, UTF-32 간단 정리
## 그래프 ### 비트맵 vs 벡터
| 비트맵(래스터) | 벡터 | |
|---|---|---|
| 기반기술 | 픽셀기반 | 수학적으로 계산된 Shape기반 |
| 특징 | 사진과 같이 색상의 조합이 다양한 이미지에 적합 | 로고, 일러스트와 같이 제품에 적용되는 이미지에 적합 |
| 확대 | 확대에 적합하지 않음, 보다 큰 사이즈의 이미지가 필요할 때, 사용하려는 크기 이상으로 생성하거나 스캔해야한다. | 품질 저하없이 모든 크기로 확대 가능하며, 해상도의 영향을 받지 않음 |
| 크기(dimension)에 따른 파일 용량(file size) | 큰 크기의 이미지는, 큰 파일 사이즈를 가짐 | 큰 크기의 벡터 그래픽은 작은 파일 사이즈를 유지할 수 있음 |
| 상호 변환 | 이미지 복잡도에 따라 벡터로 변환하는 것에 오랜시간이 걸림 | 쉽게 비트맵 이미지로 변환 가능 |
| 대표적인 파일 포맷 | jpg, gif, png, bmp, psd ... | svg, ai .. |
| 웹에서의 사용성 | jpg, gif, png 등이 널리 쓰임 | svg 포맷은 현대의 브라우저에서 대부분 지원 |
운영체제
컴퓨터나 스마트폰의 기기 그 자체(하드웨어)는 스스로 할 수 있는 일이 없다. 하드웨어의 설계를 바탕으로 하드웨어에게 일을 시켜야만 그 의미가 있는데 하드웨어에게 일을 시키는 주체가 바로 운영체제이다.
개요
운영체제
시스템 자원관리
응용 프로그램은 컴퓨터를 이용해 다양한 작업을 하는 것이 목적이고, 운영체제는 응용 프로그램이 하드웨어에게 일을 시킬 수 있도록 도와준다.
하드웨어를 구성하는 일을 하는 CPU, 자료를 저장하는 RAM, 디스크 등의 시스템 자원을 관리하는 주체가 바로 운영체제이다.
- 프로세스 관리(CPU)
- 메모리 관리
- I/O(입출력) 관리 (디스크, 네트워크 등)
응용 프로그램 관리
- 응용 프로그램이 실행되고, 시스템 자원을 사용할 수 있도록 권한과 사용자를 관리한다.
응용 프로그램
응용 프로그램이 운영체제를 통해 컴퓨터에게 일을 시키려면, 컴퓨터를 조작할 수 있는 권한을 운영체제로부터 부여받아야 한다. 권한을 부여받고 난 후에는, 운영체제가 제공하는 기능을 이용할 수 있다.
응용 프로그램이 운영체제와 소통하기 위해서는, 운영체제가 응용 프로그램을 위해 인터페이스(API)를 제공해야 한다. 응용 프로그램이 시스템 자원을 사용할 수 있도록, 운영체제 차원에서 다양한 함수를 제공하는 것을 시스템 콜(System call)이라고 부른다.
[ 예시 ]
- 스마트폰에서 사용자에게 어떤 디바이스(카메라 등)의 사용을 허락받는 화면
- 응용 프로그램 역시 운영체제가 프린터 사용을 허가해주지 않는다면 사용할 수 없다. 워드프로세서 프로그램이 프린터를 사용해서 인쇄하기 위해서는, 워드프로세서 프로그램은 운영체제로부터 프린터 사용에 대한 권한을 부여받아야 한다.
응용 프로그램이 프린터 사용에 대한 권한을 획득한 후에는, 프린터를 사용할 때 필요한 API를 호출해야 하고 이 API는 시스템 콜로 이루어져 있다.
더 알아보기
공룡책이라 불리는 Operating System Concepts 책,
이를 정리한 한글 문서도 있다.
용어정리
프로세스(Process)
사용자가 애플리케이션을 실행하면, 운영체제로부터 실행에 필요한 메모리를 할당 받아 애플리케이션의 코드를 실행한다. 이때 실행되는 애플리케이션을 프로세스라고 부른다.
- 정의 : 운영체제에서는 실행 중인 하나의 애플리케이션
[ 예시 ]
Chrome 브라우저를 두 개 실행하면, 두 개의 프로세스가 생성된다.
이렇게 하나의 애플리케이션은 여러 프로세스(다중 프로세스)를 만들기도 한다.
스레드(Thread)
- 스레드는 사전적 의미로 한 가닥의 실이라는 뜻으로 한 가지 작업을 실행하기 위해 순차적으로 실행한 코드를 실처럼 이어 놓았다고 해서 유래된 이름이다.
- 하나의 스레드는 코드가 실행되는 하나의 흐름이기 때문에, 한 프로세스 내에 스레드가 두 개라면 코드가 실행되는 흐름이 두 개 생긴다는 의미한다.
멀티 스레드(Multi-Thread)
멀티 태스킹은 두 가지 이상의 작업을 동시에 처리하는 것을 의미한다. 운영체제는 멀티 태스킹을 할 수 있도록, 프로세스마다 CPU 및 메모리 자원을 적절히 할당하고 병렬로 실행한다.
예를들어 워드로 문서작업을 하면서, 동시에 Chrome 브라우저에서 음악을 들을 수 있다.
멀티 태스킹은 꼭 멀티 프로세스를 의미하는 것은 아니다. 하나의 프로세스 내에서 멀티 태스킹을 할 수 있도록 만들어진 애플리케이션도 있다. 하나의 프로세스가 어떻게 두 가지 이상의 작업을 처리하기 위해서 멀티 스레드가 필요하다.
멀티 프로세스가 애플리케이션 단위의 멀티 태스킹이라면, 멀티 스레드는 애플리케이션 내부에서의 멀티 태스킹이라고 할 수 있다.
멀티 스레드는 다양한 곳에서 사용된다.
- 대용량 데이터의 처리시간을 줄이기 위해 데이터를 분할하여 병렬로 처리하는 데에 사용
- UI를 가지고 있는 애플리케이션에서 네트워크 통신을 하기 위해 사용
- 여러 클라이언트의 요청을 처리하는 서버를 개발할 때 사용
멀티 스레드
### 스레드의 특징
- 프로세스 내에서 실행되는 흐름의 단위
- 각 스레드마다 call stack(실행중인 서브루틴을 저장하는 자료 구조)이 존재
- 스레드는 다른 스레드와 독립적으로 동작
멀티 스레딩의 장단점
장점
프로세스를 이용하여 동시에 처리하던 일을 스레드로 구현할 경우, 메모리 공간과 시스템 자원의 소모가 줄어든다.
스레드 간의 통신이 필요한 경우에도 별도의 자원을 이용하는 것이 아니라, 전역 변수의 공간 또는 동적으로 할당된 공간인 Heap 영역을 이용한다. 따라서, 프로세스 간 통신 방법(IPC)에 비해 스레드 간의 통신 방법이 훨씬 간단하다. 시스템의 처리량(Throughput)이 향상되고 자원 소모가 줄어들어 자연스럽게 프로그램의 응답 시간이 단축된다. 이런 장점 때문에 여러 프로세스로 할 수 있는 작업을 하나의 프로세스에서 스레드로 나눠 수행한다.
단점
멀티 프로세스 기반으로 프로그래밍할 때에는 프로세스 간 공유하는 자원이 없어서 동일한 자원에 동시에 접근하는 일이 없다.
하지만 멀티 스레딩을 기반으로 프로그래밍할 때에는 공유하는 자원에 대하여 생각해야한다.
서로 다른 스레드가 같은 데이터에 접근하고, 힙 영역을 공유하기 때문에 서로 다른 스레드가 서로 사용중인 변수나 자료구조에 접근하여 엉뚱한 값을 읽어오거나 수정하는 일이 발생할 수 있다.
그렇기 때문에 멀티스레딩 환경에서는 동기화 작업이 필요하다. 동기화를 통해 작업 처리 순서를 제어하고, 공유 자원에 대한 접근을 제어해야 한다.
키워드
-
데드락(Deadlock, 교착 상태)
- 정의 : 프로세스가 자원을 얻지 못해 다음 처리를 하지 못하는 상태
- 시스템적으로 한정된 자원을 여러 곳에서 사용하려고 할 때 발생한다.
- 발생 해결 조건 : 상호 배제 (Mutual exclusion), 점유 대기 (Hold and wait), 비선점 (No preemption), 순환 대기 (Circular wait) 중 하나라도 성립하지 않으면 해결
-
뮤텍스(Mutex)와 세마포어(Semaphore) : 모두 동기화를 이용되는 도구
-
뮤텍스(Mutex) :
Locking 메커니즘으로 오직 하나의 쓰레드만이 동일한 시점에 뮤텍스를 얻어 임계 영역(Critical Section)에 들어올 수 있다.
오직 이 쓰레드만이 임계 영역에서 나갈 때 뮤텍스를 해제할 수 있다. 이유는 뮤텍스가 1개의 락만을 갖는 Locking 메커니즘이기 때문이다. -
세마포어(Semaphore) :
락을 걸지 않은 쓰레드도 Signal을 보내 락을 해제할 수 있다
-
[ Reference ]
동시성과 병렬성의 차이
동시에 돌릴 수 있는 스레드 수는 컴퓨터에 있는 코어 갯수로 제한된다.
운영체제(또는 가상 머신)는 각 스레드를 시간에 따라 분할하여, 여러 스레드가 일정 시간마다 돌아가면서 실행되도록 하는데 이런 방식을 시분할이라고 한다.
- Concurrency(동시성, 병행성): 여러 개의 스레드가 시분할 방식으로 동시에 수행되는 것처럼 착각을 불러일으킴
- Parallelism(병렬성): 멀티 코어 환경에서 여러 개의 스레드가 실제로 동시에 수행됨
Context Switching
- 정의 : 다른 태스크(프로세스, 스레드)가 시작할 수 있도록 이미 실행중인 태스크(프로세스, 스레드)를 멈추는 것
가비지 컬렉션
- 가비지 컬렉션은 프로그램에서 더 이상 사용하지 않는 메모리를 자동으로 정리하는 것이다. 이 기능을 가진 언어(혹은 엔진)는 자바, C#, 자바스크립트 등이 있다.
방법
트레이싱
- 한 객체에 flag를 두고, 가비지 컬렉션 사이클마다 flag에 표시 후 삭제하는 mark and sweep 방법이다.
- 객체에 in-use flag를 두고, 사이클마다 메모리 관리자가 모든 객체를 추적해서 사용중인지 아닌지를 표시(mark)한다. 그 후 표시되지 않은 객체를 삭제(sweep)하는 단계를 통해 메모리를 해제한다.
레퍼런스 카운팅
- 한 객체를 참조하는 변수의 수를 추적하는 방법이다.
- 객체를 참조하는 변수는 처음에는 특정 메모리에 대해 레퍼런스가 하나뿐 이지만, 변수의 레퍼런스가 복사될 때마다 레퍼런스 카운트가 늘어난다. 객체를 참조하고 있던 변수의 값이 바뀌거나, 변수 스코프를 벗어나면 레퍼런스 카운트는 줄어든다. 레퍼런스 카운트가 0이 되면, 그 객체와 관련한 메모리는 비울 수 있다. 레퍼런스 카운트가 0이 된다는 말은 아무도 그 객체에 대한 레퍼런스를 가지고 있지 않다는 말과 같다.
더 공부하기
- V8 엔진 메모리 관리
- 크롬 브라우저 및 node.js의 v8 엔진은, 어떻게 가비지 컬렉팅을 하고 있나?
- Memory terminology를 읽어보자.
웹서비스 캐시
정의
- 많은 시간이나 연산이 필요한 작업의 결과를 저장해두는 것
- 컴퓨팅에서 캐시는 일반적으로 일시적인(temporarily) 데이터를 저장하기 위한 목적으로 존재하는 고속의 데이터 저장공간이다.
- 첫 작업 이후에 이 데이터에 대한 요청이 있을 경우, 데이터의 기본 저장공간에 접근할 때보다 더 빠르게 요청을 처리할 수 있다.
- 캐싱을 사용하면 이전에 검색하거나 계산한 데이터를 효율적으로 재사용할 수 있다.
동작원리
- 캐시의 데이터는 일반적으로 RAM(Random Access Memory)과 같이 빠르게 액세스할 수 있는 하드웨어에 저장되어서 소프트웨어 구성 요소와 함께 사용될 수도 있다.
- 캐시는 기본 스토리지 계층(SSD, HDD)에 액세스하여 데이터를 가져오는 더 느린 작업의 요구를 줄이고, 데이터 검색의 성능을 높인다.
- 속도를 위해 용량을 절충하는 캐시는 일반적으로 데이터의 하위 집합을 일시적으로 저장한다. 완전하고 영구적인 데이터가 있는 데이터베이스와는 대조적이다.
장점
- 애플리케이션 성능 개선
- 데이터베이스 비용 절감
- 백엔드 부하 감소
- 예측 가능한 성능
- 데이터베이스 핫스팟 제거
- 읽기 처리량 증가
- 읽기 처리량: IOPS(Input/output operations per second)/ HDD, SSD 등의 컴퓨터 저장 장치의 성능 측정 단위
예제
- 클라이언트: HTTP 캐시 헤더, 브라우저
- 네트워크: DNS 서버, HTTP 캐시 헤더, CDN, 리버스 프록시
- 서버 및 데이터베이스: 키-값 데이터 스토어(e.g. Redis), 로컬 캐시(인-메모리, 디스크)
Reference
캐싱 개요
