Rust(PyO3) + Maturin + Python(FastAPI)
1.공부를 다시 시작하기로 했다
고립과 은둔의 시간 끝에 일반 사회에 편입되려는 시도를 하고 있다.
2.환경 구축 및 기본 예제
PyO3를 사용하여 작성한 Rust 코드를 Maturin으로 컴파일해 Python 코드에서 호출하여 FastAPI로 실행해 보는 가장 기본적인 예제
3.Rust 구조체를 Python 클래스로 만드는 예제
Rust의 구조체를 Python의 클래스와 연동하는 예제
4.복잡한 데이터 다루기
Python의 List를 Rust의 Vec와 연결하여 데이터를 받고 Rust의 HashMap을 Python의 Dict와 연결하여 데이터를 주는 예제
5.에러 핸들링
(이전 실습에서 이어서 진행) Rust에서 발생한 에러를 Python 에러로 내보내는 예제
6.기본 병렬 처리
Rayon 라이브러리를 사용하여 병렬 처리를 수행하는 예제
7.공유 자원을 다루는 병렬 처리
동일한 자원에 쓰기 연산을 수행하는 경우에 대한 병렬 처리 예제
8.(여담) #[pymodule] 속성
#[pymodule] 속성을 mod 블록에 붙이는 것과 fn 함수에 붙이는 것의 차이에 대하여
9.모듈화
Rust 코드를 여러 파일에 나누어 모듈 단위로 관리하는 예제
10.비동기 처리
tokio 및 pyo3-async-runtimes 라이브러리를 통해 비동기 작업을 수행하는 예제
11.(여담) 인코딩 이슈
FastAPI 응답의 한글 인코딩이 깨질 때 해결할 수 있는 방안에 대하여
12.메모리 복사 생략
데이터 자체를 복사하는 과정을 생략하고 메모리 주소만 넘겨 받아 사용하는 예제
13.가변 제로카피
(이전 실습에서 이어서 진행) 메모리 주소만 넘겨 받은 데이터를 수정하는 예제
14.제로카피 필터링
(이전 실습에서 이어서 진행) 데이터 복사 없이 Python Numpy 배열을 읽어와 조건에 맞는 데이터의 인덱스를 추려내는 예제
15.MMAP(Memory-MAPping)
큰 데이터를 처리할 때 MMAP을 사용하여 제로카피 연산을 수행하는 예제
16.행렬 연산
64GB 램 안에서 가장 거대하고 빠른 행렬 연산을 구현해 보는 예제
17.CSV 파일 다루기 — 행 단위 독립 연산
CSV 파일의 행 단위 독립 연산을 빠르게 수행하는 예제
18.CSV 파일 다루기 — 행 간 연산
CSV 파일의 이전 행과 비교하는 행 간 연산을 수행하는 예제
19.로그 남기기
병렬 처리를 하며 로그 수준에 따라 터미널에 실행 로그를 출력하는 예제
20.로그 아카이빙
로그를 파일의 형태로 아카이빙하는 예제
21.데이터베이스 연결
PostgreSQL docker 생성 후 데이터베이스 연결 풀 설정
22.데이터베이스 연결 재구조화
본격적인 실습에 앞서 프로젝트를 관리하기 쉽게 재구조화하는 예제