# multiprocessing

23개의 포스트
post-thumbnail

파이썬 프로세스와 쓰레드

저번에는 파이썬 multiprocessing 라이브러리의 process와 pool 기능을 알아보았다.그래서 이번에는 파이썬 쓰레딩 사용법을 설명해야 하는데...사실 글을 쓰려고 준비를 하다보니 설명해야 할 배경지식이 너무 많다. 원리를 말하려자니 핵심 용어들을 설명할

2022년 7월 7일
·
0개의 댓글
·
post-thumbnail

파이썬 멀티프로세싱 풀

지난 시간에는 파이썬 멀티프로세싱 중 프로세스(Process)^1를 이야기했다.이번에는 멀티프로세싱의 또다른 방법인 풀(Pool)을 설명하겠다.풀은 스타크래프트의 스포닝 풀을 생각하면 된다.산란못을 지으면 부화장에서 저글링을 생성할 수 있다. 부화장을 많이 지을수록 더

2022년 7월 7일
·
0개의 댓글
·
post-thumbnail

파이썬 멀티프로세싱 프로세스

python, multiprocessing, process

2022년 7월 7일
·
0개의 댓글
·

[python] multiprocessing과 CUDA

python multiprocessing은 프로세스를 시작하는 방법이 세가지 있다.

2022년 5월 29일
·
0개의 댓글
·

local에서 multiprocessing 사용하기

local에서 multiprocessing 사용하기

2022년 4월 27일
·
0개의 댓글
·
post-thumbnail

python에서 병렬연산(multiprocessing)을 사용해보자

많은 개발자들이 하는 일 중 하나는 기다리기일 것이다. 나처럼 삽질하지 말자!@@

2022년 4월 1일
·
0개의 댓글
·

[Dimelo Project] pm2 cluster mode session 공유 안되는 문제

https://velog.io/@suyeonpi/Dimelo-Project-nest.js-docker%EC%97%90-pm2-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0지난 내 글을 보면 pm2를 fork 모드가 아닌 cluster모드로

2022년 3월 7일
·
0개의 댓글
·
post-thumbnail

[파이썬] multiprocessing jupyter에서 안되면 .py로 돌려라

multiprocessing Pool, Process, Queue 기본 설명: https://m.blog.naver.com/townpharm/220951524843입력값을 process들을 건너건너 분배하여 함수 실행을 병렬화하는 편리한 수단을 제공한다 - P

2022년 3월 2일
·
0개의 댓글
·

Python Ray

사용성 \- 기존 코드에서 약간의 수정만으로 병렬 처리 가능 (쉽고 범용성 높음)병렬처리 고려하지 않은 함수에 decorator로 마지막에 구현 가능 @ray.remote def, class 모두 가능 Cluster 환경에서 구축 가능 \- AWS, GCP,

2022년 2월 17일
·
0개의 댓글
·

파이썬 멀티프로세싱 vs 멀티스레딩

멀티프로세싱과 멀티스레딩을 언제 사용해야 하는지?

2022년 2월 13일
·
0개의 댓글
·

특정 프로세스 원할 때 중지하기

요구사항 클라이언트에서 실시간 분석할 cctv 주소를 주면 flask 서버에서 백그라운드로 처리하고, 나중에 클라이언트에서 분석을 중지하고 싶다고 요청하면 특정 cctv의 실시간 분석 작업을 중지해야한다. 기존코드 백그라운드 작업은 multiprocessing 모

2021년 10월 10일
·
0개의 댓글
·

python multiprocessing(3) - joblib

multiprocessing을 Joblib으로 바꿔보자joblib이란 \- python multiprocessing 모듈을 개선한 모듈경량 pipelining 을 활성화하면서 병렬 계산을 쉽게하고, 결과를 쉽게 디스크기반의 캐시로 사용할 수 있게 해준다.joblib을

2021년 9월 13일
·
0개의 댓글
·
post-thumbnail

python multiprocessing(2)- multiprocessing 을 이용한 원주율 추정

python multiprocessing module 을 이용하여 embarrassingly parallel(서로 통신하지 않고 문제를 독립적으로 푸는 경우)한 문제의 속도를 향상시켜보자!

2021년 9월 7일
·
0개의 댓글
·

python chunk implementation

긴 시간 동안 실시간으로 어떤 데이터를 로깅하려면, 적절하게 끊어서 저장해줘야 한다. 실시간으로 파일을 쓰는 것은 많은 리소스를 필요로 하고, 한번에 모아서 저장하는 것은 데이터 전체를 잃을 가능성이 크다. 그래서 Chunk라는 클래스를 만들어서, 일정 갯수 이상 데이

2021년 8월 31일
·
0개의 댓글
·

Python 으로 multiprocessing 을 해보자 (1)

multi processing 모듈 : process와 thread기반의 병렬처리를 사용해서 작업을 대기열에 분산시키고, 프로세스 간에 데이터를 공유할 수 있도록 함주로 단일 컴퓨터의 멀티코어 병렬처리에 초점이 맞춰져 있음 (멀티머신 x)I/O위주의 문제를 병렬화 할때

2021년 8월 22일
·
0개의 댓글
·
post-thumbnail

Python - MultiProcessing

AI 사업을 위해 현재 사내 데이터를 전처리하며 경도, 위도를 변환하는 작업이 있었는데 해당 작업이 시간이 굉장히 오래 걸렸고 맥북으로 하다간 3일 밤낮을 켜놔야할 느낌이 강하게 들어 python의 multiprocessing을 이용했다.이름에서 느껴지듯이 오랜시간이

2021년 7월 22일
·
0개의 댓글
·

Multiprocessing (feat. python)

컴퓨터가 작업을 처리하는 속도를 높여주는 방법 중 하나이다.무언가 일이 주어졌을 때 1명이 일하냐, 4명이 동시에 일하느냐에 따라 작업 처리 속도가 확연히 차이 날 것이다.우선 Multiprocessing을 사용하지 않았을 때를 살펴보자.코드결과이제 Multiproce

2021년 7월 5일
·
0개의 댓글
·

파이토치 멀티 프로세싱

딥러닝에서 멀티프로세싱은 연산량이 방대한 backpropagation에 주로 활용된다. 일단 pseudo code로 대충 시나리오를 보자 사실 너무 당연한 소리지만, 이렇게 해야 효율적으로 학습이 가능하다. model의 parameter 들을 공유하지 않으면 프로세

2021년 6월 27일
·
0개의 댓글
·

파이썬 멀티 프로세싱

멀티 스레딩은 한 사람이 여러 작업을 동시에 진행하는것과 비슷하다. 사람처럼 멀티 스레딩도 한한 번에 한 가지 일만 할 수 있다. 다만 한 작업이 뭔가를 기다리는 동안 다른 작업으로 전환하므로써 여러 일을 동시에 처리하는 것처럼 보일 뿐이다.멀티 프로세싱에서는 다수의

2021년 6월 27일
·
0개의 댓글
·
post-thumbnail

Ray를 이용해 Python 병렬 처리 쉽게 하기

Ray를 이용해 Python 병렬 처리하는 방법을 알아봅시다. 쉽고 빠릅니다!

2021년 6월 13일
·
1개의 댓글
·