DASK

컴퓨팅 리소스를 최대한 활용하려면 동시다발적으로 여러 코어를 사용해야 함스크립트의 단계(처리해야 하는 작업)가 독립적인 경우 둘 이상의 thread로 분리하여 병렬로 실행 가능Multi-thread 사용의 대안은 Parallel ProcessingParallel Pro

1. DASK arrays 1-1) NUMPY vs DASK Arrays numpy array와 사용 방법이 약간 차이나지만 비슷함 dask array는 chunk size를 확실하게 지정해 주어야 함 dask array를 compute하면 numpy array로

1. Basic str과 같은 unstructured | semi-structured data는 Dask bags에 저장 db text file txt 파일이 9개이기에 npartition = 9

1. Create Local Cluster Process와 Thread를 동시에 사용하기 위해서는 Cluster와 Client가 필요함 Client를 한번 설정하면 (그 이후의) dask는 모든 computations에 Client를 사용함(그것이 bags이던, df