profile
Machine Learning Engineer: recsys, mlops
post-thumbnail

책리뷰 - 절대 성공하지 못할 거야

넷플릭스의 창업 스토리는 창업자 리드의 아폴로13 영화 비디오의 연체료에 짜증을 느낀 것을 계기로 연체료를 내지 않아도 되는 온라인 비디오 대여점 사업을 떠올렸다고 알려져있다. 하지만 넷플릭스의 창업 스토리는 그렇게 단순하지 않다. 넷플릭스의 공동창업자인 마크 랜돌프는

5일 전
·
0개의 댓글
·
post-thumbnail

MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask

1. MaskNet논문 정리 Papers with code의 criteo dataset에서 1등을 한 모델에 대해 PPT로 정리해봤습니다. [원본 링크](https://doc-10-0g-prod-01-apps-viewer.googleusercontent.com/vie

2022년 3월 26일
·
0개의 댓글
·
post-thumbnail

MAB - Upper Confidence Bound UCB

UCB에 대해 이해해보자

2022년 3월 18일
·
0개의 댓글
·
post-thumbnail

RETHINKING ARCHITECTURE SELECTION IN DIFFERENTIABLE NAS

Abstract Differential Neural Architecture Search 방법은 NAS 방법 중 가장 유명한 방법임 모델학습과 모델 서치를 같이하며 모델 파라메터를 공유하며 gradient decent기반이기 때문에 간단하

2022년 3월 18일
·
0개의 댓글
·
post-thumbnail

DBT: Data Build Tool

- 일종의 체계적인 view 시스템 - `ELT`: Extract→Load→`Transform` (NOT `ETL`)

2022년 2월 17일
·
0개의 댓글
·
post-thumbnail

[Inverse Sampling] 컴퓨터는 정규분포를 어떻게 만들어낼까?

일단 uniform하게 0~1사이의 숫자를 뽑을 수 있다고 가정하자. $X \\sim U(0,1)$선형합동 or 메르센 트위스터 참고 uniform 분포로 부터 정규분포(or 감마, 베타 등등 다양한 분포)를 어떻게 하면 생성해낼 수 있을까? 컴퓨터는 uniform

2022년 2월 10일
·
0개의 댓글
·
post-thumbnail

[1][GNN][GCN] Laplacian matrix

주어진 그래프를 spectral 도메인으로 해석하는데 laplacian matrix를 사용한다. laplacian matrix가 무엇이길래, graph를 표현하는데 쓰이는걸까? laplacian matrix의 의미에 대해 알아보자. Adjacaemcy matrix는 그

2022년 1월 27일
·
0개의 댓글
·
post-thumbnail

관측데이터로 인과 관계 파악이 가능할까? [Confounder, Collider]

관측 데이터로 인관관계 파악이 가능할까? Confounder와 collider에 대해서 알아보자

2022년 1월 12일
·
0개의 댓글
·
post-thumbnail

[AWS][Python][Athena] 파이썬으로 아테나에 쿼리하기 (boto3 vs pyathena vs awswrangler)

athena는 S3에 있는 데이터에 쿼리를 날릴 수 있는 서버리스 쿼리엔진이다. S3에 데이터만 잘 준비해있으면 바로 쿼리를 날릴 수 있기 때문에 매우 편하다.Athena UI에서 쿼리를 날릴 때는 별 준비사항이 없는데, 파이썬으로 쿼리 결과를 받아오려면 어떻게 해야할

2022년 1월 6일
·
0개의 댓글
·
post-thumbnail

AWS Inferentia - INF1

AWS에는 Inf1이라는 인스턴스 타입이 존재한다. Inf1은 aws의 inference 전용 칩인 NeuronCore을 사용한 기계학습 추론용으로 나온 인스턴스이다특별한 목적(기계학습)을 가지고 나온 인스턴스인 만큼, 머신러닝 모델 추론에 특화 되어 싸고 빠르게 모델

2021년 12월 28일
·
0개의 댓글
·
post-thumbnail

Python CLI Library (fire vs click vs Typer)

1. Intro python 프로그램에 인자를 전달하고 싶을 때 보통 argparser를 쓰게 된다. argparse는 인자가 하나 추가될 때 마다 코드를 한줄 한줄 추가해줘야 한다. argparse는 또한 비슷한 라인이 중복되며 덕지 덕지 달라 붙게 되어, 읽기도 불

2021년 12월 21일
·
0개의 댓글
·
post-thumbnail

Mutual Information Estimation

상관계수는 두 변수 사이의 '상관관계'를 계량화한 수치이다. 상관계수는 측정하는 방식에 따라 매우 다양하지만, 우리가 보통 상관계수라고 부르면 맥락상 Pearson correlation coefficient을 뜻 한다. Pearson correlation coeffic

2021년 12월 7일
·
0개의 댓글
·
post-thumbnail

[Prefect] Flow dependency

왜 필요한지 이해하기 위해 예시를 들어보자. One flow 비트코인데이터를 RDS로 적재한 후 RDS에 쌓인 데이터로 주식 가격 예측을 위한 feature를 생성한다고 가정해보자. 이를 위해서 비트코인데이터를 RDS로 적재하는 task A를 만들었다. 또한 RDS에

2021년 11월 16일
·
0개의 댓글
·
post-thumbnail

[AWS][GLUE] Serverless PySpark

spark을 쓰기 위해서 EMR 클러스터를 띄우고 운영하는 것은 어려운 일이다. EMR 클러스터가 각종 이유로 장애에 빠질 수 있기 때문이다.또한 효율적으로 운영하기도 힘들다. 아마존에는 lambda 처럼 serverless spark 서비스가 존재한다. aws glu

2021년 11월 9일
·
0개의 댓글
·
post-thumbnail

[Prefect] Prefect 서버 custom Postgres RDS 세팅 (not cloud)

prefect clound는 run당 돈을 과금하는데 이게 헤비하게 사용하면 생각보다 부담이 될 수 있다 hourly 잡이면 효율적으로 쓸 수 있을 것 같은데, minutely job이 run당 과금 방식의 한계로 인해 상당히 돈이 아까워 진다.돈을 한푼이라도 아끼려면

2021년 10월 30일
·
0개의 댓글
·
post-thumbnail

[AWS] [Capacity Rebalancing] 쉽고 간편하게 spot 적용 하는법

1. Intro aws는 남아도는 인기없는 instance를 효율적으로 판매하기 위해 spot이라는 서비스를 제공한다. aws의 ec2 instance의 life cycle은 크게 RI, on-demand, spot 3개가 있다 1-1 on-demand 가장 기본 형

2021년 10월 24일
·
0개의 댓글
·
post-thumbnail

😱 예비수학 교사도 모르고 있는 확률변수 3편🤔 확률변수 사이의 연산

우리는 다양한 자료에서 확률변수의 연산을 볼 수 있다. 예를 들면 아래처럼 다양한 표현이 있다. - $Z = f(X,Y), f(x,y)=x+log(x)+x^y$ - $Z = X+Y$ - $Z = E(X|Y)$ 확률변수가 함수라는 것을 알면 이 표현이 쉬워

2021년 10월 13일
·
0개의 댓글
·
post-thumbnail

Amazon Sagemaker Feature store

이전 글에서 Feature store의 핵심 개념 및 핵심 구조에 대해 살펴보았다. 이번 글에서는 여러 feature store 중 AWS의 Feature store에 대해서 알아보자.

2021년 10월 2일
·
0개의 댓글
·
post-thumbnail

비슷한 듯 다른 모집단과 표본공간! 차이가 뭘까?🧐 [모집단 vs 표본공간] (Feat. CLT)

모집단과 표본공간은 서로 비슷하면서도 헷갈리기 쉬운 개념이다. 중심극한정리을 통해 모집단과 표본공간의 개념을 이해해보자.

2021년 9월 29일
·
0개의 댓글
·

[Personal Cheat Sheet]

s3 list 가져오기

2021년 9월 14일
·
0개의 댓글
·