profile
스스로 정한 목표에 도달하기 위해 달리는 걸 즐기는 사람 🏃‍♀️
post-thumbnail

[ML] 신용카드 사기 거래 탐지 모델 만들어보기 (3)

Hi! I'm Jaylnne. ✋ 이번 포스팅도 [ML] 신용카드 사기 거래 탐지 모델 만들어보기 (2) 과 같이, [ML] 신용카드 사기 거래 탐지 모델 만들어보기 (1) 포스팅에서 개선이 필요했던 내용에 대해 작성한 포스팅입니다.

2022년 6월 5일
·
0개의 댓글
post-thumbnail

2022년 5월 회고록

날이 벌써 더워지기 시작했다. 아직도 2022보다는 2021이 익숙한데, 벌써 한 계절이 지나가버렸다니 놀랍다. 훌쩍 지나온 시간만큼 올해의 나도 성장했을까? 1. 팀으로 일하기

2022년 6월 4일
·
0개의 댓글
post-thumbnail

[ML] 신용카드 사기 거래 탐지 모델 만들어보기 (2)

Hi! I'm Jaylnne. ✋ 며칠 전 작성한 [ML] 신용카드 사기 거래 탐지 모델 만들어보기 (1) 에서 개선한 내용을 작성한 포스팅입니다. 리스팅해둔 TODO 가 있는데, 이번처럼 (3), (4) 로 작성할 예정입니다. 1. Fix Points 이번 포스

2022년 5월 14일
·
0개의 댓글
post-thumbnail

[ML] 신용카드 사기 거래 탐지 모델 만들어보기 (1)

Hi! I'm Jaylnne. ✋ > 캐글에서 제공하는 Credit Card Fraud Detection Dataset 으로 신용카드 사기 탐지 모델을 만들고, 이를 BentoML 로 도커라이징 및 API 배포까지 진행한 과정을 공유합니다. 1. Dataset D

2022년 5월 8일
·
2개의 댓글
post-thumbnail

⚡Pytorch Lightning 으로 koBERT Fine-Tuning 해보기 (NSMC)

Hi! I'm Jaylnne. 🖐코드는 아래 Github 레포에! 👇👇👇\[Github] jaylnne/nsmc-bert-pytorch_lightningPytorch Lightning 이란 Pytorch 에 대한 High-level 인터페이스를 제공하기 위한 라

2022년 5월 6일
·
2개의 댓글
post-thumbnail

[ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까?

회사에서 현재 기획 단계에 있는 새로운 시스템을 위해 ETL을 설계 & 구현해야 할 일이 생겼다. 수집된 raw data 가 서비스에 사용되기까지 많은 가공 단계를 거쳐야 할 것으로 예상되는데... 이 정도로 복잡한 데이터 파이프라인 구축은 경험해본 적이 없어서 고민

2022년 5월 6일
·
2개의 댓글
post-thumbnail

[GitLab] git lfs 로 깃랩에서 모델 가중치 파일 관리하기

딥러닝 모델은 '모델 구조' + '가중치 파일' 2 개의 구성요소로 이루어져 있다고 볼 수 있습니다.모델 구조 = 껍데기, 가중치 파일 = 알맹이인 셈이고요. 당연히 뭐가 더 중요하다고는 할 수 없습니다. 분명한 건 2개 구성요소가 모두 있어야만 딥러닝 모델이 정상적으

2022년 5월 6일
·
0개의 댓글
post-thumbnail

[NLP] BertAdam optimizer 의 개념 & Adam 과의 차이점 정리!

Hi! I'm Jaylnne. ✋오늘은 BERT 모델을 공부하던 중 BERTAdam이라는 독특한 옵티마이저(optimizer)를 접하게 되어서 이것에 대해 정리해보고자 글을 써보기로 했습니다.아래 huggingface 깃헙 링크에 BERTAdam 뿐만 아니라 pytor

2022년 5월 6일
·
0개의 댓글
post-thumbnail

[머신러닝] 앙상블 (Ensemble) 은 항상 모델의 성능을 향상시킬까?

Hi! I'm Jaylnne ✋ 저는 최근에 검색어(=쿼리 키워드) 분류 모델을 개발하고 있습니다. 저와 연구소 팀원 한 분(총 2명)이서 데이터 수집부터 개발까지 1~2개월간 진행한 프로젝트였습니다. 상당히 타이트한 일정이었지만 다행히 목표한 만큼의 성능을 달성했고,

2022년 5월 6일
·
0개의 댓글

[Tensorflow 2.0] 굳이 dtype float32 를 사용하는 이유

sample data 를 tensorflow 로 생성하다 보면 dtype 을 float32 로 지정하는 경우가 자주 보인다. float32 는 32 비트 숫자, float64 는 64 비트 숫자이다.때문에 float64 는 숫자를 더 정밀하게 표현할 수 있고, floa

2022년 5월 6일
·
0개의 댓글

[python] np.linspace(), tf.linspace() 1차원 배열 생성 함수 정리

보다시피 전자는 numpy 의 함수, 후자는 tensorflow 의 함수이다.linspace 는 Linear Space(선형 공간)의 줄임말 같다.모든 함수가 그렇듯 이름에서 그 기능이 유추된다. 😌두 개 함수 모두 1차원 배열을 생성한다.아래와 같이 start, s

2022년 5월 6일
·
0개의 댓글

[bash/zsh] 쉘 변경하기

MacOS 에 아직 익숙하지 않다. 터미널의 기본 쉘인 zsh 도 여전히 낯설어서 그냥 평소 자주 사용했던 bash 로 변경하고 싶었다. 마침 친절하게 안내 문구로 명령어를 알려주길래 'chsh -s /bin/bash' 을 실행했는데, 어째서인지 아래와 같이 오류를 만

2022년 5월 6일
·
0개의 댓글
post-thumbnail

[kafka/python] 에러 해결! import KafkaConsumer "cannot import name 'IncompatibleBrokerVersion' from 'kafka.errors'"

파이썬에서 kafka 패키지의 KafkaConsumer 를 임포트 할 수 없다.pip install kafka 로 kafka 를 설치했더니 원인을 알 수 없는 syntax 에러가 발생했었다.때문에 pip install -U kafka-python 로 카프카 패키지를 재

2022년 5월 6일
·
0개의 댓글

[Linux] 좀비 프로세스 <defunct> 죽이기 간단 정리!

GPU에 올린 train 작업을 종료하기 위해 nvidia-smi에서 확인된 PID 를 kill 했다. 그런데 해당 프로세스에 묶인 GPU 메모리가 free 되지 않는다. 모델과 데이터가 여전히 디바이스에 올라가 있다는 뜻이다. 종료한 PID는 분명 더이상 nvidia

2022년 5월 6일
·
0개의 댓글

[python] 파이썬 ravel() 배열 1차원 변경 메소드 정리

.ravel() 과 .flatten() 의 기능이 비슷해 아래와 같이 정리했다.다차원 배열(array)을 1차원 배열(array)로 평평하게 펴주는 넘파이(numpy) 함수1차원 배열을 다차원 배열로 바꾸는 .reshape()과 반대의 기능을 하는 함수라고 보면 됨.r

2022년 5월 6일
·
0개의 댓글

[python] 파이썬 str.maketrans() 문자열 치환 메소드 정리

문자열을 치환할 때 사용하는 매핑 변환 테이블을 만들 때 사용한다.가장 간단하게 이용하는 방식은 intab, outtab 두 옵션 값에 문자열 형태로 입력해주는 것이다. 숫자도 가능하다.단, intab이 outtab 값과 1대1로 매핑될 수 있도록 두 옵션 값의 길이가

2022년 5월 6일
·
0개의 댓글

[python] 파이썬 upper(), lower(), isupper(), islower() 함수

1\. str.upper(): 문자열을 대문자로 변경2\. str.lower(): 문자열을 소문자로 변경3\. str.isupper(): 문자열이 대문자인지 확인4\. str.islower(): 문자열이 소문자인지 확인

2022년 5월 6일
·
0개의 댓글

[python] 파이썬 집합 관련 자료형 set(), frozenset() 함수

1\. 시퀀스 타입 (sequence type): 저장된 값의 순서 정보가 있고, 중복된 값을 허용한다. ex) list, tuple, range, str2\. 매핑 타입 (mapping type): 순서 정보가 포함되는 것이 본질은 아니나, 파이썬 3.7 이상부터는

2022년 5월 6일
·
0개의 댓글
post-thumbnail

[머신러닝 기초] K겹 교차 검증(K-fold cross validation) 이란? 초보자를 위한 쉽고 간단한 정리!

Hi! I'm Jaylnne! 😀새롭고 어려운 지식을 많이 아는 것도 좋지만 기본기를 단단히 다지는 일도 못지않게 중요하다고 생각합니다. 그래서 저는 시간이 날 때마다 틈틈이 내가 알고 있다고 생각했던 기본 개념들을 하나씩 짚어보며 복습하고는 하는데요. 개념을 처음

2022년 5월 6일
·
0개의 댓글

[python] 파이썬 dict.fromkeys() 딕셔너리 생성 메소드 정리

딕셔너리를 생성할 때 편리하게 사용할 수 있는 메소드. seq 옵션 값에 문자열을 입력할 수도 있다.seq: 생성하려는 dictionary의 키(key)의 목록value: 생성하려는 dictionary의 값(value)

2022년 5월 6일
·
0개의 댓글