# udf

3개의 포스트

[스터디] 스파크 완벽 가이드 6일차

스파크에서 데이터를 사용하기 위해 프로그래밍 언어의 고유 데이터 타입을 스파크 데이터 타입으로 변환히키기 위해서는 lit함수를 사용한다. lit함수는 다른 언어의 데이터 타입을 스파크 데이터 타입에 매핑시켜 변환한다.

2022년 1월 13일
·
0개의 댓글
·

DB에서 Curl 날리기

DB에서 발생한 CRUD를 통하여 외부 API를 호출하고 싶다면 어떻게 해야할까요?파일 가져오기 : https://github.com/mysqludf/lib_mysqludf_sys터미널에서 깃으로 가저온 파일 경로로 갑니다. gcc -DMYSQL_DYNAMIC

2022년 1월 7일
·
0개의 댓글
·

Spark Zeppelin - Task not serializable

zeppelin 으로 작업하다 만난 Task not serializable 해결 과정을 기록한다.두 gps 좌표간의 거리를 계산하는 udf를 아래와 같이 만들어 사용하려 했다.distance를 적용 후 액션LAG를 사용하는데 문제가 있나해서 검색하여 @transient

2021년 11월 17일
·
0개의 댓글
·