profile
사진은 남아 추억이 메모는 남아 스펙이 된다
post-thumbnail

지속가능한 AI 서비스를 위한 개발자용 MLOPS 플랫폼

개요 해당 프로젝트는 실제 사람의 걷는 영상으로부터 OpenPose 알고리즘을 통해 관절의 움직임을 프레임단위로 추적하고, Unity 환경에서의 모방학습을 거쳐 실제 사람의 거동과 유사한 움직임을 보이는 Walker를 구현하는 것을 목표로 함 사람의 걷는 움직임은 각 관절간의 유기적인 연결에 의해 구현됩니다. 이를 세부적으로 각각 모델링하여 구현하기는 거의...

약 10시간 전
·
0개의 댓글
post-thumbnail

[Django] Log Spark로 전달

개요 Django -> Spark -> Zeplin Web Service를 사용하는 클라이언트의 Log를 처리할 예정 배치처리하여 hdfs에 저장해 Troubleshooting Deadline(2022.04.01)이 별로 남지 않았음 해결방안 시간이 별로 없어 지금은 Kafka로 처리를 하고 나중에 log처리 방법을 강구 차후에 장고 Logging을 사...

약 11시간 전
·
0개의 댓글
post-thumbnail

메세지 지향 미들웨어(MOM)

메세지 지향 미들웨어(Message Oriented Middleware > MOM) 미들웨어란 애플리케이션들을 연결해 이들이 서로 데이터를 교환할 수 있게 해주는 소프트웨어 메세지 지향 시스템이란 메세지 API를 통해 각 분산되어있는 애플리케이션간의 다리역할을 함으로써 데이터를 교환할 수 있도록 하는 시스템 메세지를 통해 여러 분산되어 있는 시스템간의 C...

약 12시간 전
·
0개의 댓글
post-thumbnail

[Django] Kibana의 BI를 Web서비스로 제공

개요 Kibana -> Django의 시각화 제공 예정 사용방법 Share에서 Embed code 선택 포함시킬 옵션을 선택 및 Copy Copy한 iFrame code를 Html에 붙여넣기 결과 Kibana를 클라이언트에게 Web Service를 제공 ![](https://velog.velcdn.com/images

약 15시간 전
·
0개의 댓글
post-thumbnail

[Django] Elasticsearch에 저장된 데이터 Web 서비스에서 제공하기

개요 ElasticSearch -> Django로 전달 예정 Django는 ES데이터를 API를 사용하여 가져올 예정 Python Elasticsearch Client 사용할 예정 출처 : Elasticsearch Client Install ElasticSearch API 설치 코드 ./post/views.py 최신뉴스이므로 모든 데이터 중 10개의 데...

약 15시간 전
·
0개의 댓글
post-thumbnail

[ElasticSearch] Fluentd와 연동

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Kafka -> Fluentd -> Elastic Search로 전달 예정 들어온 데이터를 시각화 및 BI 따라서 Fluentd ES 연동이 필요함 제한사항 index_name 이름은 news(대문자가 들어가면 안됨) 받는 데이터(네이버 뉴스) 뉴스 제목 신문사 뉴스 장르(정치, IT...

약 15시간 전
·
0개의 댓글
post-thumbnail

[ElasticSearch] EK 설치

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Kafka -> Fluentd -> Elastic Search로 전달 예정 들어온 데이터를 시각화 및 BI 따라서 ElasticSearch & Kibana 설치가 필요함 제한사항 index_name 이름은 news(대문자가 들어가면 안됨) 받는 데이터(네이버 뉴스) 뉴스 제목 신문사 뉴...

약 16시간 전
·
0개의 댓글

[Django] 뉴스를 보여줄 Web 서비스

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 뉴스 데이터를 보여줄 사이트가 필요함 제한사항 현재 보여줄 뉴스 장르는 최신뉴스, 정치, 사회, IT, 생활, 경제, 세계 등 6개로 이루어져 있음 > 최신뉴스는 모든 장르의 뉴스 중 최신 뉴스만 뽑은 것 Set UP Frontend 네이버 뉴스 랭

약 16시간 전
·
0개의 댓글
post-thumbnail

[Kafka] 내, 외부 통신 설정

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정 외부에서 들어온 데이터를 내부에서 제공해야함 크롤러 url : 크롤러 Troubleshooting 외부의 데이터가 들어오지 않음 netstat -anlp :9200을 했을 때, 데이터가 들어오려는...

약 17시간 전
·
0개의 댓글
post-thumbnail

[Fluentd] Consumer2

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 Kafka -> Fluentd -> Elastic Search로 전달 예정 따라서 Consumer를 표준출력을 ES로 보내기 위해 conf파일 수정 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 ...

약 17시간 전
·
0개의 댓글
post-thumbnail

[Fluentd] Consumer

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정 Fluentd로 보낸 데이터는 다시 ES(Elastic Search)로 전달할 예정 크롤러 url : 크롤러 따라서 Consumer를 Fluentd로 ...

약 17시간 전
·
0개의 댓글
post-thumbnail

K8S를 활용한 NEWS 실시간 순위 및 이슈 분석

개요 네이버 뉴스에서 실시간, 대용량 데이터를 수집/처리/시각화 프로젝트 네이버 뉴스에서 키워드에 맞게 원하는 정보 수집 그 정보를 토대로 분야 별로 분류하고 사용자들이 어떤 정보를 더 보는지 확인 프로젝트 기간 2022.03.14 ~ 2022.04.01 자원 개발환경 VM-ware workstarion pro 16 Ubuntu :18.04 Kuber...

약 18시간 전
·
0개의 댓글
post-thumbnail

[Kafka] Producer

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 EC2에 돌릴 크롤러가 Producer가 되어야함 EC2(Python) -> Kafka -> Fluentd로 전달 예정 크롤러 url : 크롤러 따라서 Producer를 Python코드로 짜볼 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 제...

약 18시간 전
·
0개의 댓글
post-thumbnail

[Kafka] Broker

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 crawler(Python) -> Kafka -> Fluentd로 전달 예정 크롤러 url : 크롤러 따라서 Kafka에 배울필요가 있음 Before Install Ubuntu 3대가 필요함(Producer, Broker, Consumer) Install ![](https://velog.vel...

약 18시간 전
·
0개의 댓글
post-thumbnail

[Crawl] 크롤링 시간 단축시키기

개요 실시간 크롤링하는데 걸리는 시간이 약 32초로 긴 시간인 것을 확인할 수 있음 EC2를 병렬처리하여 시간을 줄일 예정 시간을 단축하기 위해서 Python -> Cpython or pypy로 돌릴 예정 Cpython, pypy Cpython : 대부분의 파이썬의 경우 내부는 C언어로 구현 pypy : 2007년에 처음 발표된 Python의 언어 구현 ...

약 20시간 전
·
0개의 댓글
post-thumbnail

[Crawl] 네이버 뉴스 크롤링

개요 EC2로 실시간 크롤링하여 데이터를 Kafka를 이용하여 데이터를 전달할 예정 데이터 신문사 주제 시간 뉴스 url 제한사항 실시간 크롤링이므로 1분전인 글만 crawling 나머지들은 continue '.,`"[]?! 등 특수문자 제거 Install Code 결과 selenium & requests가 아닌 bs4 & requests를 사용...

약 20시간 전
·
0개의 댓글

이상한 문자 만들기

문제 문자열 s는 한 개 이상의 단어로 구성되어 있습니다. 각 단어는 하나 이상의 공백문자로 구분되어 있습니다. 각 단어의 짝수번째 알파벳은 대문자로, 홀수번째 알파벳은 소문자로 바꾼 문자열을 리턴하는 함수, solution을 완성하세요. 제한사항 문자열 전체의 짝/홀수 인덱스가 아니라, 단어(공백을 기준)별로 짝/홀수 인덱스를 판단해야합니다. 첫 번째 ...

5일 전
·
0개의 댓글

두 개 뽑아서 더하기

문제 정수 배열 numbers가 주어집니다. numbers에서 서로 다른 인덱스에 있는 두 개의 수를 뽑아 더해서 만들 수 있는 모든 수를 배열에 오름차순으로 담아 return 하도록 solution 함수를 완성해주세요. 제한사항 numbers의 길이는 2 이상 100 이하입니다. numbers의 모든 수는 0 이상 100 이하입니다. 입출력 예 |...

5일 전
·
0개의 댓글

K번째 수

문제 배열 array의 i번째 숫자부터 j번째 숫자까지 자르고 정렬했을 때, k번째에 있는 수를 구하려 합니다. 예를 들어 array가 [1, 5, 2, 6, 3, 7, 4], i = 2, j = 5, k = 3이라면 array의 2번째부터 5번째까지 자르면 [5, 2, 6, 3]입니다. 1에서 나온 배열을 정렬하면 [2, 3, 5, 6]입니다. 2에서...

5일 전
·
0개의 댓글

내적

문제 길이가 같은 두 1차원 정수 배열 a, b가 매개변수로 주어집니다. a와 b의 내적을 return 하도록 solution 함수를 완성해주세요. 이때, a와 b의 내적은 a[0]b[0] + a[1]b[1] + ... + a[n-1]*b[n-1] 입니다. (n은 a, b의 길이) 재한사항 a, b의 길이는 1 이상 1,000 이하입니다. a, b의 모...

6일 전
·
0개의 댓글