nlp

mecab-ko-dic-2.1.1-20180720 안에 추가하려는 단어가 있는 .csv 파일 생성여기서 4번째 쉼표에 있는 숫자가 작을수록 우선순위가 높아짐.tools/add-userdic.sh 스크립트를 실행시키면 완료.

지금까지 konlpy 형태소 분석기 중 mecab만 사용할 수 없었는데 방법을 알아냈다.pip install mecab 명령어로 mecab을 설치하면 C://에 mecab이라는 폴더가 생성될 것이다.python에서 Mecab을 호출할 때 경로를 다음과 같이 설정해주자.

Error: error while loading shared libraries: libmecab.so.2: cannot open shared object file: No such file or directory Docker 파일을 이용하여 mecab을 설치한 이미지를

진짜 오랜시간 동안 konlpy 설치안되서 애먹었었는데 진짜 확실하게 알았다. 까먹지 않게 적어두자.https://www.oracle.com/java/technologies/downloads/ 로 들어가서 자바를 설치한다. exe, msi 중 아무거나 선택해서

aws linux2도 ubuntu와 똑같이 설치하면 될 줄 알았는데 mecab은 역시 생각보다 간단하지 않다.아래의 순서대로 진행하여 mecab을 설치하도록 하자.해당 명령어를 실행하면 /tmp 경로에 mecab 관련 파일들이 설치된다고 한다. 하지만 여기까지 진행해도

gensim과 sentence-transformers는 텍스트를 임베딩하는데 아주 유용한 라이브러리 이다. 이 2개의 라이브러리를 설치하려는데 python이 최신버젼이라면 레거시 에러가 나올 확률이 아주 높다.따라서 python은 3.8 아래로 설치하길 권장한다. 또한

아나콘다에서 pip로 설치하려는데 위와 같은 에러가 자주 뜰 수있다. 나는 초반엔 conda로 설치하여 해결했었는데 keybert 같은 라이브러리는 아나콘다에는 없어서 난감했다. 방법은 window 설정에 가서 보안을 해제하면 된다.windows 보안에 들어가면 위 처

gemsim을 최신버젼으로 설치하고 summarization 관련 매소드를 불러오면 다음과 같은 에러가 발생할 수 있다. 이때는 3.4.0으로 다운그레이드 하면 된다.

텍스트 생성(Text Generation)과 텍스트-투-텍스트 생성(Text-to-Text Generation)은 자연어 처리(Natural Language Processing) 분야에서 사용되는 두 가지 다른 작업입니다.텍스트 생성은 주어진 문맥이나 시드(seed)로

한국어 Word2Vec 모델은 미리 학습된 모델로 공개되어 있습니다. 대표적인 예시는 Facebook에서 제공하는 FastText 라이브러리의 한국어 Word2Vec 모델입니다.FastText의 한국어 Word2Vec 모델은 다음과 같이 다운로드할 수 있습니다. 아래의

아래 링크에서 본인의 윈도우 32bit/64bit 확인 후 선택하여 최신 버전 다운로드 https://github.com/Pusnow/mecab-ko-msvc/releases/tag/release-0.9.2-msvc-32021/07/04 기준 release-