오늘은 하루 종일 코드 정리를 했다. 생각보다 충돌나는 경우가 많았다. 노트북으로 작성된 실험 내용을 모듈화하여 하나의 파이프라인으로 구성했다. 결과는 다음과 같다.
reasoning = Reasoning()
sampled = 5 # 5개 샘플로 실험
reasoning.sample_data(n=sampled)
reasoning.process()
classification = Classification(data=reasoning.data)
classification.process()
keyword_extraction = KeywordsExtractor(data=classification.data)
keyword_extraction.process()
wikipedia_crawler = WikipediaCrawler(data=keyword_extraction.data)
wikipedia_crawler.crawl()
summarizer = Summarizer(data=wikipedia_crawler.data)
summarizer.process()
paragraph_generator = ParagraphGenerator(data=summarizer.data)
paragraph_generator.process()
paragraph_trimmer = ParagraphTrimmer(data=paragraph_generator.data)
paragraph_trimmer.process()
처음에 구상한 방식은 |
연산자를 활용한 파이프라이닝이었는데, LCEL을 좀 더 공부하고 구현 방식을 고안해야겠다.
모듈화가 끝나고 PR을 날렸는데, 리뷰할 내용이 너무 많았다. PR을 나눠서 올렸어야 했는데, 너무 한 번에 모든 기능을 완성하고 올리려고 했다.