들어가며
안녕하세요. 2023년 7월 20일에 진행한 테크 세미나 '다가오는 Automated AI 시대, 그 기반 기술과 적용 사례'의 후기를 작성하게 된 DEVOCEAN YOUNG 2기 Young Wave의 박상우입니다.
현재 ML 엔지니어를 지망하여, 공부를 열심히 하고 있었는데 마침 관련된 테크 세미나에 참여하게 되어 매우 기대되었습니다. 특히 XAI, AutoML가 실무에서 어떻게 활용되는지 궁금하였는데, 이에 관해 주의 깊게 들어야겠다고 생각하였습니다.
발표
발표는 현 SK C&C, Automated AI팀의 Senior Data Scientist이신 박병선님께서 진행해주셨습니다. AutoML 소개, 하이퍼파라미터 최적화, XAI 의 순서대로 발표를 진행해주셨습니다.
도입
가장 먼저 AutoML의 현황에 대해서 설명해주셨습니다. AutoML의 적용 범위는 점차 확장중이며, 실무에 적용 가능하도록 발전중인 상태라고 말씀해주셨습니다.
하이퍼파라미터 최적화
이후 하이퍼 파라미터 최적화에 대해 심층적으로 설명해주셨습니다. 가장 먼저 데이터로부터 결정되는 파라미터와 작업자가 직접 결정하는 하이퍼파라미터의 차이점을 먼저 강조해주셨습니다. 하이퍼파라미터는 작업자가 직접 결정하는 휴리스틱한 모수이기에, 이를 결정하는 방법론이 중요하다는 점 또한 말씀해주셨습니다.
다음으로 여러 하이퍼파라미터 최적화 방법론들을 설명하여 주셨습니다. Grid Search, Random Search, Bayesian Search, SHA의 총 4가지 방법론을 설명해주셨으며, 각각의 장 단점과 motivation을 가르쳐 주셨습니다.
앞의 3가지 방법론은 제가 실제 프로젝트에서 사용하였던 방법론인데, 마지막 방법론인 SHA는 처음 알게되어 이후 적용해보아야 겠다고 생각하였습니다.
XAI
다음으로는, 설명 가능한 AI인 eXplainable AI (XAI)를 설명해주셨습니다. 궁금하면서도, 어려운 내용이었기에 가장 설명에 집중하였습니다.
가장 먼저, 실무에서는 예측력도 중요하지만 그 이유인 Why 또한 중요함을 강조하시며, 어떤 요인이 큰 영향을 주었는지를 꼭 파악해야 한다고 말씀하셨습니다. 특히 현대의 성능이 우수한 모델은 대부분 black-box 모델로서, 이를 해석하는 것은 매우 어렵지만 필수적이라고 강조하셨습니다.
이에 따라 모든 모델에는 Input과 Output이 존재하므로, 이에 따라 해석하려는 model-agnostic 방법론을 가장 먼저 말씀해주셨습니다. 그러나 이는 그저 변수를 추가하거나, 소거함으로써 영향력을 비교하는 것으로 rough하다는 한계를 지닌다고 말씀하셨습니다.
다음으로는 특정 값을 임의로 섞어 예측력의 변화를 통해 요인의 영향력을 파악하는 Permutation Importance 방법론을 설명해주셨습니다. 이는 계산 비용이 적고, 상호작용을 고려한다는 장점을 가지나 영향의 방향을 알수 없음과 동시에 Outlier에 취약하다는 단점을 지님을 지닌다고 말씀해 주셨습니다.
이후 Surrogate model을 설명해주셨습니다. 이는 Black-Box 모델의 예측치를 해석 가능한 대리 모델의 y label로 학습하여 요인 영향력을 파악하는 방법론이라고 말씀하셨습니다. 이는 어떤 모델이나 사용 가능하다는 장점을 지니지만, 결정계수를 신뢰성과 같은 본질적인 한계가 존재함을 강조하셨습니다.
마지막으로 LIME과 SHAP, PDP 등 현대의 XAI 방법론의 원리와 함께 장단점을 설명해주시며 이를 주로 사용한다고 말씀해주셨습니다.
에필로그
발표를 마치며, Q/A시간을 통해 참가자들의 궁금한 점을 답변해주셨습니다.가장 인상 깊은 부분은, 데이터 사이언티스트에게 AutoML은 어떤 존재인지에 대해 답변해주신 부분이었습니다. 흔히 AutoML을 데이터 직군에게서 침략자라고 보는 시선이 많은데, Senior 데이터 사이언티스트에게 AutoML은 일종의 조수와 같다고 말씀하셨습니다. 그러나, Junior 데이터 사이언티스트에 경우에는 처음에는 AutoML을 사용하지 말고, 직접 하나하나 해보는 것을 권장한다고 강조하셨습니다.
제가 지향하는 ML 엔지니어는 데이터 사이언티스트와 유사한 부분이 많은 직군인데, 이 직군의 Senior이신 박병선님을 통해 좋은 정보를 많이 얻어갈 수 있는 유익한 시간이었습니다. 매월 좋은 자리를 마련해주는 데보션에게 감사하다는 말을 끝으로 후기를 마치겠습니다. 감사합니다!
