[DEVOCEAN YOUNG 2기] 테크 세미나 In-Memory Data Grid 기반 Smart Factory 아키텍처링 연구 사례 후기

들어가며

안녕하세요! 2023년 9월 21일에 진행된 테크 세미나 In-Memory Data Grid 기반 Smart Factory 아키텍처링 연구 사례 후기를 작성하게 된 DEVOCEAN YOUNG 2기 Young Wave의 박상우입니다.

과거 데이터 엔지니어라는 직무에 관심이 있었기에, 이와 관련된 주제의 테크 세미나에 참가할 수 있어 매우 큰 영광이었습니다. 특히 AI 모델을 학습시키기 위해서는 다량의 데이터를 적재하는 것이 필수적이기에, 추후 필요한 지식이라고 생각하여 주의 깊게 듣고자 하였습니다.

발표

발표는 먼저 SK Hynix, Platform Sortware팀의 차세대 메모리 연계 선행 연구를 진행하시는 오세진 님이 IMDG에 관해 설명해 주셨습니다.
이후 현 SK Hynix, Data Engineering Solution팀의 Data Catalog System 개발 리딩인 박재승님이 SK의 데이터 중앙 관리 플랫폼인 Data Hub에 대해 설명해주셨습니다.

IMDG

IMDG는 이종 데이터 소스를 통한 통합 뷰를 제공하는 시스템으로, 컴퓨터 엔진을 통해 기능을 병행한다는 장점이 있습니다. 가장 대표적인 플랫폼은 Hazelcast로 파티션과 노드로 구분할 수 있으며, 클라이언트와 서버 모드로 분류됩니다.
소프트웨어는 JDK로 설치 가능하며 Hazelcast Management Center를 통해 실시간으로 웹 페이지를 통해 모니터링 가능합니다.
컴퓨터의 하드웨어 지식이 부족해 전부 이해하지는 못하였지만, IMDG가 메리트가 있는 기술이며 도입 유인이 확실하다는 것은 이해할 수 있었습니다.

Data Hub

Data Hub는 SK Hynix의 데이터 중앙 관리 플랫폼으로서 현재 SK Data engineering 솔루션 팀에서 개발 중인 인터페이스 허브입니다. 실시간으로 여러 사용자가 한번에 데이터를 공유할 수 있다는 장점을 지니며, 특히 End-to-End 데이터 연계와 일관적인 데이터 품질 확보에 강점을 가진다고 설명해주셨습니다.
보통 타 사의 제품을 구매하여 사용하는 경우가 많은 것으로 알고있는데, SK Hynix에서는 독자적인 데이터 허브를 구축하여 데이터를 목적에 맞게 즉시 활용할 수 있게 한 것이 인상적이었습니다.

에필로그

대략적으로 오세진님께서 IMDG라는 기술을 상세하게 설명하셨으며, 이후 박재승님께서 비즈니스적으로 이를 SK Hynix의 데이터 허브에 어떻게 적용할 지를 말씀해주신 발표였습니다. 재승님의 팀에서 꾸준히 다양한 실험을 통해 성능을 개선하는 것이 인상적이었으며 SK Hynix와 같은 큰 규모의 회사에서 어떤식으로 데이터를 적재하는지 알 수 있는 흥미로운 시간이었습니다.
비록 컴퓨터 하드웨어적 지식이 부족하여, 모든 것을 이해할 수는 없었지만 신 기술이 어떻게 기업에 도입되는지 알 수 있는 유익한 시간이었습니다.
양질의 발표 진행해주신 두 시니어님과 좋은 자리 마련해준 데보션에게 감사하다는 말을 끝으로 후기 마치겠습니다. 감사합니다!