서지원 컴퓨터소프트웨어학부 교수 연구팀이 지난달 21일 ‘대규모 딥러닝 모델학습을 가속하는 최적화 기술(이하 최적화 기술)'을 개발했다.

딥러닝(Deep Learning)이란 기계학습의 한 종류로 인공신경망을 심층으로 연결한 모델을 학습하는 기법이다. 딥러닝은 복잡한 문제의 데이터 구조를 이해할 수 있는 모델을 사용해 기존 머신러닝 모델의 한계점을 극복할 수 있어 주목받고 있다. 서 교수 연구팀이 개발한 최적화 기술은 컴퓨터 시스템 분야 세계최고위상의 학술대회인 ‘EuroSys(The European Conference on Computer Systems)’에 발표돼 화제됐다. 머신러닝 시스템 분야의 국제적인 신예로 주목받고 있는 서 교수를 만나 그의 연구 활동에 관한 이야기를 나눠봤다.

서 교수는 학부 시절 컴퓨터 구조, 운영체제, 컴파일러 등의 전공 수업을 수강한 후 응용 프로그램을 효율적으로 실행하는 시스템의 설계에 매력을 느꼈다. 특히 빅데이터 분석과 머신러닝 응용에 흥미를 느껴 현재까지 토토사이트 토실장 중이며, 최근 자연어처리 분야에도 관심을 두고 토토사이트 토실장하고 있다.

지난달 서 교수는 최적화 기술을 개발해 국내외적으로 화제를 모았다. 이 토토사이트 토실장는 BERT, GPT-3 등 대규모 딥러닝 모델 학습을 가속하는 최적화 기술이다. 딥러닝 모델을 학습하는 GPU 등의 하드웨어 가속기의 사용 효율을 높여 학습을 가속하는 원리다. 대규모 모델의 경우 수백 대 이상의 하드웨어 가속기를 사용해야 하지만, 최적화 기술을 적용하면 상대적으로 적은 수의 가속기를 사용한 학습이 가능하다.

이번 연구 계기에 관해 서 교수는 “처음 딥러닝을 공부했을 때 딥러닝의 프레임워크(솔루션의 개발을 수월하게 하기 위해 활용되는 개발, 실행, 운영 환경을 지원하는 소프트웨어)를 분석했고 모든 딥러닝 프레임워크가 역전파 계산을 모델 레이어의 역순으로 수행함을 발견했다”며 “모델 레이어의 역순으로 계산하지 않고 다른 순서로 스케줄링(중앙처리장치인 CPU를 사용할 수 있는 순서를 정하는 일)하는 것이 가능하다고 판단해 이를 적용한 ‘비순차적 역전파(Out-of-Order Backdrop) 기법’을 개발했다”고 답했다. 서 교수는 분산 학습의 대표 방식인 데이터 병렬 학습과 파이프라인 병렬 학습에서 임계 경로에 있는 파라미터 기울기 계산의 우선순위를 높이는 스케줄링 기법을 적용해 최적화 기술을 개발해냈다.

비순차적 역전파 기법과 이에 기반한 스케줄링 알고리즘은 딥러닝 모델 학습에서 광범위하게 적용할 수 있다. 최적화 기술을 통해 이미지 분류 모델의 학습 속도를 최대 1.5배 이상 향상시켰고 대규모 모델의 학습 속도를 최대 2배 이상 올리는 성과를 거뒀다. 서 교수는 “기존 딥러닝 모델 학습 방법과 계산 결과는 완벽하게 동일하며 계산 순서를 스케줄링하는 방식을 적용하기 때문에 학습된 모델의 정확도가 낮아질 위험 없이 GPU의 계산 효율을 증가시키고 학습 시간을 단축하는 장점이 있다”고 답했다.

최적화 기술의 개발을 비롯해 서 교수의 연구는 국제 학술지, 해외 대학 및 IT 기업의 주목을 받아왔다. 그는 “최적화 기술의 경우 EuroSys 학회에 게재 승인된 후 미국 스탠퍼드 대학(Stanford University), 영국 임페리얼 칼리지 런던(Imperial College London) 등 해외 유명 대학의 연구 그룹에서 세미나를 요청받았는데, 이런 요청은 드물기에 놀랐었다”고 말했다. 그 밖에도 머신러닝 학회인 ‘MLSys 2022’에서 연구 활동을 발표한 이후 실리콘밸리 기반 스타트업 ‘MosaicML’에 협업 제의를 받았다.

그는 “’MosaicML’으로부터 우리 연구실의 기술을 오픈소스 라이브러리로 구현해 실제 딥러닝 학습에 사용하기 쉽게 하자는 제안을 받았고 현재 협업을 진행 중이다”고 답했다. 이처럼 서 교수의 연구는 우수성을 인정받아 현재 여러 기관과 협업 중이며 미국 구글(Google) 본사, 네이버 클로바, LG AI 연구원 등에 초청돼 세미나를 열기도 했다.

서 교수와 그의 연구원들은 서로 배우는 분위기에서 연구 환경을 만들고 있다. 그는 “연구실의 대학원생들이 연구 활동의 동력이라고 생각한다”며 “연구에 문제가 발생할 때 학생들이 좋은 아이디어와 새로운 시각을 제안해서 해결하기도 하며 대학원생 간에도 서로 부족한 점을 가르쳐주는 등 좋은 연구를 할 수 있는 환경이다”고 말했다. 서 교수는 연구실 학생들의 실력을 증진하고자 유명 학회에 함께 참석하고, 최신 기술이 적용된 오픈소스 소프트웨어를 분석한 후 학생들에게 내용을 설명하는 워크숍을 여는 등 여러 활동을 기획해 왔다.

그는 컴퓨터소프트웨어학부 제자들에게 여러 조언을 전하기도 했다. 서 교수는 “핵심적이고 본질적인 부분을 집중적으로 공부했으면 한다”며 “소스 코드를 빠르게 이해하는 분석 능력과 효율적이고 이해하기 쉬운 코드를 작성하는 개발 능력은 매우 중요하니 학부 시절 기초 과목들을 열심히 수강하고 실습하길 권한다”고 전했다. 이어 그는 “관심 있는 오픈소스 프로젝트에 참여해 소스 코드를 분석하고 제작한 코드를 공헌하는 것도 좋은 방법이다”며 “학부생 시절 여러 프로젝트에 참여했던 경험이 이후 연구 커리어에 큰 도움이 됐기에 학생들도 여러 프로젝트에 참여해보길 추천한다”고 덧붙였다.

서 교수의 연구 목표는 ‘머신러닝 시스템 분야의 연구를 주도하는 세계적인 연구 그룹으로의 성장’이다. 서 교수는 “최적화 기술 개발을 비롯해 세계 최고 수준의 연구 결과를 논문으로 발표한 경험이 이미 있지만 높은 수준의 연구를 지속하고 학생들이 주도하는 연구를 진행할 수 있도록 학생들을 지도할 계획이다”고 말했다.