Abstract
확률적 경사하강법 (stochastic gradient descent, SGD)은 대규모 데이터에 대한 심층학습을 가능케 한결정적인 기법으로, 지금까지 영상, 음성 등 모든 양식의 최첨단 심층학습 모델에 사용되고 있다. 이에 따라, SGD의 특성을 분석하기 위한 다양한 이론적인 연구가 진행되고 있다. 특히 심층학습 모델의 확률적 경사소음 (stochastic gradient noise, SGN)을 확률 과정으로 모델링하며, SGN의 실험적인 분포를 토대로 SGD에 대응되는 확률과정의 특성을 분석하는 방향이 있다. 본 논문에서는 그래프 신경망 (graph neural network, GNN)에서 SGN의 통계적인 특성을 분석하고자 한다. GNN은 일반적인 신경망 (neural network, NN)과 달리, 노드의 차수 (degree) 분포와 같이 그래프 데이터가 가지는 고유한 특성이 존재하기 때문에, 이와 같은 특성이 SGN의 양상에 영향을 미칠 것으로 예상한다. 본 논문에서는 흔히 쓰이는 Cora 벤치마크에서 실험을 통해 GNN 위에서 SGN이 어떤 분포를 따르는지 파악한다. 또한, 다양한 분석을 통해 이를 직관적으로 설명하고, 이를 토대로 향후 GNN 연구 및 실무를 돕기 위한 통찰을 제공한다.
(To be filled out)
Junghyun Lee
PhD Student
PhD student at GSAI, KAIST, jointly advised by Prof. Se-Young Yun and Prof. Chulhee Yun. Interested in mathematical and theoretical AI, i.e., essentially any machine learning challenges necessitating mathematical analysis. Recently focused on statistical problems arising from RLHF, including interactive machine learning and low-dimensional structure recovery.