愛媛大学データサイエンスセンターの石川勲特定助教らの研究グループの研究成果論文"Ridge Regression with Overparametrized Two-Layer Networks Converge to Ridgelet Spectrum"がAISTATS2021において採択されました。

愛媛大学データサイエンスセンターの石川勲特定助教の研究グループは、ニューラルネットワークの学習結果に得られる隠れ層のパラメータ分布がリッジレット変換と呼ばれる積分作用素で表示されることを厳密に証明しました。ニューラルネットは近年急速に発達した機械学習の一手法であり、現在では実社会への応用が精力的に進められています。一方でニューラルネットワークがなぜ正しく動くのかについて理論的な裏付けが課題となっています。

本研究では「トーラス上のリッジレット変換」の理論を構築し、学習が進むごとに2層ニューラルネットの隠れ層パラメータがリッジレット変換に弱収束することを数学的に示しました。このことは実験的にも実証され、sin関数の学習実験において（図参照）、確率勾配法と呼ばれるアルゴリズムで学習したニューラルネットの隠れ層のパラメータ分布（左図）と、リッジレット変換から得られるパラメータ分布（右図）が近いことがわかります。本研究結果はニューラルネットを学習した時に隠れ層のパラメータ分布に強い数学的な構造が存在することを示唆しており、本研究の手法は今後のニューラルネットの理論的裏付けへの応用が期待できます。

この研究成果は2021年4月13日から開催される、人工知能及び統計学の国際トップ会議The 24th International Conference on Artificial Intelligence and Statisticsで発表されます。

本研究の研究グループのメンバー（敬称略、著者順）は園田翔（理研）、石川勲（愛媛大学・理研）、池田正弘（理研）です。