Lý thuyết học kỳ dị hay Singular Learning Theory (SLT) là một lý thuyết cơ sở toán học mới nhằm mục tiêu mở rộng và cải thiện Lý thuyết Học thống kê cổ điển (Traditional Statistical Learning Theory) bằng các kỹ thuật từ các lý thuyết Hình học Đại số (Algebraic geometry), Thống kê Bayesian (Bayesian statistics) và Vật lý Thống kê (Statistical physics). Đây là một lý thuyết đầy hứa hẹn cho việc xây dựng nền tảng toán học của lý thuyết học máy hiện đại.
Giáo trình chính
[1] S. Watanabe. “Algebraic geometry and statistical learning theory”. 2009.
[2] S. Watanabe. “Mathematical theory of Bayesian statistics”. 2018.
Luận văn Thạc sĩ
[1] Spencer Wong’s MSc thesis, May 2022, From Analytic to Algebraic: The Algebraic Geometry of Two Layer Neural Networks.
[2] Liam Carroll’s MSc thesis, October 2021, Phase transitions in neural networks.
[3] Tom Waring’s MSc thesis, October 2021, Geometric Perspectives on Program Synthesis and Semantics.
[4] Matt Farrugia-Roberts’ MSc thesis, October 2022, Structural Degeneracy in Neural Networks.
Luận văn Tiến sĩ
[1] Shaowei Lin’s PhD thesis, 2011, Algebraic Methods for Evaluating Integrals in Bayesian Statistics.
Bài báo khoa học cơ sở
[1] Shun-ichi Amari, T. Ozeki, H. Park, Learning and inference in hierarchical models with singularities, Syst. Comput. Japan 34:7 (2003) 34–42
[2] Sumio Watanabe, Almost all learning machines are singular, Proc. IEEE Symp. Found. Comput. Intell., Apr. 2007, 383–388.
[3] S. Wei, D. Murfet, M. Gong, H. Li , J. Gell-Redman, T. Quella ‘Deep learning is singular, and that’s good’. 2022.
Bài viết
[1] Jesse Hoogland’s blog posts: general intro to SLT, and effects of singularities on dynamics.
[2] Edmund Lau’s blog Probably Singular.
Bài viết được dịch từ: Singular Learning Theory được viết bởi Alexander Gietelink Oldenziel