Statistical Physics 3
Mạng neural có khả năng suy rộng là nhờ vào một thủ thuật (trick) kỳ quặc!!!
Lý thuyết Học thống kê đang lừa dối bạn rằng: Các mô hình tham số hóa quá mức (“Overparametrized” models) không thật sự quá mức, và khả năng suy rộng/ tổng quát hóa (generalization) không chỉ là một câu hỏi về độ rộng của lòng chảo trong không gian độ lỗi.
Thể tích Hessian và Basin
Khi thảo luận về “các lưu vực rộng (broad basins)” trong miền mất mát của một mạng DNN, Hessian của hàm mất mát thường được đề cập. Bài viết này sẽ tập trung giải thích một xấp xỉ lý thuyết đơn giản của thể tích lưu vực (basin volume) mà sử dụng Hessian của hàm mất mát.
Lý thuyết học kỳ dị - Singular Learning Theory
Lý thuyết học kỳ dị hay Singular Learning Theory (SLT) là một lý thuyết cơ sở toán học mới nhằm mục tiêu mở rộng và cải thiện Lý thuyết Học thống kê cổ điển (Traditional Statistical Learning Theory) bằng các kỹ thuật từ các lý thuyết Hình học Đại số (Algebraic geometry), Thống kê Bayesian (Bayesian statistics) và Vật lý Thống kê (Statistical physics). Đây là một lý thuyết đầy hứa hẹn cho việc xây dựng nền tảng toán học của lý thuyết học máy hiện đại.