- Hoàn toàn phi trật tự là điều không thể. Theodore S. Motzkin, Israeli-American mathematician, 1908 - 1970
“Complete disorder is impossible”, Theodore S. Motzkin, Israeli-American mathematician, 1908 - 1970
- Có một số thứ không thể học được một cách nhanh chóng, và để có được chúng, chúng ta phải trả giá rất đắt, bằng thời gian hay bằng tất cả những gì mà chúng ta có. Chúng là những thứ cực kỳ đơn giản, và bởi vì nó mất cả một đời người để hiểu được mới có thể hiểu những điều mới mẻ nhỏ bé ấy nên nó mới nó có giá trị và trở thành di sản đáng trân trọng khi ta ra đi.
“There are some things which cannot be learned quickly, and time, which is all we have, must be paid heavily for their acquiring. They are the very simplest things, and because it takes a man’s life to know them the little new that each man gets from life is very costly and the only heritage he has to leave.” - Ernest Hemingway
Thông tin và Entropy
Lý thuyết thông tin là nghiên cứu về cách dữ liệu có thể được mã hóa và giải mã, nén và giải nén. Mục tiêu chính của lý thuyết thông tin, như Claude Shannon đã đặt ra, là truyền thông tin đáng tin cậy qua một kênh không đáng tin cậy. Trong các bài viết này, chúng ta sẽ thảo luận về độ dài tối thiểu mà dữ liệu có thể được nén xuống, cũng như lượng dư thừa tối thiểu cần thêm vào dữ liệu để mã hóa sao cho có thể giải mã không có lỗi.
Mạng neural có khả năng suy rộng là nhờ vào một thủ thuật (trick) kỳ quặc!!!
Lý thuyết Học thống kê đang lừa dối bạn rằng: Các mô hình tham số hóa quá mức (“Overparametrized” models) không thật sự quá mức, và khả năng suy rộng/ tổng quát hóa (generalization) không chỉ là một câu hỏi về độ rộng của lòng chảo trong không gian độ lỗi.
Hành động ma quái ở khoảng cách xa trong miền mất mát
Không phải tất cả các cực tiểu toàn cục của miền mất mát (huấn luyện) đều được tạo ra như nhau. Ngay cả khi chúng đạt được hiệu suất tương đương trên tập huấn luyện, các giải pháp khác nhau có thể hoạt động rất khác nhau trên tập kiểm tra hoặc trên phân phối ngoài mẫu. Vậy tại sao chúng ta thường tìm thấy các giải pháp “đơn giản” có khả năng tổng quát hóa tốt?
Thể tích Hessian và Basin
Khi thảo luận về “các lưu vực rộng (broad basins)” trong miền mất mát của một mạng DNN, Hessian của hàm mất mát thường được đề cập. Bài viết này sẽ tập trung giải thích một xấp xỉ lý thuyết đơn giản của thể tích lưu vực (basin volume) mà sử dụng Hessian của hàm mất mát.
Lý thuyết học kỳ dị - Singular Learning Theory
Lý thuyết học kỳ dị hay Singular Learning Theory (SLT) là một lý thuyết cơ sở toán học mới nhằm mục tiêu mở rộng và cải thiện Lý thuyết Học thống kê cổ điển (Traditional Statistical Learning Theory) bằng các kỹ thuật từ các lý thuyết Hình học Đại số (Algebraic geometry), Thống kê Bayesian (Bayesian statistics) và Vật lý Thống kê (Statistical physics). Đây là một lý thuyết đầy hứa hẹn cho việc xây dựng nền tảng toán học của lý thuyết học máy hiện đại.