Sigmoid so với ReLU: Chi phí hình học của các hàm kích hoạt

Một góc nhìn mới về một cuộc tranh luận cũ: Hàm kích hoạt như là các toán tử hình học

Cộng đồng học máy đang xem xét lại một trong những lựa chọn nền tảng nhất của học sâu — hàm kích hoạt — thông qua một khuôn khổ khá thanh lịch. Phân tích lý thuyết mới định hình mạng nơ-ron sâu như các hệ thống hình học , trong đó mỗi lớp hoạt động như một phép biến đổi không gian định hình các ranh giới quyết định trong không gian đa chiều. Dưới góc nhìn này, cuộc tranh luận kinh điển giữa sigmoid và ReLU mang một chiều hướng hoàn toàn mới: nó trở thành câu hỏi về việc mỗi hàm bảo tồn các mối quan hệ không gian làm cho chiều sâu trở nên hữu ích như thế nào.

Đây không chỉ là một bài tập mang tính học thuật. Những phát hiện này mang ý nghĩa thực tiễn đối với hiệu quả suy luận, khả năng mở rộng mô hình và các quyết định kiến trúc mà các kỹ sư tại các công ty như Google DeepMind, Meta FAIR và OpenAI đưa ra hàng ngày.

Khung hình học tiết lộ điều gì?

Về bản chất, lập luận này thoạt nhìn có vẻ đơn giản. Hãy tưởng tượng mạng nơ-ron như một cỗ máy liên tục biến đổi không gian đầu vào — uốn cong, kéo giãn và gấp lại cho đến khi các điểm dữ liệu thuộc các lớp khác nhau nằm ở hai phía đối diện của các ranh giới quyết định rõ ràng. Để quá trình biến đổi theo tầng này hoạt động trên nhiều lớp , mỗi lớp không chỉ cần biết điểm đó nằm ở phía nào của ranh giới, mà còn cần biết khoảng cách của nó đến ranh giới đó.

Khoảng cách đó — bối cảnh hình học — là tín hiệu quan trọng. Nó cho các lớp phía dưới biết liệu một điểm dữ liệu là trường hợp ranh giới cần tinh chỉnh tinh tế hay là một phân loại chắc chắn có thể làm nền tảng cho các biểu diễn rộng hơn. Nếu loại bỏ tín hiệu đó, các lớp sâu hơn về cơ bản sẽ hoạt động trong bóng tối.

Hàm Sigmoid phá hủy thông tin khoảng cách như thế nào?

Hàm sigmoid ánh xạ mọi số thực vào khoảng (0, 1). Điều này nghe có vẻ gọn gàng, nhưng nó tạo ra một nút thắt cổ chai nghiêm trọng cho tư duy hình học :

• Vùng bão hòa: Đối với các giá trị đầu vào lớn hơn 0 hoặc nhỏ hơn 0 rất nhiều, các giá trị đầu ra dạng sigmoid sẽ tập trung gần 1 hoặc 0. Một điểm dữ liệu ở khoảng cách 5 từ ranh giới trông gần như giống hệt với một điểm ở khoảng cách 50.
• Hiện tượng thiếu hụt độ dốc: Trong các vùng phẳng này, độ dốc giảm dần về 0 — vấn đề độ dốc biến mất khét tiếng — điều này làm tê liệt quá trình học tập trong các kiến trúc mạng sâu.
• Sự sụp đổ ngữ cảnh: Do thông tin về cường độ bị nén lại, các lớp tiếp theo không thể phân biệt giữa các kích hoạt có mức độ tự tin vừa phải và cực kỳ tự tin. Ngữ cảnh không gian phong phú được xây dựng bởi các lớp trước đó bị mất đi không thể phục hồi.

Tóm lại, việc thêm nhiều lớp vào mạng dựa trên hàm sigmoid sẽ mang lại hiệu quả giảm dần. Độ sâu trở thành gánh nặng hơn là lợi thế, bởi vì mỗi lớp nhận được một phiên bản nghèo nàn hơn của cảnh quan hình học mà nó cần để tinh chỉnh.

Vì sao hàm ReLU bảo toàn những gì quan trọng

Hàm Rectified Linear Unit, hay ReLU , sử dụng một phương pháp hoàn toàn khác: nó truyền các giá trị dương đi qua mà không thay đổi và đặt mọi giá trị âm về 0. Hành vi tuyến tính từng phần này có một hệ quả hình học quan trọng.

• Độ chính xác về biên độ: Đối với các kích hoạt dương, khoảng cách từ ranh giới quyết định được giữ nguyên chính xác. Giá trị 12,7 vẫn là 12,7 — không nén, không biến dạng.
• Kích hoạt thưa: Bằng cách đặt các giá trị âm về 0, hàm ReLU tạo ra tính thưa tự nhiên, hoạt động như một bộ điều chỉnh ngầm và giảm chi phí tính toán trong quá trình suy luận.
• Luồng gradient tuyến tính: Gradient cho các neuron đang hoạt động là hằng số (bằng 1), cho phép huấn luyện ổn định trên hàng chục hoặc thậm chí hàng trăm lớp .

Việc bảo toàn kích thước không gian này chính là lý do tại sao các kiến trúc như ResNet và các biến thể Transformer hiện đại có thể xếp chồng các lớp một cách mạnh mẽ. Mỗi lớp nhận được một biểu diễn trung thực của cấu trúc hình học ở phía trên, cho phép nó tạo ra các ranh giới quyết định ngày càng tinh tế hơn.

Tại sao điều này lại quan trọng vào lúc này: Góc độ chi phí suy luận

Khi trọng tâm của ngành chuyển từ huấn luyện sang suy luận — được thúc đẩy bởi việc triển khai các mô hình ngôn ngữ quy mô lớn, AI biên và các ứng dụng thời gian thực — chi phí của các biểu diễn yếu trở nên rõ rệt. Nếu một hàm kích hoạt buộc mạng phải sâu hơn hoặc rộng hơn để bù đắp cho ngữ cảnh bị mất, điều đó sẽ trực tiếp dẫn đến độ trễ cao hơn, tiêu thụ bộ nhớ nhiều hơn và tiêu hao năng lượng tăng lên.

Đối với các chuyên gia đang tìm hiểu về thiết kế mô hình hiệu quả, việc hiểu cách các lựa chọn kích hoạt ảnh hưởng đến việc xây dựng quy trình tối ưu hóa mô hình từ đầu đến cuối với NVIDIA không còn là tùy chọn nữa — mà là một điều kiện tiên quyết mang tính cạnh tranh.

Hãy xem xét quy mô: GPT-4 của OpenAI được cho là sử dụng các biến thể của hàm kích hoạt GELU (một phép xấp xỉ mượt mà của ReLU ) trên các lớp transformer của nó. Họ hàng PaLM của Google cũng đưa ra những lựa chọn tương tự. Đây không phải là những quyết định tùy tiện. Chúng phản ánh sự hiểu biết sâu sắc rằng việc bảo toàn thông tin hình học trên các lớp là điều cần thiết để khai thác tối đa sức mạnh biểu diễn từ mỗi tham số.

Bối cảnh: Lịch sử tóm lược về cuộc chiến hàm kích hoạt

Hàm sigmoid thống trị nghiên cứu mạng nơ-ron trong suốt những năm 1980 và 1990, chủ yếu là do các đặc tính toán học thanh lịch và tính khả thi sinh học của nó. Nhưng khi các mạng trở nên phức tạp hơn vào những năm 2010, những hạn chế của nó trở nên không thể bỏ qua.

Bài báo về AlexNet năm 2012 của Krizhevsky, Sutskever và Hinton là một bước ngoặt quan trọng. Bằng cách áp dụng hàm ReLU, nhóm nghiên cứu đã đạt được tốc độ huấn luyện nhanh hơn đáng kể trên tập dữ liệu ImageNet và thúc đẩy cuộc cách mạng học sâu. Kể từ đó, họ hàm này đã mở rộng bao gồm Leaky ReLU, PReLU, ELU, Swish và GELU — tất cả đều được thiết kế để giải quyết nhược điểm của chính ReLU (vấn đề "nơron chết") trong khi vẫn giữ được ưu điểm cốt lõi của nó: bảo toàn độ lớn.

Nếu bạn đang tìm hiểu cách các thành phần này phù hợp với kiến trúc mô hình tổng quan hơn, bài tổng quan của chúng tôi về Xây dựng Quy trình Thông minh Tài liệu với LangExtract sẽ cung cấp thông tin nền hữu ích.

Góc nhìn chuyên gia: Hình học như một nguyên tắc thiết kế

Việc định hình lại các hàm kích hoạt như các toán tử hình học không phải là hoàn toàn mới — các nhà nghiên cứu như Ian Goodfellow và Yoshua Bengio từ lâu đã thảo luận về giả thuyết đa tạp, cho rằng dữ liệu thực tế nằm trên các bề mặt có chiều thấp trong không gian có chiều cao. Điều mới mẻ ở đây là mối liên hệ rõ ràng giữa việc lựa chọn hàm kích hoạt và việc bảo toàn thông tin khoảng cách đến ranh giới giữa các lớp .

Quan điểm này đưa ra một tiêu chí có nguyên tắc để đánh giá không chỉ các hoạt động hiện tại mà cả các hoạt động trong tương lai. Bất kỳ chức năng ứng cử nào cũng có thể được đánh giá bằng cách đặt câu hỏi: liệu nó có bảo tồn hay phá hủy bối cảnh hình học mà các lớp phía dưới cần để xây dựng các ranh giới quyết định hiệu quả?

Điều gì sẽ xảy ra tiếp theo?

Có một số xu hướng đáng chú ý:

1. Tìm kiếm kiến trúc có tính đến hình học: Dự kiến các công cụ tự động (NAS) sẽ tích hợp các chỉ số bảo toàn hình học khi lựa chọn các hàm kích hoạt cho mỗi lớp.
2. Kích hoạt kết hợp: Một số nhà nghiên cứu đang thử nghiệm sử dụng các hàm kích hoạt khác nhau ở các độ sâu khác nhau — các hàm giống sigmoid gần đầu ra để diễn giải xác suất, và các biến thể ReLU trong các lớp ẩn để duy trì tính chính xác về mặt không gian.
3. Đồng thiết kế phần cứng: Khi các chip AI tùy chỉnh từ NVIDIA, AMD và các công ty khởi nghiệp như Cerebras tối ưu hóa cho các cấu hình kích hoạt cụ thể, hiệu quả hình học của một hàm kích hoạt có thể ảnh hưởng đến chính thiết kế silicon.

Tóm lại

Cuộc tranh luận giữa sigmoid và ReLU không phải là chuyện đơn giản đã được giải quyết dứt điểm — đó là một quyết định thiết kế đang diễn ra với những hậu quả có thể đo lường được đối với chi phí suy luận, độ sâu của mô hình và sức mạnh biểu diễn. Việc xem xét các hàm kích hoạt thông qua lăng kính hình học cung cấp một khuôn khổ chặt chẽ và trực quan để hiểu tại sao ReLU và các hàm kế thừa của nó lại thống trị học sâu hiện đại, và tại sao việc nén ngữ cảnh không gian của sigmoid lại khiến nó ngày càng không phù hợp với các kiến trúc đòi hỏi cao hiện nay.

Đối với các kỹ sư và nhà nghiên cứu, bài học rút ra rất rõ ràng: khi bạn chọn một hàm kích hoạt, bạn không chỉ chọn một hàm phi tuyến tính. Bạn đang quyết định mạng lưới thần kinh của mình được phép nhìn thấy bao nhiêu phần cấu trúc hình học của thế giới thực.