시그모이드 vs. ReLU: 활성화 함수의 기하학적 비용

오래된 논쟁에 대한 새로운 관점: 활성화 함수를 기하학적 연산자로 바라보기

머신러닝 커뮤니티는 놀랍도록 세련된 프레임워크를 통해 딥러닝의 가장 기본적인 선택 중 하나인 활성화 함수를 재조명하고 있습니다. 새로운 이론적 분석은 딥 뉴럴 네트워크를 기하학적 시스템으로 간주하며, 각 레이어는 고차원 공간에서 결정 경계를 형성하는 공간 변환 역할을 한다고 봅니다. 이러한 관점에서 고전적인 시그모이드 함수와 ReLU 함수 논쟁은 완전히 새로운 차원으로 확장됩니다. 즉, 각 함수가 깊이 정보를 유용하게 만드는 공간적 관계를 얼마나 잘 보존하는지에 대한 문제로 귀결되는 것입니다.

이는 단순한 학술적 연구가 아닙니다. 이번 연구 결과는 추론 효율성, 모델 확장성, 그리고 Google DeepMind, Meta FAIR, OpenAI와 같은 기업의 엔지니어들이 매일 내리는 아키텍처 설계 결정에 실질적인 영향을 미칩니다.

기하학적 틀이 드러내는 것

본질적으로 이 주장은 겉보기에는 단순해 보입니다. 신경망을 입력 공간을 점진적으로 변형시키는 기계로 생각해 보세요. 서로 다른 클래스에 속하는 데이터 포인트가 명확한 결정 경계 의 반대편에 위치할 때까지 입력 공간을 구부리고, 늘리고, 접는 것입니다. 이러한 연쇄적인 변환이 여러 계층 에 걸쳐 작동하려면 각 계층은 데이터 포인트가 경계의 어느 쪽에 속하는지뿐만 아니라 경계에서 얼마나 떨어져 있는지도 알아야 합니다.

그 거리, 즉 기하학적 맥락 이 핵심 신호입니다. 이는 하위 계층에 데이터 포인트가 미묘한 조정이 필요한 경계선상의 사례인지, 아니면 더 광범위한 표현을 뒷받침할 수 있는 확실한 분류인지를 알려줍니다. 이 신호가 없으면 하위 계층은 사실상 눈을 가린 채로 작동하게 됩니다.

시그모이드 함수가 거리 정보를 어떻게 파괴하는가

시그모이드 함수는 모든 실수를 (0, 1) 구간으로 매핑합니다. 깔끔해 보이지만, 기하학적 추론에 심각한 병목 현상을 초래합니다.

• 포화 영역: 입력값이 0보다 훨씬 크거나 0보다 훨씬 작을 경우, 시그모이드 출력값은 1 또는 0 근처에 집중됩니다. 경계에서 5만큼 떨어진 데이터 포인트는 50만큼 떨어진 데이터 포인트와 거의 동일하게 보입니다.
• 그래디언트 결핍: 이러한 평평한 영역에서는 그래디언트가 0으로 수렴하는데, 이는 심층 아키텍처에서 학습을 저해하는 악명 높은 그래디언트 소실 문제 입니다.
• 맥락 붕괴: 크기 정보가 압축되기 때문에 후속 레이어는 확신도가 낮은 활성화와 확신도가 매우 높은 활성화를 구분할 수 없습니다. 이전 레이어에서 구축된 풍부한 공간적 맥락이 돌이킬 수 없이 손실됩니다.

결과적으로 시그모이드 기반 네트워크에 레이어를 추가할수록 효율성이 떨어집니다. 깊이가 깊어질수록 자산이 아니라 오히려 부담이 되는데, 각 레이어가 정제해야 할 기하학적 구조의 불완전한 버전을 받게 되기 때문입니다.

ReLU가 중요한 것을 보존하는 이유

정류 선형 단위( ReLU )는 근본적으로 다른 접근 방식을 취합니다. 양수 값은 변경 없이 그대로 통과시키고 음수 값은 모두 0으로 만듭니다. 이러한 구분적 선형 동작은 중요한 기하학적 결과를 가져옵니다.

• 크기 충실도: 양성 활성화의 경우, 결정 경계로부터의 거리가 정확하게 유지됩니다. 12.7이라는 값은 압축이나 왜곡 없이 12.7로 유지됩니다.
• 희소 활성화 함수: ReLU는 음수 값을 0으로 만듦으로써 자연스러운 희소성을 생성하며, 이는 암묵적인 정규화 역할을 하고 추론 과정에서 계산 오버헤드를 줄입니다.
• 선형 경사 흐름: 활성 뉴런의 경사는 일정(1)하므로 수십 또는 수백 개의 레이어 에 걸쳐 안정적인 학습이 가능합니다.

이처럼 공간적 크기를 보존하는 것이 바로 ResNet 이나 최신 트랜스포머 변형과 같은 아키텍처가 레이어를 적극적으로 쌓을 수 있는 이유입니다. 각 레이어는 상위 레이어의 기하학적 구조를 충실하게 표현받은 후, 점점 더 미묘한 결정 경계를 만들어낼 수 있습니다.

지금 이것이 중요한 이유: 추론 비용 관점

대규모 언어 모델, 엣지 AI, 실시간 애플리케이션의 도입으로 업계의 초점이 학습에서 추론으로 옮겨감에 따라, 불완전한 표현으로 인한 비용이 가시화되고 있습니다. 활성화 함수가 컨텍스트 손실을 보완하기 위해 네트워크를 더 깊거나 넓게 만들어야 한다면, 이는 곧 지연 시간 증가, 메모리 사용량 증가, 에너지 소비 증가로 이어집니다.

효율적인 모델 설계를 연구하는 실무자에게 활성화 선택이 모델 최적화 파이프라인 구축에 미치는 영향을 이해하는 것은 더 이상 선택 사항이 아니라 경쟁력 확보를 위한 필수 요소입니다. NVIDIA를 활용해 엔드투엔드 모델 최적화 파이프라인을 구축해 보세요.

규모를 생각해 보세요. OpenAI의 GPT-4는 트랜스포머 레이어 전체 에 걸쳐 GELU 활성화 함수( ReLU 의 부드러운 근사치)의 변형을 사용하는 것으로 알려져 있습니다. Google의 PaLM 제품군도 유사한 선택을 했습니다. 이러한 결정은 임의적인 것이 아니었습니다. 레이어 간에 기하학적 정보를 보존하는 것이 모든 매개변수에서 최대의 표현력을 끌어내는 데 필수적이라는 깊은 이해를 반영한 것입니다.

배경: 활성화 함수 전쟁의 간략한 역사

시그모이드 함수는 우아한 수학적 특성과 생물학적 타당성 덕분에 1980년대와 1990년대 신경망 연구를 지배했습니다. 그러나 2010년대에 들어서면서 신경망이 더욱 깊어짐에 따라 시그모이드 함수의 한계를 더 이상 무시할 수 없게 되었습니다.

2012년 크리제프스키, 수츠케버, 힌튼의 알렉스넷 논문은 획기적인 전환점이 되었습니다. ReLU 활성화 함수를 도입함으로써 이미지넷 데이터셋에서 학습 속도를 획기적으로 향상시켰고, 이는 딥러닝 혁명을 촉발했습니다. 이후 Leaky ReLU, PReLU, ELU, Swish, GELU 등 ReLU 계열 활성화 함수들이 확장되었는데, 이들은 모두 ReLU의 핵심 장점인 크기 보존을 유지하면서 "죽어가는 뉴런 문제"라는 한계를 극복하도록 설계되었습니다.

이러한 구성 요소들이 더 넓은 모델 아키텍처에 어떻게 통합되는지 알아보려면, LangExtract를 사용한 문서 인텔리전스 파이프라인 구축 개요를 참고하세요.

전문가의 관점: 디자인 원리로서의 기하학

활성화 함수를 기하학적 연산자로 재구성하는 것은 완전히 새로운 것은 아닙니다. 이언 굿펠로우와 요슈아 벤지오 같은 연구자들은 오랫동안 실제 데이터가 고차원 공간의 저차원 표면에 존재한다는 매니폴드 가설을 논의해 왔습니다. 새로운 점은 활성화 선택과 여러 층 에 걸쳐 경계까지의 거리 정보를 보존하는 것 사이의 명확한 연관성을 밝혀냈다는 것입니다.

이러한 관점은 기존 활성화뿐만 아니라 향후 활성화를 평가하는 데 있어 원칙적인 기준을 제시합니다. 모든 후보 함수는 하위 계층이 효과적인 결정 경계를 구축하는 데 필요한 기하학적 맥락을 보존하는지 아니면 파괴하는지를 묻는 질문을 통해 평가할 수 있습니다.

다음에는 무엇이 올까요?

주목할 만한 몇 가지 트렌드가 있습니다.

1. 기하학적 형태를 고려한 아키텍처 검색: 자동화 도구(NAS)가 레이어별 활성화 함수를 선택할 때 기하학적 형태 보존 지표를 통합할 것으로 예상됩니다.
2. 하이브리드 활성화 함수: 일부 연구자들은 출력 부근에서는 확률적 해석을 위해 시그모이드 함수와 유사한 함수를, 은닉층 에서는 공간적 충실도를 유지하기 위해 ReLU 변형 함수를 사용하는 등, 깊이에 따라 서로 다른 활성화 함수를 사용하는 실험을 진행하고 있습니다.
3. 하드웨어 공동 설계: NVIDIA, AMD, 그리고 Cerebras와 같은 스타트업들이 특정 활성화 프로파일에 맞춰 맞춤형 AI 칩을 개발함에 따라, 활성화 함수의 기하학적 효율성이 실리콘 설계 자체에 영향을 미칠 수 있습니다.

결론

시그모이드와 ReLU에 대한 논쟁은 단순한 사안이 아니라, 추론 비용, 모델 깊이, 표현력에 상당한 영향을 미치는 중요한 설계 결정 사항입니다. 활성화 함수를 기하학적 관점에서 바라보면, ReLU와 그 후손들이 현대 딥러닝을 지배하는 이유와 시그모이드 함수가 공간적 맥락을 압축하는 특성 때문에 오늘날의 까다로운 아키텍처에 점점 부적합해지는 이유를 직관적이고 엄밀하게 이해할 수 있습니다.

엔지니어와 연구자들에게 있어 핵심은 분명합니다. 활성화 함수를 선택할 때는 단순히 비선형성을 선택하는 것이 아닙니다. 네트워크가 세상의 기하학적 구조를 얼마나 인식할 수 있도록 허용할지 결정하는 것입니다.