딥러닝 모델의 과대적합 해결하기: 모델 크기 조절과 규제 기법 (17)

딥러닝 모델의 과대적합 해결하기: 모델 크기 조절과 규제 기법

딥러닝 모델을 학습시키다 보면 흔히 마주치게 되는 문제 중 하나가 바로 '과대적합(Overfitting)'입니다. 모델이 훈련 데이터에 너무 잘 맞추어져서 새로운 데이터에 대한 일반화 성능이 떨어지는 이 문제는 어떻게 해결할 수 있을까요? 오늘은 IMDB 데이터셋을 예로 들어 과대적합을 해결하기 위한 세 가지 핵심 방법을 알아보겠습니다.

 

과대적합 문제 이해하기

IMDB 영화 리뷰 감성 분석을 위한 딥러닝 모델을 학습시키면, 종종 다음과 같은 현상이 발생합니다:

• 훈련 데이터에 대한 손실(loss)은 계속 감소하는데
• 검증 데이터에 대한 손실은 어느 순간부터 다시 증가하기 시작함

이것이 바로 과대적합의 징후입니다. 모델이 훈련 데이터의 패턴을 '암기'하기 시작하여 일반화 능력을 잃어버리는 것이죠.

1. 모델 크기 조절하기

모델의 복잡도, 즉 파라미터 수는 과대적합과 밀접한 관련이 있습니다.

대형 모델 (파라미터 약 2,500만 개)

model_large = keras.Sequential([
    keras.layers.Dense(2048, activation='relu', input_shape=(10000,)),
    keras.layers.Dense(2048, activation='relu'),
    keras.layers.Dense(1, activation='sigmoid')
])

대형 모델은 학습 데이터에 빠르게 적응하지만, 그만큼 빠르게 과대적합이 발생합니다. 전체 파라미터 수가 무려 2,468만 개에 달하는 이 모델은 훈련 데이터의 손실값이 급격히 감소하는 반면, 검증 데이터의 손실값은 초기부터 증가하는 경향을 보입니다.

소형 모델 (파라미터 약 16만 개)

model_small = keras.Sequential([
    keras.layers.Dense(16, activation='relu', input_shape=(10000,)),
    keras.layers.Dense(16, activation='relu'),
    keras.layers.Dense(1, activation='sigmoid')
])

반대로 소형 모델은 파라미터 수가 16만 개로, 대형 모델보다 훨씬 적습니다. 이 모델은 상대적으로 과대적합에 덜 민감하지만, 모델의 표현력이 떨어져 복잡한 패턴을 학습하기 어려울 수 있습니다.

결론: 모델 크기는 과대적합과 과소적합(Underfitting) 사이의 적절한 균형을 찾는 것이 중요합니다. 파라미터 수가 너무 많으면 과대적합이, 너무 적으면 과소적합이 발생합니다.

2. 규제(Regularization) 기법 적용하기

규제는 모델의 복잡도에 제한을 두어 과대적합을 방지하는 기법입니다. 주로 가중치 값에 제약을 가해 모든 특성이 출력에 주는 영향을 최소화합니다.

L1 규제 (Lasso)

L1 규제는 가중치의 절댓값에 비례하는 비용을 손실 함수에 추가합니다.

from tensorflow.keras import regularizers

model_with_l1 = keras.Sequential([
    keras.layers.Dense(128, activation='relu', 
                     kernel_regularizer=regularizers.l1(0.001),
                     input_shape=(10000,)),
    keras.layers.Dense(128, activation='relu',
                     kernel_regularizer=regularizers.l1(0.001)),
    keras.layers.Dense(1, activation='sigmoid')
])

L1 규제의 수학적 표현:
$$ Cost = \frac{1}{n} \sum^n_{i=1} L(y_i, \hat{y_i}) + \alpha \sum^m_{j=1}\left |w_j \right | $$

L1 규제는 덜 중요한 특성의 가중치를 0으로 만드는 경향이 있어 특성 선택(Feature Selection) 효과가 있습니다.

L2 규제 (Ridge)

L2 규제는 가중치의 제곱에 비례하는 비용을 손실 함수에 추가합니다.

model_with_l2 = keras.Sequential([
    keras.layers.Dense(128, activation='relu', 
                     kernel_regularizer=regularizers.l2(0.001),
                     input_shape=(10000,)),
    keras.layers.Dense(128, activation='relu',
                     kernel_regularizer=regularizers.l2(0.001)),
    keras.layers.Dense(1, activation='sigmoid')
])

L2 규제의 수학적 표현:
$$ Cost = \frac{1}{n} \sum^n_{i=1} L(y_i, \hat{y_i}) + \lambda \sum^m_{j=1}w_j^2 $$

L2 규제는 모든 가중치를 전체적으로 작게 만드는 효과가 있으며, 일반적으로 더 안정적인(robust) 모델을 생성합니다.

L1+L2 규제 (Elastic Net)

두 규제를 함께 사용할 수도 있습니다:

model_with_l1_l2 = keras.Sequential([
    keras.layers.Dense(128, activation='relu', 
                     kernel_regularizer=regularizers.l1_l2(l1=0.001, l2=0.001),
                     input_shape=(10000,)),
    keras.layers.Dense(128, activation='relu',
                     kernel_regularizer=regularizers.l1_l2(l1=0.001, l2=0.001)),
    keras.layers.Dense(1, activation='sigmoid')
])

실험 결과, IMDB 데이터셋에서는 L2 규제가 가장 좋은 성능을 보였습니다. 하지만 데이터셋과 모델 구조에 따라 최적의 규제 방법은 달라질 수 있습니다.

3. 드롭아웃(Dropout) 적용하기

드롭아웃은 학습 과정에서 무작위로 일부 뉴런을 비활성화시키는 간단하면서도 효과적인 규제 기법입니다.

model_with_dropout = keras.Sequential([
    keras.layers.Dense(128, activation='relu', input_shape=(10000,)),
    keras.layers.Dropout(0.5),  # 50% 드롭아웃 적용
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dropout(0.5),  # 50% 드롭아웃 적용
    keras.layers.Dense(1, activation='sigmoid')
])

드롭아웃은:

• 학습 중에만 적용되고 테스트 시에는 모든 뉴런을 사용합니다
• 보통 20%~50% 비율로 적용합니다
• 앙상블 효과를 내며 모델의 견고성을 향상시킵니다

실험 결과, 50% 드롭아웃이 20% 드롭아웃보다 과대적합 방지에 더 효과적이었습니다. 드롭아웃은 구현이 간단하면서도 효과적이라 널리 사용되는 기법입니다.

결론: 최적의 모델 찾기

과대적합을 해결하기 위한 방법은 이 세 가지만 있는 것이 아닙니다. 데이터 증강(Data Augmentation), 조기 종료(Early Stopping), 배치 정규화(Batch Normalization) 등 다양한 기법이 있습니다.

중요한 것은 하나의 방법만 고집하지 말고, 여러 기법을 조합하여 사용해보는 것입니다. 예를 들어, L2 규제와 드롭아웃을 함께 사용하면 더 좋은 결과를 얻을 수 있습니다.

model_combined = keras.Sequential([
    keras.layers.Dense(128, activation='relu', 
                     kernel_regularizer=regularizers.l2(0.001),
                     input_shape=(10000,)),
    keras.layers.Dropout(0.5),
    keras.layers.Dense(128, activation='relu',
                     kernel_regularizer=regularizers.l2(0.001)),
    keras.layers.Dropout(0.5),
    keras.layers.Dense(1, activation='sigmoid')
])

딥러닝 모델 최적화는 결국 실험과 경험을 통해 이루어집니다. 다양한 방법을 시도해보고, 검증 데이터셋에서 가장 좋은 성능을 보이는 모델을 선택하는 것이 중요합니다.