개요
종이 링크: https://arxiv.org/abs/1703.01780
반지도 학습 기법 중 하나. 태깅된 데이터와 언태깅된 데이터를 동시에 학습할 때, 언태깅된 데이터에 대한 분류 대상(태그)은 Teacher 네트워크라는 별도의 네트워크를 이용하여 얻는다. 이 시점에서 교사 네트워크의 핵심 아이디어는 학습 네트워크 매개변수의 지수 이동 평균을 취하여 이를 얻는 것입니다.
자세한 소개는 그림 1을 참조하십시오.
'추천 관련글,
- 누락된 데이터는 과적합으로 이어질 수 있습니다(a).
- 이 경우 데이터의 의미를 변경하지 않는 노이즈를 추가하면 데이터 주변에서 모델이 더욱 견고해집니다. (비)
- 레이블이 없는 데이터를 사용하기 위해 \(\Gamma\) 모델이라는 기법은 노이즈가 있을 때의 결과와 노이즈가 없을 때의 결과가 레이블이 없는 데이터에 대해 동일하도록 loss of consistency를 부여하여 학습합니다. 이 경우 동일한 모델이 교사(시끄럽고 레이블이 지정되지 않은 데이터로 목표를 생성) 및 학생(레이블 데이터와 교사가 생성한 목표를 학습)이 될 수 있습니다. 획득한 레이블에 대한 손실에 대한 과도한 강조는 실제 레이블에 대한 정보 학습을 방해할 수 있으며 확인 편향을 유발할 수 있으며, 이는 (c)에서와 같이 학습될 수 있습니다.
- 이를 해결하기 위해 소리를 잘 선택하는 방법이 있다(Virtual Adversarial Training). 또 다른 옵션은 좋은 선생님을 선택하는 것입니다. 이 게시물에서는 후자를 분석합니다. 한 가지 방법은 교사 모델에 노이즈를 추가하여 앙상블 대상을 만드는 것입니다. (d)에서 속이 빈 작은 원은 노이즈가 있는 타겟이고, 속이 빈 큰 원은 이러한 타겟을 평균화하여 만든 타겟입니다. 이것을 \( \Pi\) 모델이라고 합니다.
- 시간 앙상블을 사용하여 \( \PI\) 모델을 향상시킬 수 있습니다. 여기서 시간적 앙상블은 예측을 위해 지수 이동 평균(EMA)을 사용하여 레이블이 지정되지 않은 데이터에 대한 대상(즉, 레이블)을 얻는 것을 의미합니다. 이는 이전 모델을 앙상화하는 효과가 있습니다(e). 그러나 이 방법으로 생성된 대상은 업데이트 속도가 느립니다(에포크 이후에만 업데이트됨).
방법
아이디어
- 중간 교사의 핵심 아이디어는 모델 매개변수에 EMA를 사용하여 교사 모델을 만드는 것입니다. 이 교사 모델은 레이블이 지정되지 않은 데이터에 대한 목표를 생성합니다.
- Temporal ensemble은 레이블이 지정되지 않은 데이터의 목표 값을 업데이트하는 속도가 느리지만 Mean Teacher는 경사 하강법이 수행될 때마다 업데이트됩니다.
- 레이블이 지정되지 않은 데이터는 이전 레이블을 저장할 필요가 없어 대용량 데이터셋 적용에 어려움이 없고 온라인 학습이 가능합니다.
손실
- 레이블이 지정된 데이터의 경우 평소와 같이 분류 손실을 사용합니다. 또한 모든 데이터에 대한 일관성 손실이 있습니다.
\( J(\theta) = E_{x,\eta,\eta’} (|| f(x,\theta’,\eta’) – f(x,\theta,\eta)||^2) \)- 여기서 f는 신경망이고 \(\theta\)는 모델 매개변수입니다. 교사 네트워크의 경우 EMA를 얻습니다. \( \theta’_t = \alpha \theta’_{t-1} + (1-\alpha) \theta_t\)
- \( \eta, \eta’\)는 노이즈입니다.
- 그림 참조
결과
- SVHN 데이터 세트와 CIFAR-10 데이터 세트의 실험 결과는 표 1과 2를 참조하십시오. 데이터가 많지 않을 때는 레이블이 지정된 데이터만 사용하는 것보다 성능이 확실히 향상됩니다.
- Virtual Adversarial Training이 약간 더 잘 수행되는 것을 볼 수 있습니다.
