🦜

BirdNET: A deep learning solution for avian diversity monitoring

Created

2022/08/09

Editor

이 논문을 선택한 이유

공부한 머신러닝 모델에 대해 이번에는 어떻게 머신러닝을 현실세계에 적용하고 문제를 해결하기 위해 사용하는지를 알아보고 싶어 논문을 리서치를 하였습니다. 그 중에서, 자연에서 들려오는 새의 울음소리들을 분석해 종과 개체수를 파악하고, 현재 생태계의 건강 상태에 대한 정보를 딥러닝을 통해 분석하고자 한 BirdNET이 의미도 있고 흥미로워서 본 논문을 선택하고 포스트를 작성하였습니다.

1. Introduction

새들은 대부분의 다양한 환경에서 살아가고, 다양한 환경 요인들과 관계를 맺고 있습니다. 또, 새에 대해서 다른 종들보다 비교적 잘 연구되어있기에 생태계의 건강 상태를 파악하는 기초로 활용됩니다.

과거에는 새 종의 분포를 조사하기 위해 사람이 직접 해당 장소에서 소리를 듣고 조사하였지만, 인력의 한계로 자동으로 소리를 저장하는 장치를 활용해 데이터를 수집하여 분석을 진행하였습니다. 그러나, 이를 분석하는 일 역시 여전히 어려운 일이기에, 더 나은 분석 결과를 위해 머신러닝의 도입을 시도하게 되었습니다. 본 논문에서는 CNN 아키텍처를 기초로 하는 분류 모델을 통해 수집된 녹음을 분석하도록 하였습니다.

2. 연구 방법

활용한 데이터

크게 3부류의 데이터를 사용하여 학습과 테스트를 진행하였습니다.

•

새 984종의 울음소리만을 집중하여 녹음한 음성 파일 (Focal recording)

•

자연 환경속에서 소리를 녹음한 음성 파일 (Soundscape recording)

•

새의 울음소리를 제외한 자연, 인공 환경소리 음성 파일 (Google AudioSet)

단일 종에 집중된 녹음본으로 학습한 모델의 경우, 환경 노이즈가 섞였을 때 (soundscape에 대해) 좋은 성능을 보이지 않았고, 환경 노이즈와 함께 학습을 진행하였을 때 더 나은 성능을 보여주었습니다.

데이터의 전처리 및 강화

Neural Network에서 input data로 데이터의 가공이 용이한 spectrogram을 이용하였습니다.

모델에 음성데이터를 입력시켜 사용하기 위해, 데이터의 전처리를 진행해줍니다.

•

High temporal resolution을 위해 Fast Fourier Transform(구간으로 나눠 변환)을 적용하였습니다. 

•

데이터의 크기를 줄이기 위해 유효한 주파수(150Hz~15kHz) 만을 잘라내어 이용하였습니다. 

•

사람의 음성을 spectrogram으로 변환하기 위해 Mel-Spectrogram의 방법을 주로 사용하는데, 새의 울음소리와 사람의 음성이 다른 특징을 가지므로, 이에 대해 전처리를 통해 적절한 수치로 적응시켜주었습니다. 

Mel Spectrogram 사람이 소리를 인식할 때 linear하게 인식하지 않는다. (고주파의 소리— 10,000Hz 와 10,500Hz—를 잘 구분하지 못하지만, 저주파의 소리—500Hz와 1,000Hz—는 잘 구분함) 오히려 log scale과 비슷하다. 따라서, 소리 신호를 저주파에 대해서 넓게, 고주파에 대해서 좁게 분포하도록 mel scale로 변환해주면 더욱 유용하게 데이터를 활용할 수 있다.

단일 종 녹음 데이터와 soundscape 간의 차이를 보강하기 위해, spectrogram에 대해 data augmentation을 진행해줍니다.

•

Vertical roll / Horizontal roll
소리의 pitch(vertical), time(horizontal) 무작위 shifting 을 통해 다양한 울음소리 데이터를 확보

•

Vertical stretch / Horizontal stretch
새들이 특정한 상황에서 울음소리의 높낮이와 템포를 바꾸는 습성이 있기 때문에, stretch를 통해 이러한 데이터에 대해 대응

•

Elastic distortion / Warp
단순히 shift, stretch 뿐만 아니라 복잡한 변형을 가해 (실제로 나오기 힘든 데이터에 대해서도) 올바른 결과를 낼 수 있도록 학습

•

Time masking / Frequency masking
DNN이 의미적으로 더욱 중요한 특징에 대해 학습할 수 있도록 정제

•

Noise sample addition
실제 자연환경에서는 noise가 함께 녹음되기 때문에, 이런 환경속에서 새의 음성을 detection하는 것을 훈련시키기 위해 일부러 noise를 추가

모델의 구조

Extremely Deep Architecture 와 유사한 성능을 보일 수 있는 Wide ResNet architecture을 BirdNET 구현을 위해 사용하였습니다. ResNet의 Width는 4, Depth는 3으로 세팅하여 157개의 layer로 구성되었습니다. layer는 아래의 3가지 주요 component를 갖습니다.

전처리 Block
Original input spectrogram을 residual stack에 들어가기 전에 변환처리를 해준다. 

Residual Stack
Downsampling과 regular residual block이 특징점을 뽑아낸다.

Classification block
987종의 새에 대한 확률을 구한다. 

모델 학습

각 class 당 3500개의 sample에서 추출한 1.5M 개의 spectrogram으로 training set을 만들었습니다. 또, 더욱 좋은 학습결과를 위해 3개의 spectrogram을 1개의 sample에 담아 mixup training set을 구성하였습니다.

Optimizer로 ADAM을 learning rate 0.001로 사용하였습니다.

3. Result

System의 비교를 위해 sample-wise(mAP)와 class-wise average precision (cmAP)를 이용하였습니다. 현실세계의 common species에 대한 case를 반영하기 위해, training sample은 class에 불균형하게 퍼져있도록 구성하였습니다.(흔한 종을 더 많이 사용하였음) 이를 통해 class-wise evaluation이 balanced 되게 만들어줍니다. several complementary metrics를 이용해 접근방법의 평가하고자 하였습니다.

Focal recording evaluation

test data는 984종의 새에 대한 22,960개의 focal recording로 구성되었습니다. mAP 0.791, cmAP 0.694를 기록하였습니다. primary prediction만을 고려하였을때, top-1 accuracy 0.777, AUC 0.974를 기록하였습니다. mean confidence value(평균 신뢰값 - 구간)이 0.627을 기록하였습니다.

training data와 유사한 focal recording에 대해서는 준수한 성능을 보여줍니다. 그러나, soundscape에서는 domain shift로 인한 어려움이 있습니다.

Soundscape recording evaluation

구성한 모델은 soundscape에 대해서는 성능이 크게 낮아지는 모습을 보여줍니다. F0.5 score로 0.414를 기록하였습니다. 새가 가장 많이 우는 시간대인 해가 뜨기 전후 1시간 동안의 데이터에 대해서는 새의 울음소리가 많아졌음에도 불구하고 F0.5 score로 0.395를 기록하였습니다.

전반적인 AUC는 0.596로, 후처리 confidence value(신뢰 값)이 false positive를 쉽게 줄일 수 없음을 말합니다. post-filtering과 같은 eBird bar chard data가 더 나은 결과를 보여줍니다.

soundscape에 대한 모델의 성능은 organizer에 의해 동일 장소에서 녹음된 3-day subset 을 통해 학습하였을 때 눈에 띄게 좋아졌습니다. single-model 성능은 F0.5가 0.416으로 상승하였습니다.

Evaluation on continuous stream data

본 모델의 본래 목적과 맞게, 자연속에서의 새 소리를 듣고 새의 종 분포에 따른 날씨 등의 환경 변화를 찾아내는 것이 중요합니다. Soundscape test dataset은 5개월 중 12일의 음성파일에 대한 분석이기에 본 목적과 부합하지 않기 때문에, 코넬 대학교 근처에서 4년 연속으로 녹음된 음성 파일의 분석을 진행하였습니다. 4년의 기간 중 96.1%에 해당하는 33,670h의 녹음파일은 분석하였고, 수치를 조정하여 간략하게 분석을 진행하였습니다.

4개의 장소에서의 관찰을 합쳤을 때, 121종의 철새와 텃새를 관찰할 수 있었고, 관측 데이터만으로 계절의 패턴을 예측할 수 있었습니다. 아래 그래프는 서식지를 이동하는 새(migratory species)와 특정 지역에 머무르는 새 종(non-migratory species)의 개체수를 측정한 그래프입니다. 푸른색 데이터는 BirdNet 모델이 관측한 특정 종의 개체수이고, 붉은색 데이터는 eBird에 탑재된 측정된 개체수 데이터입니다. 두 데이터는 약 60%의 유사도를 보여주었습니다.

migratory species에 대한 그래프

non-migratory species에 대한 그래프

4. Discussion

머신러닝을 통해 구성한 모델은 많은 숫자의 class와 다른 domain(focal / soundscape)에서 사람이 관측한 데이터와 유사한 패턴을 만들어낼 수 있었습니다. 녹음된 소리의 퀄리티(신호-노이즈 비율)이 낮을 때는 성능이 좋지 않았습니다. 반대로, 음질이 좋은 장비로는 신뢰할만한 결과가 나왔습니다. 이 때문에, 여전히 녹음 음질의 퀄리티의 차이를 극복하는 것이 중요한 과제입니다. 모델은 대부분의 종의 새에 대해서 잘 작동하는 것을 확인할 수 있었습니다. 다른 종과 유사한 흔한 종에 대해서는 인식에 어려움이 있었지만, 좋은 퀄리티의 학습 데이터를 이용하였을 때, 종의 개수는 정확도에 크게 영향을 미치지 않았고 높은 정확도를 보여주었습니다. 반대로, 잡음이 많은 데이터를 이용하였을 때는 학습에도 시간이 오래 걸렸고, 모든 종에 대해 낮은 정확도를 보여주었습니다.

본 연구의 결과에서 984종의 새 분류에 대해 F0.5 점수 0.414를 기록하였고 mAP는 0.791을 기록하였습니다. 다른 연구와 비교하여 큰 발전을 이루었음을 확인할 수 있습니다. (2020년 6종의 올빼미에 대해 F0.5점수 0.500 / 24종의 새와 개구리에 대해 mAP 0.893 / 14종의 새에 대해 66.3%의 정확도를 보임)

시스템의 detection(소리 데이터를 감지하고 분류하기 위한 파라미터)의 값을 사람이 직접 조정하는 것이 일반적으로 더 좋은 성능을 보여주었습니다. 그러나, 여전히 사람이 직접 작업해야 하는 양은 훨씬 줄어드는 결과를 가져왔습니다.

또한, 본 연구를 진행하면서 아래 사실들도 확인하였습니다.

•

고해상도의 input spectrogram을 이용하였을 때, 분류 성능이 뛰어나다.

•

Mixup training(focal + soundscape)를 하였을 때 성능이 더 좋아진다.

•

Layer가 많은 것이 필터가 많은 것보다 (wide) 항상 좋은 성능을 내지는 않는다.

•

계산 성능이 낮을 때, layer가 많은 것이 얕은 것보다 성능이 더 좋다.

•

오디오 인식을 위한 모델은 이미지 인식을 위한 모델과 동등한 성능을 갖는다.

5. Conclusion

BirdNET을 통해 효율성이나 성능에 패널티를 받지 않으면서, 더욱 많은 종류의 새를 구별해낼 수 있게 되었습니다. 이전에 등장한 많은 application이 특정한 소수 종에 대해 분석하는 것을 목표로 합니다. 그러나 실제 데이터는 많은 부수적인 종의 울음소리를 함께 담고있으며, 과거의 데이터를 이용해 더 많은 community-level study에 영향을 줄 수 있습니다.

BirdNET의 지속적인 개선을 통해 더 많은 새 종을 학습하고 구분하여, 조류 생태계의 연구와 보존이 가능해지기를 기대합니다.

참고문헌

연구 개요 - https://birdnet.cornell.edu

논문 (1) - BirdNET: A deep learning solution for avian diversity monitoring 논문 (2) - Recognizing Birds from Sound - The 2018 BirdCLEF Baseline System

WorkingNote - Identifying Birds by Sound: Large-scale Acoustic Event Recognition for Avian Activity Monitoring