Dikkat mekanizması tabanlı geliştirilmiş Wave-U-Net mimarisi kullanılarak konuşma iyileştirme

Gürültülü ortamlarda konuşma sinyallerinin kalitesini ve konuşmanın anlaşılabilirliğini artırmayı amaçlayan konuşma iyileştirme, derin öğrenmeyle hızla gelişen bir araştırma alanıdır. Ancak literatürdeki çalışmalar ağırlıklı olarak İngilizce veri setleri için geliştirilmiş; Türkçe veriye odaklanan çalışmalar oldukça sınırlı kalmıştır. Bu tezde, kanal dikkati ve öz-dikkat mekanizmalarıyla güçlendirilmiş geliştirilmiş Wave-U-Net mimarisi önerilmiş ve model, zaman ile frekans alanını birlikte denetleyen çok bileşenli bir kayıp fonksiyonu (EnhancedLoss) ile eğitilmiştir. Çalışma üç aşamada yürütülmüştür: önce model bileşenlerinin katkısı Türkçe veri üzerinde ablasyon analiziyle incelenmiş; ardından model İngilizce veri seti (VCTK), Türkçe veri seti (TSCD) ve bu iki veri setinin birleşiminden oluşan karma veri seti üzerinde, eğitim/doğrulama bölmeleri üç kez rastgele yeniden oluşturularak ve test seti sabit tutularak yedi nesnel metrik (PESQ, STOI, ESTOI, SI-SNR, CSIG, CBAK, COVL) üzerinden değerlendirilmiştir. Ablasyon sonuçları, dikkat modüllerinin ancak algısal kayıp fonksiyonuyla birlikte eğitildiğinde katkı sağladığını göstermiştir. Model üç koşulun tamamında ölçülebilir iyileşme üretmiş; PESQ değeri Türkçe’de 1,48’den 3,54’e, İngilizce’de 1,29’dan 2,69’a ve karma koşulda 1,36’dan 3,04’e yükselmiştir. Karma koşulda kalite metrikleri tek dilli koşullara yakın kalmıştır. Bulgular, Türkçe veri üzerinde geliştirilen modelin İngilizce ve çok dilli veriye aktarılabilirliğini desteklemekte ve tek bir modelin çok dilli konuşma iyileştirme çalışmalarında da kullanılabileceğine işaret etmektedir.

Speech enhancement, which aims to improve the quality of speech signals and the intelligibility of speech in noisy environments, is a research area that has advanced rapidly with deep learning. However, studies in the literature have predominantly been developed for English datasets, while research focusing on Turkish data has remained quite limited. In this thesis, an Improved Wave-U-Net architecture enhanced with channel attention and self-attention mechanisms is proposed, and the model is trained with a multi-component loss function (EnhancedLoss) that jointly supervises the time and frequency domains. The study was carried out in three stages: first, the contribution of the model components was examined through an ablation analysis on Turkish data; then, the model was evaluated on the English dataset (VCTK), the Turkish dataset (TSCD) , and a mixed dataset constructed by combining these two datasets, using seven objective metrics (PESQ, STOI, ESTOI, SI-SNR, CSIG, CBAK, COVL), with the training/validation splits randomly regenerated three times and the test set kept fixed. The ablation results showed that the attention modules contributed only when trained together with the perceptual loss function. The model produced measurable improvements across all three conditions; the PESQ value increased from 1.48 to 3.54 for Turkish, from 1.29 to 2.69 for English, and from 1.36 to 3.04 for the mixed condition. In the mixed condition, the quality metrics remained close to those of the monolingual conditions. The findings support the transferability of the model developed on Turkish data to English and multilingual data, and indicate that a single model can also be used in multilingual speech enhancement studies.