Türk İşaret Dilindeki Harflerin Tespiti İçin Derin Öğrenme Tekniğinin Kullanımı

Abstract

İşaret dili, işitme veya konuşma engelli bireylerin mimikler ve el hareketleri ile iletişim kurdukları görsel bir dildir. İşitme veya konuşma engelli bireylerin hem kendi aralarında hem de diğer insanlarla anlaşabilmesi için işaret dilini tanıma sitemlerine olan ihtiyaç her geçen gün artmaktadır. Bu çalışmada, el ve parmaklar ile gösterilen hareketleri kamera karşısında algılayan ve harekete karşılık gelen harfi tanıyan YOLOv5 mimarisinin kullanıldığı bir yapı esas alınmıştır. Kaggle’dan alınan Türk işaret dilinin, Türkçe Parmak Yazımı Alfabesi ile verildiği bir veri seti kullanılmıştır. Bu veri seti 29 sınıftan oluşmaktadır ve her sınıf, Türk alfabesinin bir harfini temsil etmektedir. Harflerin algılanması ve tespit edilmesinde, bütün sınıflar için mAP değeri %99.4 elde edilmiştir. Literatür çalışmalarına kıyasla daha yüksek mAP değerleri ve daha yüksek başarı oranları edilmiştir.