Metinsel verilerinizde yaygın olarak kullanılan kelimeler ve kelime öbeklerinin, tanımları ile birlikte yer aldığı listeye sözlük denmektedir. Markanıza ait oluşturulan sözlükte metinsel verilerinizde yer alan tüm kelimelerin kullanım alanınız / sektörünüz ile ilgili doğru anlamları ve genel Türkçe sözlükte bulunmayan ancak metinsel verilerinizde yer alan kullanım alanınıza / sektörünüze özel kelime ve kelime öbeklerinin de tanımları bulunarak sözlüğünüze eklenir. Böylece doğal dil işleme (Natural Language Processing – NLP) , metin madenciliği, derin öğrenme, makine öğrenimi ve yapay zeka projelerinizde anlamsal tutarsızlığı azaltır, doğru sonuçlar ortaya çıkarabilirsiniz.
Doğal dil işleme, metin madenciliği, derin öğrenme, makine öğrenimi veya yapay zeka süreçlerine dahil edilmek istenen her türlü metinsel veriden sözlük oluşturulabilmektedir.
En çok sözlük oluşturulan metinsel verilerden bazıları şunlardır:
Türkçe sondan eklemeli bir dildir; tek bir kökten sınırsız sayıda kelime türetilebilir ve çok zengin bir biçimbilime (morphology) sahiptir. Kelime oluşturma işlemi, zengin sonek türetme süreci nedeniyle oldukça verimlidir ve büyük sözlüklerin ortaya çıkmasına neden olur.
Bir elimenin gerçek kökünü bulmak için biçimbilimsel ayrıştırma (morphological parsing) ve biçimbilimsel çözümleme (moprhological analysis) işlemlerinin yapılması önemlidir. Sözlüğün büyüklüğü arttıkça, olası biçimbilimsel çözümlemelerin sayısı da artar ve bu belirsizlik olası sözcük etiketleri arasından en doğru ayrıştırmanın seçilmesini amaçlayan biçimbilimsel belirsizlik giderme (morphological disambiguation) işlemini olumsuz yönde etkiler.
Bu nedenlerle markanıza özel sözlük oluşturmak biçimbilimsel belirsizlik giderme işleminin süresini azaltır ve doğal dil işleme sürecini olumlu yönde etkiler.
Markanıza özel sözlük oluşturulurken dil bilimci ekibimiz, metinsel verilerinizde yer alan her kelimeyi titizlikle inceler.
Türkçe kelimelerin çoğunluğu birden fazla anlam taşır. Bir kelimenin en çok kullanılan anlamı bile belirli bir alan / sektör üzerinde çalışırken yanlış sonuçlar verebilir. Dil Bilimci ekibimiz her bir kelimelerin anlamını kullanım alanınıza ve markanızın sektörüne göre değerlendirerek doğru anlamı sözlüğünüze dahil eder.
Metinsel verilerinizde yer alan ancak genel sözlüklerde bulunmayan kelimelerin ve kelime öbeklerinin (örneğin verilerinizde bazı kelimeler türkçe bazıları başka bir dilde yazılmış olabilir) de anlamları da sözlüğünüze dahil edilir.