शोध नोट 1 · विषय 1: ध्वनि और मन · 2 नवंबर 2026 · स्थिति: प्रारंभिक, मशीन विश्लेषण
जब AI गायक का लिंग बदल जाता है: AI से बने कोरियाई गीतों में गायक-लिंग विचलन की पहचान और उसे कम करना
सारांश. हमने एक ओपन-सोर्स संगीत मॉडल से एक पुरुष गायक द्वारा गाए गए गीत माँगे। कुछ गीतों में, विशेषकर कोरस में, महिला जैसी सुनाई देने वाली आवाज़ आ गई। अलग की गई आवाज़ की स्वर-ऊँचाई की एक सरल जाँच ने वही गीत चिह्नित किए जिन्हें एक मानव श्रोता ने पहचाना था। प्रॉम्प्ट में "केवल पुरुष एकल गायन, कोई युगल नहीं" जोड़ने से समस्या हल नहीं हुई। तीव्र कोरस टैग हटाने, स्केल (की) नीचे करने और गायक का विवरण सबसे पहले रखने से विचलन सबसे अधिक घटा।
यह क्यों महत्वपूर्ण है
जो लोग आराम के लिए संगीत सुनते हैं, वे आवाज़ में अचानक बदलाव के प्रति संवेदनशील होते हैं। जो गीत एक शांत आवाज़ में गाया जाना था, वह बीच में गायक बदल ले तो बेचैनी महसूस हो सकती है। स्वचालित रूप से गीत बनाने वालों के लिए यह गुणवत्ता की ऐसी समस्या है जिसे किसी के सुनने से पहले पकड़ लेना चाहिए।
प्रयोग की व्यवस्था
- मॉडल: ACE-Step 1.5 (turbo DiT और 0.6B योजना भाषा मॉडल), खुले वेट, 8 GB ग्राफ़िक्स कार्ड वाले एक घरेलू कंप्यूटर पर ऑफ़लाइन चलाया गया।
- गीत: परीक्षण के लिए लिखे गए कोरियाई बोल, 45 सेकंड के बैलड और डांस गीत, तथा 30 सेकंड के पॉप गीत। हर स्थिति को 3 यादृच्छिक सीड से बनाया गया।
- पहला मामला एक मानव श्रोता ने पकड़ा: पुरुष बैलड के रूप में माँगा गया गीत महिला आवाज़ से शुरू हुआ और बाद में पुरुष–महिला युगल जैसा सुनाई दिया।
हमने विचलन कैसे पहचाना
- आवाज़ को संगत (अकम्पैनिमेंट) से अलग करें (htdemucs)।
- pYIN से 3 सेकंड की खिड़कियों में आवाज़ की स्वर-ऊँचाई (F0) मापें। केवल वे खिड़कियाँ गिनें जिनमें अधिकतर स्वर हो और आवाज़ पर्याप्त तेज़ हो।
- पुरुष अनुरोध के लिए, गीत को तब चिह्नित करें जब 25% या अधिक खिड़कियों की मध्य स्वर-ऊँचाई 320 Hz से ऊपर हो। महिला या बच्चे के अनुरोध के लिए, तब चिह्नित करें जब 25% या अधिक 210 Hz से नीचे हों।
- दूसरी राय के रूप में, एक ऑडियो क्लासिफ़ायर (AST, AudioSet) हर 10 सेकंड की खिड़की को "पुरुष गायन" और "महिला गायन" के अंक देता है। इसका उपयोग केवल मानव से सुनने का अनुरोध करने के लिए होता है, निर्णय के लिए नहीं।
सीमाएँ उन गीतों से तय की गईं जिनका मूल्यांकन मानव पहले कर चुका था: हमारे नमूने में सामान्य पुरुष पॉप धुनें लगभग 195–350 Hz के बीच और महिला आवाज़ें लगभग 260–510 Hz के बीच रहीं। इन सीमाओं से श्रोता द्वारा बताया गया गीत पकड़ा गया, और सामान्य माने गए गीत पास हुए।
किससे विचलन कम हुआ
पुरुष बैलड और पुरुष डांस गीत, प्रत्येक के 3 सीड। "विफल" का अर्थ है कि स्वर-ऊँचाई जाँच ने विचलन चिह्नित किया।
| चरण | बदलाव | बैलड (पुरुष) | डांस (पुरुष) |
|---|---|---|---|
| मूल | शैली वाले वाक्य के भीतर "male lead vocal" | विफल 1/1 | विफल 1/1 |
| b | + "Solo male vocal only, no female vocal, no duet, no backing vocals" | विफल 3/3 | विफल 3/3 |
| c | गायक का विवरण सबसे पहले ("A single adult male … baritone"), लिंग-निरपेक्ष शैली वाक्य, + एकल गायन वाले शब्द | विफल 3/3 (अंतरे पुरुष सीमा में आ गए) | विफल 3/3 |
| d | c + नीचा स्केल + "low chest-voice register, no falsetto" | 1 सुनकर जाँचें, 2 विफल | विफल 3/3 |
| e | d + सभी खंड [Verse] टैग (कोई तीव्र कोरस टैग नहीं) | 2 पास, 1 सुनकर जाँचें | 1 पास, 2 विफल |
हर विफल संस्करण में अंतरे नीचे रहे और कोरस ऊँचे उछल गए। "[Chorus - emotional]" या "[Chorus - powerful]" जैसे तीव्र कोरस टैग मॉडल को ऊँची, अक्सर महिला जैसी सुनाई देने वाली आवाज़ की ओर धकेलते प्रतीत होते हैं। नरम, साँस भरे "नाज़ुक" विवरण ने भी छह पुरुष गीतों में से एक को महिला जैसी आवाज़ की ओर धकेला।
व्यावहारिक सुझाव
- केवल "एकल, कोई युगल नहीं" वाले शब्दों पर निर्भर न रहें।
- गायक का विवरण प्रॉम्प्ट की शुरुआत में रखें।
- पुरुष आवाज़ों के लिए नीचे स्केल चुनें और तीव्र कोरस टैग से बचें।
- हर बने गीत की स्वचालित जाँच करें, और विचलन मिलने पर नए सीड से फिर से बनाएँ।
सीमाएँ
- छोटा नमूना: हर स्थिति के 3 सीड, एक मॉडल, केवल कोरियाई बोल।
- पहले मामले को छोड़कर, परिणाम मशीन विश्लेषण से हैं, व्यवस्थित मानव श्रवण से नहीं।
- केवल स्वर-ऊँचाई से ऊँची पुरुष आवाज़ और महिला आवाज़ में हमेशा अंतर नहीं किया जा सकता; एक साथ गाती दो आवाज़ों को एक ही माना जाता है।
- तीव्रता वाले शब्द के बिना सामान्य "[Chorus]" टैग का अलग से परीक्षण नहीं किया गया।
हम इन मशीन परिणामों को लोगों के साथ जाँचने के लिए एक खुला, गुमनाम श्रवण प्रयोग करने की योजना बना रहे हैं।