研究ノート 1 · テーマ 1：音と心 · 2026 年 11 月 2 日 · 状態：予備、機械分析
AI 歌手の性別が変わるとき：AI が生成した韓国語の歌における歌手の性別ドリフトの検出と低減
要約. オープンソースの音楽モデルに、男性一人が歌う曲を依頼しました。一部の曲では、特にサビで女性のように聞こえる声が現れました。分離したボーカルの音高を調べる簡単なチェックは、人の試聴判断と同じ曲を検出しました。プロンプトに「男性ソロのみ、デュエットなし」を加えるだけでは直りませんでした。強いサビのタグを外し、キーを下げ、歌手の説明を最初に置くことが最も効果的でした。
なぜ重要か
リラックスのために音楽を聴く人は、声の急な変化に敏感です。一人の落ち着いた声で歌われるはずの曲が途中で別の歌手に変わると、落ち着かない気持ちになることがあります。歌を自動生成する人にとって、これは誰かが聴く前に見つけるべき品質の問題です。
実験条件
- モデル：ACE-Step 1.5（turbo DiT と 0.6B の計画用言語モデル）、オープンウェイト、8 GB のグラフィックカードを積んだ家庭用 PC 一台でオフライン実行。
- 曲：テスト用に書いた韓国語の歌詞、45 秒のバラードとダンス曲、30 秒のポップス。条件ごとにランダムな seed 3 つで生成しました。
- 最初の事例は人が聴いて気づきました：男性バラードとして依頼した曲が女性の声で始まり、後半は男女のデュエットのように聞こえました。
ドリフトの検出方法
- ボーカルと伴奏を分離します（htdemucs）。
- pYIN でボーカルの音高（F0）を 3 秒の窓ごとに測ります。有声音が多く、十分な音量のある窓だけを数えます。
- 男性の依頼では、中央値が 320 Hz を超える窓が 25% 以上あれば印を付けます。女性・子どもの依頼では、210 Hz 未満の窓が 25% 以上あれば印を付けます。
- セカンドオピニオンとして、音声分類器（AST、AudioSet）が 10 秒の窓ごとに「男性の歌声」と「女性の歌声」のスコアを出します。これは人に試聴を頼むためだけに使い、判定には使いません。
しきい値は人がすでに判断した曲から決めました。私たちのサンプルでは、正常な男性ポップのメロディはおよそ 195–350 Hz、女性の声はおよそ 260–510 Hz でした。このしきい値で、試聴者が指摘した曲は検出され、正常と判断された曲は通過しました。
ドリフトを減らしたもの
男性バラードと男性ダンス曲、各 seed 3 つ。「不合格」は音高チェックがドリフトと判定したことを意味します。
| 段階 | 変更 | バラード（男性） | ダンス（男性） |
|---|---|---|---|
| 元の設定 | ジャンル文の中の "male lead vocal" | 不合格 1/1 | 不合格 1/1 |
| b | + "Solo male vocal only, no female vocal, no duet, no backing vocals" | 不合格 3/3 | 不合格 3/3 |
| c | 歌手の説明を最初に（"A single adult male … baritone"）、性別を含まないジャンル文、+ ソロの文言 | 不合格 3/3（A メロは男性の音域へ移動） | 不合格 3/3 |
| d | c + キーを下げる + "low chest-voice register, no falsetto" | 要試聴 1、不合格 2 | 不合格 3/3 |
| e | d + すべてのセクションを [Verse] タグに（強いサビのタグなし） | 合格 2、要試聴 1 | 合格 1、不合格 2 |
不合格となったすべての版で、A メロは低いままで、サビで音が高く跳ね上がりました。"[Chorus - emotional]" や "[Chorus - powerful]" のような強いサビのタグが、モデルをより高く、しばしば女性のように聞こえる声へ押しやるようです。柔らかく息の混じった「繊細な」説明も、男性の 6 曲のうち 1 曲を女性のような声へ寄せました。
実践的な指針
- 「ソロ、デュエットなし」の文言だけに頼らないでください。
- 歌手の説明をプロンプトの最初に置いてください。
- 男性の声には低めのキーを選び、強いサビのタグを避けてください。
- 生成したすべての曲を自動でチェックし、ドリフトが見つかったら新しい seed で作り直してください。
限界
- サンプルが小さい：条件ごとに seed 3 つ、モデルは一つ、韓国語の歌詞のみ。
- 最初の事例を除き、結果は体系的な人の試聴ではなく機械分析によるものです。
- 音高だけでは高い男性の声と女性の声を常に区別できるわけではなく、二人が同時に歌うと一つの声として追跡されます。
- 強さを表す語のない通常の "[Chorus]" タグは個別に試していません。
これらの機械分析の結果を人と一緒に確かめる、オープンで匿名の試聴実験を計画しています。