歌声合成の歴史 ― VOCALOID 2003 から初音ミク、NEUTRINO、Synthesizer V AI まで

歌声合成の現代的な実用化は、 2000 年にヤマハ株式会社（日本）とポンペウ・ファブラ大学 (Universitat Pompeu Fabra, スペイン・バルセロナ) Music Technology Group との共同研究として始まりました。プロジェクトは「歌声情報処理（Daisy プロジェクト）」と呼ばれ、 サンプル接続 (concatenative) とスペクトル合成を組み合わせた手法を採用しました。

技術の理論的基盤は、 Jordi Bonada と Alex Loscos が 2003 年の SMAC (Stockholm Music Acoustics Conference) で発表した論文「Sample-based singing voice synthesizer by spectral concatenation」にまとまっています。アイデアは:

• 歌手の声を「音素」と「音素遷移」の小片に分割収録 (例: "あ→か"、"い→き" など 1000 個オーダーの素片)
• 歌詞を与えると該当する素片を時間順に接続
• 音高 (ピッチ) はスペクトル領域で時間引き伸ばし・周波数シフトすることで自然なメロディに変換
• 素片境界の不連続をスペクトルモーフィングで滑らかにする

この時期、技術的・商業的に「歌声を歌わせる」が実現可能な品質に近づきつつありましたが、 まだ実用的な商品化はされていませんでした。

ヤマハは 2003 年に VOCALOID 1.0 エンジンを正式発表。 翌 2004 年にエンジンを各社にライセンス供与する形で、 最初の歌声ライブラリ製品が登場しました。 興味深いことに、第 1 弾は英語の女性歌手「LEON」と「LOLA」 (英 Zero-G 社、 2004 年 1 月発売)でした。 続いて Zero-G の MIRIAM (2004 年 7 月)、 そして日本語版第 1 弾の「MEIKO」(クリプトン・フューチャー・メディア、 2004 年 11 月)と KAITO (2006 年 2 月) が発売されます。

クリプトン社は元々 1995 年設立の音楽用音素材販売会社で、 ヤマハとの提携で日本語版 VOCALOID のディストリビュータになりました。 ただし MEIKO と KAITO はヤマハ主導の開発、クリプトンは商業流通という関係。

VOCALOID 第 1 世代は技術的に画期的でしたが、 売上は限定的でした。 MEIKO は約 3,000 本、 KAITO は発売から数年で約 500 本という市場的には失敗作と見られる数字でした。 「歌声合成は技術として面白いが、誰がどう使うのか」というキラーアプリケーションが見えていない時期です。

2007 年、 ヤマハは新エンジン VOCALOID2 を発表します。 旧版より自然な歌声、 簡素化された UI、 そして「キャラクター性」を前面に打ち出すマーケティング方針への転換が特徴でした。

クリプトンはこの新エンジンで「Character Vocal Series (CV シリーズ)」の第 1 弾として、 「初音ミク (HATSUNE MIKU)」 (CV01) を 2007 年 8 月 31 日に発売します。 価格 ¥15,750。 主な特徴:

• 声の提供は声優の藤田咲
• 「未来から来た最初の音」という命名 (初 = はじめての、 音 = サウンド、 ミク = 未来)
• 16 歳・身長 158 cm・髪はターコイズ色のツインテールというキャラクターデザイン (KEI 氏)
• 「VOCALOID2 で歌うバーチャル・シンガー」というキャッチコピー

DTM ソフトの業界では年間 1,000 本売れれば大ヒットと言われる小さな市場でした。 これに対して初音ミクは発売 2 週間で 3,500-4,000 本、 半年で約 3 万本、 1 年で約 4 万 2,000 本という、 それまでの VOCALOID 製品 (MEIKO ≈ 3,000 本、 KAITO ≈ 500 本) とは桁違いの売上を記録します。

転換点はニコニコ動画の初期コミュニティでした。 ユーザーが楽曲制作 + ミクのイラスト + 歌詞付き動画を投稿し、 それが「N 次創作」として爆発的に増殖していく現象が起きます。 代表曲「メルト」(supercell, 2007 年 12 月公開) や「みくみくにしてあげる♪」 (ika, 2007 年 9 月公開) がコミュニティを牽引し、 初音ミクは単なる歌声合成ソフトを越えて「みんなで育てるバーチャル・アイドル」という新しい文化形態になりました。

初音ミクの成功以降、ヤマハはエンジンを継続的に改良 (VOCALOID3 / 2011, VOCALOID4 / 2014, VOCALOID5 / 2018) し、クリプトンも 「鏡音リン・レン (CV02, 2007.12)」「巡音ルカ (CV03, 2009.1)」と CV シリーズを続けました。 他社からも GUMI (Megpoid)、 IA、 結月ゆかり、 兎眠りおん など多数の VOCALOID が登場。

2010 年代の文化的展開:

• 2009-: 「ミクの日感謝祭」「マジカルミライ」ホログラフィック・コンサートが定期開催に
• 2011: 「初音ミク -Project DIVA-」シリーズ (セガのリズムゲーム) が大ヒット
• 2014: ミク × グーグルの CMでレディー・ガガのオープニングアクトに起用
• 2016: トヨタの北米向け CMに出演 (カローラの広告キャラクター)

「歌声合成ソフト」が「世界的に認知された日本発の文化アイコン」に格上げされた時期です。

商用 VOCALOID と並行して、 アマチュア向け無料歌声合成ソフトの「UTAU」 (2008 年に飴屋/菖蒲 氏が公開) が独自のコミュニティを形成しました。 UTAU はユーザーが自分の声で「音源ライブラリ」を作って配布できる仕組みで、 同人音楽・ボカロ二次創作・ネタ動画など幅広い創作の入口になりました。

UTAU のサンプリング・連結アルゴリズムを発展させたのが、 後の Synthesizer V を生むKanru Hua (華侃如) の「Moresampler」です。 個人開発者が商用 VOCALOID に対抗する技術を作り上げる土壌として、 UTAU は重要な役割を果たしました。

2018 年以降、 ディープラーニングが歌声合成に応用され、 品質が一段階上がります。 代表的な 2 つのソフト:

Synthesizer V (Dreamtonics, 2018-)

• 2018 年 8 月 19 日: Kanru Hua が Synthesizer V Beta 版を公開 (前身 Moresampler の発展)
• 2018 年 12 月 23 日: Synthesizer V 第 1 世代エディタ正式版
• 2020 年 7 月: Synthesizer V Studio (第 2 世代エディタ) リリース
• 2020 年 12 月: Synthesizer V Studio にAI エンジン、ラップ機能、クロスリンガル歌唱合成追加
• 開発元の Dreamtonics は東京を拠点とする企業 (本社・日本)

NEUTRINO (SHACHI, 2020-)

• 2020 年 2 月 22 日: SHACHI (大鳥研一郎氏) が NEUTRINO を公開
• 個人開発・非商用無償で公開された純粋なニューラル歌声合成
• 声優の音源 (例: 東北きりたん、 KIRITAN ライブラリ) を学習データに、 楽譜と歌詞を入力するだけで自然な歌唱を生成
• VOCALOID のような「素片接続」を使わず、 完全な end-to-end ニューラルネットワークでメロディから波形を生成

両ソフト登場以降、 「歌わせ手 (調教師)」の労力で品質を上げるパラメータ手動調整の比重が大幅に減り、 入力した楽譜・歌詞からそのままほぼ実用品質の歌声が出るレベルに到達しました。 プロの音楽制作で「仮歌をすぐに作る」「ハモり用に女性ボーカルを追加する」といった用途で日常的に使われています。

歌声合成の技術系譜を整理すると、 大きく 3 つの世代に分けられます。

第 1 世代は「演者が録った素片を切って貼る」方式で、 機械的・人工的な響きが残りました (それが逆に「ボカロらしさ」として愛されもしました)。 第 2 世代以降は学習データから歌い方そのものを推論するので、 ビブラート・ポルタメント・抑揚が人間の歌唱に近づきます。 第 3 世代では、 楽譜だけ与えて波形まで一気通貫で生成するため、 ユーザーの「調教」スキルへの依存度が劇的に下がりました。

歌声合成は単なる技術ではなく、 日本発のUGC (User Generated Content) 文化を根本から変えました。 主要な影響:

• 「ボカロ P」という職業: 米津玄師 (旧名 ハチ)、 YOASOBI の Ayase、 Adoのプロデューサー syudou など、 ボカロ出身で商業音楽に進出するアーティストが多数
• 「歌ってみた」「弾いてみた」文化: ボカロ曲を人間が歌い直すジャンルが大規模に
• 「VTuber」の前哨: バーチャルキャラクターが人格を持って活動する形式の先駆
• 音楽教育・作曲入門のハードルを下げた: 歌手を雇わなくても完成形に近いデモが作れる

2026 年現在の論点として:

• AI による「特定アーティストの声」クローン: 法的・倫理的なグレーゾーン (米国 SAG-AFTRA 2024 ストライキでも論点に)
• 商用音源の権利処理: 多くのライブラリは商用楽曲制作に使えるが、 個別契約で異なる
• 声優・歌手の労働市場への影響: 「仮歌」需要は明確に減少

技術的には「もう人間の歌唱と区別がつかない領域」に到達しつつあります。 次の論点は「区別がつかなくなった世界で、 人間の歌手・声優の役割をどう再定義するか」にシフトしています。

• 2000 年: ヤマハ × ポンペウ・ファブラ大学の共同研究開始
• 2003 年: Bonada & Loscos が SMAC で論文発表、 VOCALOID 1.0 エンジン正式発表
• 2004 年: 英語版 LEON / LOLA、 日本語版 MEIKO 発売
• 2007 年 8 月 31 日: クリプトン「初音ミク」 (CV01) 発売、 ニコニコ動画文化と結びついて爆発的普及
• 2010 年代: マジカルミライ、 Project DIVA、 Google CM、 トヨタ CM などで世界的キャラ化
• 2018 年: Synthesizer V (Dreamtonics, Kanru Hua) Beta 公開
• 2020 年 2 月: NEUTRINO (SHACHI) 公開、 純粋なニューラル歌声合成の登場
• 2020 年 12 月: Synthesizer V Studio に AI エンジン搭載、 ラップ・クロスリンガル対応
• 技術系譜: コンカテナティブ (2003-) → DNN ボコーダ (2018-) → end-to-end ニューラル (2020-)

「ヤマハの社内研究」から始まった歌声合成は、 ニコニコ動画というユーザーコミュニティ、 個人開発者の野心、 ディープラーニング技術の進歩という 3 つの追い風で、 23 年で人間の歌唱に肉薄する道具にまで進化しました。 「歌わせるソフト」だった頃の人工的な響きを愛したファンと、 「人間と区別がつかない歌声」を求めるプロ音楽制作者が同じ生態系に共存している現状は、 技術進化が一方向に向かわないことの好例でもあります。

音楽制作のお供に、 当サイトの コードプレーヤー・ギター/楽器チューナー・メトロノーム・ピッチ解析もご活用ください。