Fish Speech Drama 3:せりふ編集機能のプレビュー

Fish Speech Drama 3は、せりふを制作する人にとって重要な問いを投げかけます。演技全体を捨てずに、一つのフレーズだけを直せるのでしょうか。ここでは利用できる機能を区別する必要があります。FishはDrama 3の通常の音声合成をWeb、アプリ、APIで提供すると発表した一方、対話的な編集と音声の部分修復については、小規模な招待制テストと説明しています。研究で示された能力が、すべての利用者が今使える機能とは限りません。
関連機能については、ショートドラマの制作手順をご覧ください。
採用したせりふ音声を、APOBで別途行うリップシンク制作に備えて整理しましょう。
このプレビューでは研究内容を説明し、独自の音声修正仕様を示します。招待制の編集機能を実際に試したわけではなく、修正音声の制作や、つなぎ目の前後がどこまで保持されたかの測定も行っていません。編集権限がない場合の現実的な代案は、権利の確認できたせりふ全体を録り直し、外部の編集ソフトで組み直すことです。利用できない画面があるかのように説明せず、この仕様を評価の準備に使ってください。
Fish SpeechプロジェクトにおけるDrama 3の位置づけ
10月13日正式リリース
Drama 3の技術レポートは2026年10月13日付です。会話のやり取りを重ねながらの修正や、既存音声の一部を補完する処理など、音声生成の研究を説明しています。この記事で扱うのはそれらの概念です。ベンチマーク表を転載したり、他サービスより優れていると推定したりするものではありません。
制作での利用を決める前に、Fishの最新発表と自分のアカウントで使える機能を確認してください。提供状況はリリース後に変わることがあります。通常の音声合成の発表、招待制の編集実験、今後提供予定とされる編集APIは、制作指示書でも別々の事実として扱う必要があります。
公開モデルの研究とオンライン編集画面の違い
レポートにはFish Speechプロジェクトとモデルの公開先が記載されています。研究用モデルの配布と、顧客向けのオンライン編集画面は別のものです。モデルが研究に利用できても、現在のアカウントでどの操作が使えるかまでは分かりません。
プロジェクトの情報はFish Speechの公式リポジトリで確認してください。インストール方法、モデルの利用許諾、推論に必要な環境が、商用アカウントの利用手順と同じだと考えてはいけません。以下の文章作成例がライセンス上の許可を与えるわけではありません。
この記事で確認したことと、実測していないこと
用意したのは、修正箇所を示した書き起こし、三つの演出メモ案、未記入の試聴記録、後工程の録り直し指示書です。いずれも独自に作成した準備資料です。音声サンプル、評価者による点数、つなぎ目の品質測定、部分修正の成功結果を裏付けとするものではありません。
何を残すか判断するときには、この境界が重要です。以下の「保持する前後の音声」は、確認担当者が求める条件を表します。モデルが隣接する音声サンプルを完全に保つという主張ではありません。実際に得られた音声を比較してから採用してください。
存在しない編集画面を想定せず、研究用語を説明する
音声による演出指示を受けてやり直す
修正とは、演出指示に応じて別のテイクを求めることです。例では、成人の舞台監督が正しいリハーサル時刻を伝えますが、皮肉を込めて強調してしまいます。言葉は変えず、誠実な演技にしてほしいと頼むことが考えられます。変更したいのは演技です。
レポートの複数ターンによる修正の説明は、その処理を検討する根拠になります。ただし、「皮肉を取り除く」という切り替え項目を作り上げたり、発表で公開されていないAPIのエンドポイントを手順として紹介したりする根拠にはなりません。
既存の発話の一部を補完する
音声の部分補完は、既存の発話のうち指定した範囲を変更する処理です。この例ではリハーサル開始時刻を表す英語の「seven(7時)」を「eight(8時)」に変えます。前後の文は保持して比較したい部分であり、捨ててよい余白ではありません。
検討する処理 | オリジナルの例 | 今後、許可を得て試す際の確認事項 |
|---|---|---|
指示を受けてやり直す | 同じ言葉で、皮肉を強調しない | 新しい演技は、意図した人物関係に合っているか |
音声の部分補完 | リハーサル時間が7時から8時に変更になります | 変更箇所の言葉と前後のつながりは適切か |
研究結果だけでは、アカウントの利用権限までは分からない
表のどちらの行も画面操作の手順ではありません。試す前に、実際のサービス、モデル、アクセス権限、アカウントで使える操作を記録します。編集画面を使えなければ、修正をすでに実行したかのように説明してはいけません。
通常の録り直しでも制作上の問題は解決できます。比べるべきなのは、実際に出力して確認した部分修正と、実際に録り直して確認したせりふ全体です。使えない実験機能を、研究の説明だけで優れた方法だと判断してはいけません。
編集するフレーズと、前後で保持したい音声を区切る
変更箇所の直前にある、最後の変更しない単語
架空の成人二人による、英語の創作せりふと日本語訳です。
舞台監督、英語の原文:“I checked the room. Rehearsal starts at [CHANGE: seven → eight]. Please use the side entrance.” 日本語訳:「部屋は確認しました。リハーサルは[変更:7時→8時]からです。横の入口を使ってください。」編集範囲の前後の単語を特定できるよう、英語原文も示しています。
出演者、英語の原文:“Eight, then. I'll tell the others.” 日本語訳:「では8時ですね。ほかの皆にも伝えます。」
英語原文で変更箇所の直前にあり、変更しない最後の単語は「at」です。元の音声と書き起こしを一緒に保管し、置き換える単語だけでなく、その前後のつながりを確認できるようにします。
変更箇所の直後にある、最初の変更しない単語
英語原文では、次の文が「Please」で始まります。日本語訳では「横の入口を使ってください」に当たる箇所です。時刻を直すと、その指示につながる間が変わる可能性があります。書き起こしの数字が正しくても、無関係な二つの録音をつないだように聞こえることはあります。
この括弧は編集上の注記であり、APIの構文ではありません。貼り付ければ保護が有効になると考えてはいけません。許可を得た試行で実際に使える操作に条件を置き換えるか、人による録り直しの指示に使ってください。
話者、部屋の背景音、感情のつながり
想定する話者と利用許可の根拠、部屋の背景音の特徴、場面の感情の流れを記録します。ここで舞台監督がしているのは予定の訂正であり、対立を強めることではありません。「8時」が大声や非難する調子になれば、言葉が聞き取れても会話の意味は変わります。
演技そのものの準備は、既存の声の演技ガイドで扱っています。この記事は、すでに選んだテイクのどこを変更し、その変更をどう確認するかに焦点を当てます。
意図した要素だけを変える演出メモを書く
声を大きくせず、時刻だけを直す
演出メモA:「開始時刻を表す語を『eight(8時)』に置き換えてください。前後の指示は自然な会話の調子を保ち、修正した語が強い叱責に聞こえる版は採用しません。」変えてよいのは伝える時刻です。保ちたいのは、舞台監督が落ち着いて予定を伝える意図です。
同じメモに「もっと感情的に」という指示を足さないでください。変更する要素が二つになり、何が変わったか分かりにくくなります。事実関係と演技の両方を直すなら、別々に指定し、それぞれ元のテイクと比べます。
謝罪は残しつつ、皮肉の強調を取り除く
演出メモB:「『変更してすみません』という謝罪とその意味を残し、誠実で抑えた読み方にしてください。謝罪を省いた版や、冗談に変えた版は採用しません。」これは修正指示の案であり、一般のアカウントが今すぐ既存のFish音声を編集できるという主張ではありません。
レポートは、演出指示を重ねる処理に関わる研究を説明しています。その説明と、オンラインサービスで利用できる機能は区別してください。技術レポートは前者の根拠であり、後者の証拠ではありません。
指定していない息づかいが加わった修正は採用しない
演出メモC:「次の文へのつながりを目立たせないでください。入口についての指示を伝える前に、舞台監督がためらっているように聞こえる新しい息づかいは採用しません。」不採用の条件を示すことで、指示を検証できるようになります。
息を足すことが常に誤りなのではありません。聞き手が受け取る意味を変え、この場面で指定した意図から外れるなら不適切です。結果を聞いてから指示をひそかに書き換えるのではなく、不採用の試行を不一致の記録として残します。
直した言葉を信用する前に、つなぎ目を聞く
修正箇所に入るところで子音が切れる
直前の単語、修正するフレーズ、次の文を通して聞いてください。想定上の失敗例としては、英語原文の「at」の末尾が切れ、「eight(8時)」だけは明瞭に聞こえる場合があります。これは確認事項を説明するための創作例であり、Drama 3の出力で観測した不具合ではありません。
公開先に合ったヘッドホンと、通常想定する再生環境で確認します。実際に聞こえたことを記録してください。軽く聞いただけ、あるいは書き起こしが一致しただけで、音声がサンプル単位で完全に保持されたと判断してはいけません。
部屋の背景音が急に変わる
試聴記録の項目 | 実際に試した後でのみ記入 |
|---|---|
オリジナルのテイクと許可の記録 | ___ |
サービス、モデル、利用した画面やAPI | ___ |
変更を求めたフレーズまたは演技 | ___ |
修正箇所に入る部分・出る部分の観察 | ___ |
部屋の背景音と話者の声の連続性 | ___ |
採用・不採用・判断保留と、その理由 | ___ |
空欄は意図的なものです。チェックリストは実測結果ではありません。利用許可のある出力が得られていなければ、記録は空欄のままにして確認待ちと記します。
次の話者の返答が、感情の流れに合わなくなる
修正候補の後に、出演者の返答を続けて再生します。舞台監督の新しいテイクが皮肉っぽくなれば、落ち着いた返答が不自然になる可能性があります。二つの録音を単独で聞くときれいでも、場面としてはつながらない場合があります。
時刻などの事実の修正、前後のつながり、人物関係のすべてが承認した指示に合う場合にだけ、その音声を採用します。せりふ全体を録り直した方が使いやすいなら、そちらを選びます。部分編集は制作の選択肢であって、不適切な元の演技を必ず残すための義務ではありません。
採用音声が変わった箇所だけ、リップシンクを作り直す
影響するショットの口の動きを新しく作る
差し替え指示書:対象ショット___、元の音声___、採用する差し替え音声___、承認済みの架空人物の参照___、必要なせりふ___、未確認の映像項目___。元データを保管し、採用するテイクを明示します。
APOBのリップシンクは、対応していて利用権限を確認できた音声・画像入力を使う、任意の後工程です。実際の役割は、新しい発話映像を生成し、その出来を確認することです。Fishの音声修正と自動連携する機能ではなく、前後のフレームが同一に保たれることも保証しません。
変更していないリアクションショットは残せる場合がある
修正箇所とは関係のない聞き手のショットは、動作、視線、尺が合っていれば、そのまま使える可能性があります。すべての素材を自動的に差し替えるのではなく、実際に確認します。ショットを残すのは制作上の判断であり、ツール間で依存関係が自動管理されている証拠ではありません。
新しい映像素材が必要なら、APOBの画像から動画への生成機能が実際に対応するモデルと入力条件を調べてください。素材制作の機能と、音声編集の利用権限に関する説明は分けて考えます。
最終編集で、タイミングを別途確認する
外部編集ソフトの担当者は、採用音声、話しているショット、リアクション、字幕のタイミングをまとめて確認する必要があります。新しいフレーズで使える尺が変わることもあります。言葉が一致しているだけでは、組み立てた場面を正しいと判断できません。
2026年11月2日時点では、この記事は利用権限の違いに注意した研究紹介と独自の音声修正仕様です。試す前にFishの最新の提供状況を確認してください。招待制の機能を使えなければ、権利を確認したせりふ全体の録り直しを選びます。存在しない画面を作り上げたり、未記入の確認項目を完了済みの実測結果として説明したりしてはいけません。























