Fish Speech Drama 3: 대사 편집 기능 미리보기

Fish Speech Drama 3은 대사를 제작하는 사람에게 중요한 질문을 던집니다. 연기 전체를 버리지 않고 한 구절만 고칠 수 있을까요? 이때는 이용 가능한 기능을 구분해야 합니다. Fish는 Drama 3의 일반 음성 합성을 웹, 앱, API에서 제공한다고 발표했지만, 대화형 편집과 오디오 인페인팅은 소규모 초대 전용 테스트라고 설명했습니다. 연구에서 입증한 기능이 모든 고객이 지금 사용할 수 있는 기능을 뜻하지는 않습니다.
관련 기능은 숏드라마 제작 워크플로에서 확인할 수 있습니다.
채택한 대사 오디오를 APOB의 별도 립싱크 제작에 사용할 수 있도록 준비하세요.
이 글은 연구 내용을 소개하고 직접 작성한 대사 수정 명세를 제시합니다. 초대 전용 편집 세션을 실제로 실행하거나 수정된 오디오를 제작하지 않았으며, 접합부 앞뒤가 얼마나 보존되는지도 측정하지 않았습니다. 계정에 편집 권한이 없다면, 이용 허가를 확인한 대사 전체를 다시 녹음해 외부 편집기로 편집하는 것이 현실적인 대안입니다. 이용할 수 없는 화면이 있는 것처럼 설명하지 말고, 이 명세를 평가 준비에 활용하세요.
Fish Speech 프로젝트에서 Drama 3의 위치 파악하기
10월 13일 공식 출시
Drama 3 기술 보고서는 2026년 10월 13일에 발표됐습니다. 여러 대화 차례에 걸친 수정과 기존 음성의 일부를 채우는 작업 등 음성 생성 연구를 설명합니다. 이 글에서 다루는 것은 이러한 개념입니다. 벤치마크 표를 재현하거나 다른 서비스보다 우수하다고 추론하지 않습니다.
제작에 사용하기로 결정하기 전에 Fish의 최신 발표와 계정에서 제공하는 기능을 확인하세요. 출시 이후 제공 범위가 달라질 수 있습니다. 일반 음성 합성 발표, 초대 전용 편집 실험, 향후 제공 예정인 편집 API는 제작 지시서에서도 서로 다른 사실로 구분해야 합니다.
공개 모델 연구와 온라인 편집 화면의 차이
보고서는 Fish Speech 프로젝트와 모델 자료로 연결됩니다. 연구 자료를 배포하는 것과 고객용 온라인 편집기를 제공하는 것은 별개입니다. 모델을 연구에 사용할 수 있다고 해서 현재 계정에서 어떤 조작이 가능한지까지 알 수 있는 것은 아닙니다.
프로젝트 정보는 Fish Speech 공식 저장소에서 확인하세요. 설치 지침, 모델 이용 권한, 추론 환경 요건이 상용 계정의 작업 방식과 같다고 가정하면 안 됩니다. 아래 글쓰기 연습은 라이선스상 이용 허가를 부여하지 않습니다.
이 글에서 다룬 자료와 실제로 시험하지 않은 사항
준비한 자료는 수정 범위를 표시한 대사 기록, 연출 메모 세 가지, 빈 청취 기록표, 후속 재녹음 지시서입니다. 모두 직접 작성한 계획 자료입니다. 실제 오디오 샘플, 평가단 점수, 접합부 품질 측정 결과, 성공적인 부분 수정 결과를 근거로 하는 자료가 아닙니다.
무엇을 유지할지 결정할 때는 이 한계가 중요합니다. 여기서 말하는 ‘보호할 앞뒤 맥락’은 검토자가 요구하는 조건입니다. 어떤 모델이든 인접한 오디오 샘플을 정확히 보존한다는 주장이 아닙니다. 실제로 얻은 오디오를 비교한 뒤 채택해야 합니다.
존재하지 않는 편집 화면을 가정하지 않고 연구 용어 설명하기
음성 연출 지시를 받은 뒤 다시 시도하기
수정은 연출 지시에 따라 다른 테이크를 요청하는 작업입니다. 예시에서는 성인 무대감독이 정확한 리허설 시각을 말하지만 비꼬는 어조로 강조합니다. 단어를 바꾸지 말고 진심이 느껴지는 연기로 다시 해 달라고 요청할 수 있습니다. 바꾸려는 대상은 연기입니다.
보고서의 여러 대화 차례에 걸친 수정 설명은 이 작업을 검토할 근거가 됩니다. 그렇다고 ‘비꼬는 어조 제거’ 스위치를 만들어 내거나 발표에서 공개하지 않은 API 엔드포인트를 절차처럼 문서화할 수는 없습니다.
기존 발화의 일부 채우기
음성 부분 보완은 기존 발화에서 지정한 범위를 바꾸는 작업입니다. 이 예시는 리허설 시작 시각을 나타내는 영어 ‘seven(7시)’을 ‘eight(8시)’로 바꿉니다. 앞뒤 문장은 보존하고 비교해야 할 내용이지, 버려도 되는 여분이 아닙니다.
제안된 작업 | 원본 예 | 향후 이용 허가를 받은 시험에서 확인할 질문 |
|---|---|---|
연출 지시에 따른 재시도 | 같은 말, 덜 냉소적인 강조 | 새 연기가 의도한 인물 관계에 맞는가? |
음성 일부 채우기 | 리허설 시간이 7시에서 8시로 변경됩니다. | 바뀐 단어와 앞뒤 연결이 적절한가? |
연구 결과만으로는 계정 접근 권한을 알 수 없다
표의 두 행은 화면 조작 절차가 아닙니다. 실험 전에 실제 서비스와 모델, 접근 권한, 계정에서 사용할 수 있는 작업을 기록하세요. 편집 기능을 사용할 수 없다면 이미 수정을 완료한 것처럼 설명하지 마세요.
일반적인 재녹음으로도 제작 문제를 해결할 수 있습니다. 비교해야 할 대상은 실제로 출력해 검토한 부분 수정과 실제로 녹음해 검토한 대사 전체의 새 테이크입니다. 이용할 수 없는 실험 기능이 연구 설명만으로 이 비교에서 더 낫다고 결론 내려서는 안 됩니다.
수정할 구절과 보존할 앞뒤 맥락 구분하기
수정 구절 바로 앞에 있는 마지막으로 유지할 단어
가상의 성인 두 명이 주고받는 영어 창작 대사와 한국어 번역입니다.
무대감독, 영어 원문: “I checked the room. Rehearsal starts at [CHANGE: seven → eight]. Please use the side entrance.” 번역: “방은 확인했어요. 리허설은 [변경: 7시 → 8시]에 시작합니다. 옆문을 이용해 주세요.” 편집 범위 앞뒤의 단어를 정확히 짚을 수 있도록 영어 원문도 함께 제시합니다.
출연자, 영어 원문: “Eight, then. I'll tell the others.” 번역: “그러면 8시군요. 다른 사람들에게도 알릴게요.”
영어 원문에서 수정 구절 바로 앞에 있는 마지막으로 유지할 단어는 ‘at’입니다. 검토자가 대체한 단어만 따로 듣는 대신 앞뒤 연결을 들을 수 있도록 원본 오디오와 대사 기록을 함께 보관하세요.
수정 구절 바로 뒤에 있는 처음으로 유지할 단어
영어 원문에서는 다음 문장이 ‘Please’로 시작합니다. 한국어 번역의 ‘옆문을 이용해 주세요’에 해당하는 부분입니다. 시각을 고치면 그 안내로 이어지는 쉼이 달라질 수 있습니다. 기록에 적힌 숫자가 맞더라도 오디오는 서로 무관한 두 녹음을 이어 붙인 것처럼 들릴 수 있습니다.
이 대괄호는 편집용 표기이지 API 구문이 아닙니다. 화면에 붙여 넣으면 보호 기능이 켜진다고 가정하지 마세요. 이용 허가를 받은 시험에서 실제로 제공하는 조작 방식에 맞춰 조건을 옮기거나, 사람이 다시 녹음할 때 사용할 지시서로 활용하세요.
화자, 실내 배경음, 감정의 연결
의도한 화자와 이용 허가의 근거, 실내 배경음의 특성, 장면의 감정 방향을 기록하세요. 여기서 무대감독은 갈등을 키우는 것이 아니라 일정을 정정하고 있습니다. ‘8시’가 더 크거나 비난하는 어조로 바뀌면, 잘 알아들을 수 있어도 대화의 의미는 달라집니다.
연기 준비 자체는 기존의 목소리 연기 가이드에서 다룹니다. 이 글은 이미 선택한 테이크에서 무엇을 바꿀지 정하고 그 변경을 검토하는 데 집중합니다.
의도한 요소만 바꾸는 연출 메모 작성하기
목소리를 키우지 않고 시각만 정정하기
연출 메모 A: “리허설 시작 시각을 ‘eight(8시)’로 바꾸세요. 앞뒤 안내는 자연스러운 대화의 어조를 유지하고, 수정한 단어가 강한 질책처럼 들리는 버전은 거부하세요.” 바꿔도 되는 것은 전달하는 시각입니다. 지켜야 할 것은 무대감독이 차분하게 일정을 알리는 의도입니다.
같은 메모에 ‘더 감정적으로’라는 지시를 덧붙이지 마세요. 바꿀 변수가 두 개가 되어 무엇이 달라졌는지 판단하기 어려워집니다. 사실관계와 연기를 모두 고쳐야 한다면 따로 지시하고 각각 원본과 비교해 검토하세요.
사과는 유지하되 냉소적인 강조는 삭제하세요.
연출 메모 B: “‘변경해서 죄송합니다’라는 사과와 그 의미를 유지하세요. 진심이 느껴지는 절제된 낭독을 요청하고, 사과를 빼거나 농담으로 바꾼 버전은 채택하지 마세요.” 이는 수정 지시의 제안일 뿐, 일반 계정으로 오늘 기존 Fish 테이크를 편집할 수 있다는 주장이 아닙니다.
보고서는 연출 지시를 거듭하는 작업과 관련된 연구를 설명합니다. 이 설명과 온라인 서비스의 기능 제공 여부는 구분해야 합니다. 기술 보고서는 전자의 근거이지 후자의 증거가 아닙니다.
지시하지 않은 숨소리가 더해진 수정은 채택하지 않기
연출 메모 C: “다음 문장으로 자연스럽고 눈에 띄지 않게 이어지도록 하세요. 출입구를 안내하기 전에 무대감독이 망설이는 것처럼 들리게 만드는 새로운 숨소리는 채택하지 마세요.” 채택하지 않을 조건을 제시하면 지시를 검토할 수 있습니다.
숨소리를 추가하는 것이 항상 잘못은 아닙니다. 청취자가 받아들이는 의미를 바꾸어 이 장면의 지정된 의도에서 벗어나면 부적절합니다. 결과를 들은 뒤 지시를 슬쩍 고치지 말고, 거부한 시도를 불일치의 증거로 보관하세요.
고친 단어를 믿기 전에 접합부 듣기
수정 구절이 시작되는 부분에서 자음이 잘리는 경우
앞 단어, 수정 구절, 다음 문장을 문맥 속에서 이어서 들어 보세요. 가상의 실패 예로는 영어 원문의 ‘at’ 끝이 잘리는데 ‘eight(8시)’는 또렷하게 들리는 경우가 있습니다. 이는 점검 대상을 설명하기 위해 만든 예시이며, Drama 3 출력에서 관찰한 결함이 아닙니다.
공개할 매체에 적합한 헤드폰과 일반적인 재생 환경에서 확인하세요. 실제로 들리는 내용을 기록해야 합니다. 가볍게 들어 보거나 대사 기록이 일치한다는 이유만으로 오디오가 샘플 단위까지 완벽히 보존됐다고 주장하면 안 됩니다.
갑작스러운 룸 톤 변화
청취 기록 항목 | 실제로 시험한 뒤에만 작성 |
|---|---|
원본 테이크와 이용 허가 기록 | ___ |
서비스, 모델, 이용한 화면 또는 API | ___ |
수정을 요청한 구절 또는 연기 | ___ |
수정 구절의 시작과 끝 연결 관찰 | ___ |
실내 배경음과 화자 목소리의 연속성 | ___ |
채택·거절·판단 보류 및 이유 | ___ |
빈칸은 의도적으로 남겨 둔 것입니다. 점검표는 시험 결과가 아닙니다. 이용 허가를 확인한 출력이 없다면 기록은 빈칸으로 두고 확인 대기 상태라고 설명하세요.
다음 인물의 답변이 감정 흐름에 맞지 않는 경우
수정 후보 뒤에 출연자의 답변을 이어서 재생하세요. 무대감독의 새 테이크가 비꼬는 어조가 되면 차분한 답변이 부자연스럽게 느껴질 수 있습니다. 두 녹음이 따로 들을 때는 깨끗해도 장면 전체에서는 어긋날 수 있습니다.
사실관계 정정, 앞뒤 연결, 인물 관계가 모두 승인한 지시서에 맞을 때만 오디오를 채택하세요. 대사 전체를 새로 녹음하는 편이 더 쓸 만한 결과를 제공한다면 그 방법을 사용하세요. 부분 편집은 제작의 선택지이지, 부적절한 원래 연기를 반드시 보존해야 하는 의무가 아닙니다.
채택한 오디오가 바뀐 부분만 립싱크 다시 제작하기
영향받은 샷의 입 움직임 새로 만들기
교체 지시서: 대상 샷 ___; 원본 오디오 ___; 채택한 교체 오디오 ___; 승인된 가상 인물 참조 ___; 필요한 대사 ___; 아직 확인하지 않은 영상 항목 ___. 원본을 보관하고 채택한 테이크를 명확히 표시하세요.
APOB 립싱크는 지원되는 입력 형식과 이용 허가를 확인한 오디오·이미지로 진행하는 선택적인 후속 제작 단계입니다. 실제 역할은 새로운 발화 영상을 생성한 뒤 그 결과를 검토하는 것입니다. Fish 음성 수정과 자동 연동하는 기능이 아니며 인접한 프레임이 동일하게 유지된다고 보장하지도 않습니다.
변경하지 않은 리액션 샷을 계속 쓸 수 있는 경우
수정 구절과 관계없는 듣는 인물의 샷은 동작, 시선, 길이가 여전히 맞으면 계속 사용할 수 있습니다. 모든 소재를 기본적으로 교체하지 말고 실제로 확인하세요. 샷을 유지하는 것은 제작 판단이지, 도구 간 의존 관계를 자동으로 관리하는 시스템의 증거가 아닙니다.
새로운 영상 소재가 필요하다면 APOB의 이미지 투 비디오 기능이 실제로 지원하는 모델과 입력 조건을 확인하세요. 소재 제작 기능과 음성 편집 접근 권한에 관한 설명은 구분해야 합니다.
최종 편집에서 타이밍 별도 확인하기
외부 편집기 담당자는 채택한 오디오, 말하는 샷, 리액션 샷, 자막 타이밍을 함께 검토해야 합니다. 새 구절로 인해 사용할 수 있는 길이가 달라질 수 있습니다. 단어가 일치한다는 사실만으로 편집한 장면 전체가 적절하다고 판단할 수는 없습니다.
2026년 11월 2일 기준으로 이 글은 이용 권한의 차이를 고려한 연구 소개와 직접 작성한 대사 수정 명세입니다. 시험하기 전에 Fish의 최신 제공 상황을 확인하세요. 초대 전용 기능을 이용할 수 없다면 이용 허가를 확인한 대사 전체를 다시 녹음하세요. 없는 화면을 만들어 내거나 미작성 점검 항목을 완료된 실측 결과처럼 설명해서는 안 됩니다.
출처
Fish Audio 팀, Fish Audio Drama 3 기술 보고서, 2026년 10월 13일; 2026년 11월 2일 확인
Fish Audio, Drama 3 발표, 2026년 10월 13일; 2026년 11월 2일 확인
APOB, 무료 AI 립싱크 동영상 생성기; 2026년 11월 2일 확인
APOB, AI 캐릭터 테이크를 위한 목소리 연기 팁























