AI 유튜브 쇼츠 만들기를 2026년 8월부터 직접 해 오고 있습니다. 대본 초안과 팩트체크는 클로드가, 목소리는 타입캐스트가, 화면은 구글 Flow가 만들고 조립과 업로드는 스크립트가 맡습니다. 영어 채널 The Genius Move와 일본어 채널 詰んだ図鑑에 건축·공학 이야기를 올리는데, 첫 편은 대본 확정부터 자막 완성본까지 이틀이 걸렸습니다. 10월에는 6편을 6시간 반 만에 예약까지 마친 날도 있습니다. 2026년 10월 기준으로, 그 사이 단계마다 실제로 막혔던 곳을 순서대로 적어 둡니다.
왜 AI로 쇼츠를 만들게 됐나
저는 IT 회사에서 마케팅을 하는 비개발자입니다. 8월 중순에 국내의 한 건축 쇼츠 채널을 분석하다가 눈에 들어온 게 있었습니다. 다루는 소재가 대부분 옛 공사 현장을 재현하는 장면이라 카메라로는 찍을 수가 없고 AI 영상이 사실상 유일한 시각화 수단이었습니다. 해외에서 같은 형식의 채널을 찾아봤는데 눈에 띄지 않아서 그 틀을 영어와 일본어로 해 보기로 했습니다.
첫 편은 피사의 사탑이었습니다. 그때는 Flow 화면에 프롬프트를 제가 직접 붙여 넣었고 편당 비용은 약 5천 원으로 계산했습니다. 일본어판은 영상 클립을 그대로 다시 쓰고 대본과 더빙만 새로 해서 반나절 만에, 추가 비용 없이 나왔습니다. 두 채널이 클립을 같이 쓰는 구조는 이때 정해졌습니다. 9월 말부터는 일본어 채널용 일본 소재 원본도 따로 만들어서 그때는 클립을 따로 생성합니다.
쇼츠 한 편이 나오는 7단계
명령은 대부분 클로드 코드가 실행합니다. 제가 직접 보는 건 대본 확정, 가편집 확인, 고정 댓글 정도입니다.
| 단계 | 하는 일 | 쓰는 도구 | 한 편 기준 숫자 |
|---|---|---|---|
| 1. 소재 | 반박할 통설이 있는 소재 고르기 | 클로드, 제작 목록 | 반박 문장 1개 |
| 2. 대본 | 초안, 주장별 팩트체크, 영어·일본어로 다시 쓰기 | 클로드 | 영어 310~330단어 |
| 3. TTS 더빙 | 대본 전체를 한 트랙으로 녹음 | 타입캐스트 API | 요청당 2,000자까지 |
| 4. AI 영상 클립 | 8초 클립 생성, 720p | 구글 Flow | 18~20개 |
| 5. 조립 | 클립 자르기, 이어 붙이기, 자막 | 파이썬, ffmpeg | 영어판 2분 안팎 |
| 6. 검수 | 발음, 클립 속 말소리, 화면 글자 | faster-whisper, 프레임 타일 | 클립 22개 검사 1분 남짓 |
| 7. 업로드 | 제목·설명·태그를 넣어 예약 공개 | YouTube Data API | 하루 100건 한도 |
Flow 공식 도움말을 보면 제가 쓰는 Gemini Omni Flash 1.1은 4·6·8·10초 길이를, Omni는 표준 720p와 초안 360p를 지원합니다. 저는 8초로 뽑고 조립 단계에서 1080×1920으로 키웁니다.
단계마다 막힌 함정과 해결
소재와 대본은 반박 문장부터
소재 기준은 한 줄입니다. 훅을 들은 시청자가 “아니, 그건 ~잖아” 하고 반박할 수 있어야 합니다. 몰랐던 사실만으로는 “아 그렇구나”로 끝나고 남에게 보내지 않습니다.
길이는 쓰기 전에 계산합니다. 일본어판은 초당 6.3~6.7자로 읽혀서 글자 수만 알면 길이가 거의 맞습니다. 대본 문서에 손으로 적어 둔 글자 수는 믿지 않고 기계로 다시 셉니다. 팩트체크는 주장마다 맞음, 아마도, 틀림, 불명확으로 판정해서 틀림과 불명확이 0건이어야 다음 단계로 넘깁니다.
TTS 더빙은 한 트랙으로
처음엔 컷마다 따로 녹음했는데 감정 표현 기능이 컷마다 발성 세기를 다르게 잡아 음량이 4dB까지 벌어졌습니다. 지금은 대본 전체를 한 번에 녹음합니다. 타입캐스트 API 문서 기준으로 요청 한 번에 2,000자까지라서 영어판은 두 덩어리로 받아 뒤 덩어리 음량을 앞에 맞춘 뒤 붙입니다.
일본어판에서는 HTTP 500이 같은 원고로 여섯 번 연속 났습니다. 「？」 바로 뒤에 같은 줄로 글자가 이어지면 서버 오류가 났고 물음표 뒤에서 줄만 바꾸자 바로 통과했습니다. 실패한 요청은 크레딧이 줄지 않았습니다.
크레딧은 직접 셉니다. 제 요금제는 월 20만 크레딧(1자 1크레딧)이고 넘으면 추가 결제가 붙는데, 사용량을 조회하는 API가 없었습니다(시도한 경로 16개 모두 404). 그래서 녹음할 때마다 글자 수를 원장 파일에 더하고 19만 5천에서 멈추게 해 뒀습니다.
AI 영상 클립은 말소리와 글자를 조심
Omni는 소리도 만듭니다. 한 편의 클립 22개를 Whisper로 받아 적어 보니 2개(9%)에 영어 대사가 들어 있었고 그 편은 그 상태로 공개됐습니다. 두 클립 모두 프롬프트에 사람들이 논쟁하는 장면이 있었습니다. 이후로는 모든 프롬프트 끝에 말소리 금지 문장을 고정으로 붙이고 조립 전에 클립 오디오를 전부 받아 적습니다. 그 뒤 6편, 121개 클립에서 말소리는 0개였습니다.
글자도 골칫거리입니다. 프롬프트에 연도를 넣으면 화면에 연도가 박힙니다. 컷 지시어 “SHOT 1″이 그대로 찍힌 적도 있습니다. 시드니 오페라하우스 편에서는 지붕을 “shell”이라고 썼다가 클립 7개에 조개껍데기가 나왔습니다. 그 단어를 빼고 “돛 모양 콘크리트 지붕”으로 풀어 쓰자 7개 모두 한 번에 고쳐졌습니다. 10월 한 배치에서 다시 만든 클립 14개(전체 134개)의 사유도 글자·숫자 6, 얼굴 4, 소재 오류 3, 미생성 1이었습니다.
클립 수도 줄였습니다. 8초 클립 하나에 장면 하나만 담으면 한 편에 32개가 필요했고 절반 넘게 버렸습니다(활용률 44%). 8초 안에 장면 2~3개를 하드컷으로 넣게 하자 18~20개로 줄고 활용률은 73~76%가 됐습니다. 지시한 컷 위치는 ±0.2초 안에서 지켜졌습니다.
조립은 눈 대신 숫자로 검사
한 줄 자막이 화면 밖으로 잘리는 걸 한참 몰랐습니다. 줄바꿈 없이 한 줄로 고정해 두니 긴 줄이 양옆으로 밀려 나갔습니다. 확인해 보니 첫 편만 무사하고 2~13호가 전부 넘쳤습니다. 한 편에서는 자막 79개 중 31개가 잘렸고 가장 많이 넘친 줄은 기준보다 572px 길었습니다. 지금은 렌더 전에 글자 폭을 재서 1,008px을 넘으면 글자를 살짝 줄이고 그래도 넘치면 멈추게 했습니다.
컷 30개 남짓을 따로 렌더해 이어 붙였을 때는 컷마다 약 21ms씩 틈이 쌓여 화면이 목소리보다 0.65초 늦어졌습니다. 조각을 잇지 않고 한 번에 인코딩하도록 바꾸자 0.027초로 줄었습니다. 구글 드라이브 폴더 안에서 렌더하다 3초 구간이 20분 넘게 멈춘 일은 구글 드라이브 데스크톱 느림 글에 따로 정리했습니다.
검수는 Whisper 두 모델로
발음은 받아 적은 글을 대본과 맞춰 봅니다. 저는 faster-whisper로 small 모델을 먼저 돌리고 의심 구간만 medium으로 다시 받아 적습니다. 한 모델만 틀리면 인식기 문제일 수 있어서 두 모델이 같은 자리를 똑같이 틀릴 때만 발음 문제로 봅니다. 영어판에서 “hull”이 medium에서도 “hole”로 들려 그 부분을 다시 녹음했습니다. 화면은 클립마다 프레임을 뽑아 4×4 타일 한 장으로 훑습니다.
업로드는 API 감사 조건부터
업로드는 YouTube Data API의 videos.insert로 합니다. API 키로는 못 올리고 OAuth로 채널 소유 계정을 승인해야 합니다. 동의 화면을 테스트 상태로 두면 리프레시 토큰이 7일 만에 만료돼 프로덕션으로 바꿔 뒀습니다. 9월에는 당시 문서 기준으로 감사를 통과하지 않은 프로젝트의 업로드 영상이 비공개로 묶여 감사 양식을 냈습니다. 추가 자료 요청 한 번을 거쳐 4일 만에 승인됐습니다. 그런데 2026년 10월 15일 갱신된 공식 문서에는 확인되지 않은 프로젝트에서 올린 영상도 비공개로 제한되지 않는다고 적혀 있습니다. 지금 시작한다면 이 대목부터 확인해 보세요.
제목이 133자인 패키지가 있어서 100자를 넘으면 스크립트가 멈추게 했습니다. 예약 시각은 영어판이 스튜디오 시청 시간대 히트맵을 보고 정한 05:00·22:00(한국 시간), 일본어판은 그동안 성적이 좋았던 시간대를 따른 08:00·18:00(일본 시간)입니다. 댓글 고정은 API로 안 돼서 스튜디오에서 제가 누릅니다.
숫자로 본 결과
8월 첫 편은 이틀이 걸렸습니다. 10월 초에는 Flow 대기열을 돌려 11편(영어 6, 일본어 5)을 13시간 동안 사람 손 없이 생성했습니다. 10월 21일에는 6편을 6시간 반 만에 예약했습니다. 클립 생성은 8월에 API로 따로 돌려 봤을 때 클립당 약 1,100원어치 크레딧이 들었고 9월부터는 구독에 포함된 Flow 크레딧(720p 8초 클립당 12크레딧)으로 돌려 따로 결제하지 않습니다.
채널 쪽 숫자도 적어 둡니다. 일본어 채널은 9월 기준으로 두 편이 10만 회를 넘었습니다(12.9만, 10.2만). 영어 채널 시청자는 미국이 53~68%, 45세 이상이 약 79%였습니다.
처음 해 보는 분께
- 처음부터 자동화하지 마세요. 제 첫 편도 Flow 화면에 프롬프트를 손으로 붙여 넣었습니다
- 대본 길이는 녹음 전에 기계로 셉니다. 더빙은 한 트랙으로 받습니다
- 영상 프롬프트 끝에는 말소리 금지 문장을 붙이고 화면에 글자로 박힐 만한 연도와 지시어는 뺍니다
- 자막 폭, 컷 길이, 받아 적기처럼 숫자로 잴 수 있는 검사는 숫자로 합니다
- 이 과정을 맡긴 클로드 코드의 기록 방식은 클로드 코드 활용 기록에 정리했습니다
자주 묻는 질문
AI 쇼츠 한 편에 비용이 얼마나 드나요?
첫 편은 약 5천 원으로 계산했습니다. 지금 영상 클립은 구독에 포함된 Flow 크레딧으로 만들어 따로 결제하지 않고 더빙은 타입캐스트 월 요금제 안에서 씁니다. 영어판 한 편이 약 2,000자라 다시 녹음하면 그만큼 더 듭니다. 구독료는 별도입니다.
코딩을 몰라도 쇼츠 자동화가 되나요?
저도 비개발자입니다. 스크립트는 클로드 코드에게 시켜서 받았고 막힌 지점은 스킬 문서에 함정 번호를 붙여 쌓았습니다. 다만 무엇을 검사할지는 사람이 정해야 합니다. 자막이 잘리는 문제도 기존 검사는 놓쳤습니다. 제가 영상을 보다가 찾았습니다.
AI 목소리 티가 나면 시청자가 싫어하지 않나요?
영어 채널 댓글 약 1,600개를 훑어봤더니 목소리 이야기는 5개(0.3%)였고 억양 지적은 0개였습니다. 오히려 지적이 몰린 건 어휘였습니다. 영국식 “sledge”를 지적한 댓글이 4건 나와서 이후 대본은 미국식 단어를 먼저 씁니다.