클로드로 영상 편집팀 돌리기: 릴스 컷편집·자막·효과음·자료화면 풀 자동화 가이드

릴스나 쇼츠 같은 숏폼 콘텐츠를 제작할 때 반복되는 컷편집, 자막 타이핑, 효과음 삽입, 자료 화면 수집 작업은 많은 시간과 노동력을 소모합니다. Claude 데스크톱 앱의 Code 기능과 오픈소스 도구(Whisper, pyCapCut, Openverse)를 결합하면, 원본 촬영 영상 하나로 캡컷(CapCut) 타임라인 초안을 일괄 생성하는 나만의 AI 영상 편집팀을 구축할 수 있습니다. 사전 환경 세팅부터 4단계 파이프라인, 한 줄 프롬프트로 자동화하는 스킬(Skill) 등록 방법까지 정리합니다.

1. 3D 인터랙티브 캡컷 멀티트랙 아키텍처

클로드 영상 편집팀은 촬영본 원본 영상 1개를 입력받아 캡컷 타임라인 내 5개 트랙(자료 화면, 장면 전환, 자막, 영상 본체, 효과음)을 입체적으로 동시 구성합니다.

2. 필수 사전 환경 세팅 (최초 1회)

자동화 파이프라인을 구동하려면 macOS 환경의 Claude 데스크톱 앱과 영상 처리 오픈소스 도구를 준비해야 합니다.

1. Claude 데스크톱 앱 설치 및 폴더 연결:
   • Claude 공식 다운로드 페이지(claude.com/download)에서 macOS용 앱을 다운로드하여 설치합니다.
   • Google 계정 등으로 로그인한 후 앱 상단의 Code 탭으로 이동하여 작업에 사용할 로컬 폴더를 지정합니다.
2. 도구 일괄 설치 프롬프트 실행:

   Code 탭에 아래 프롬프트를 입력하면 필요한 패키지가 일괄 설치됩니다.

   릴스 편집에 필요한 도구를 설치해줘.
   
   1. Homebrew가 없으면 먼저 설치해.
   2. brew로 yt-dlp, ffmpeg, whisper-cpp 설치.
   3. whisper 모델 ggml-large-v3-turbo-q5_0.bin 을 ~/.cache/whisper 에 받아.
    (https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-large-v3-turbo-q5_0.bin)
   4. ~/.pycapcut 에 파이썬 가상환경을 만들고 pycapcut 설치.
   5. 맥 비밀번호가 필요한 단계는 내가 터미널에 직접 붙여넣을 명령어를 알려줘.
   6. 다 끝나면 설치된 버전을 확인하고 "설치 끝!"이라고 말해.

3. Claude in Chrome 확장 프로그램 설치 및 화면 녹화 권한 활성화:
   • Chrome 웹스토어(claude.com/ko/claude-in-chrome)에서 Claude in Chrome을 설치하고 동일 계정으로 로그인한 뒤 상단 아이콘(🧩)에서 고정(📌)합니다.
   • macOS 시스템 권한 설정: [시스템 설정 ➔ [개인정보 보호 및 보안 ➔ [화면 및 시스템 오디오 녹음에서 Claude 권한을 활성화합니다.

3. 4단계 자동 편집 파이프라인

준비가 완료되면 클로드가 4단계에 걸쳐 캡컷 프로젝트 파일을 생성합니다. 작업 중 파일 충돌 및 덮어쓰기 방지를 위해 캡컷 프로그램에서 해당 프로젝트 창은 반드시 닫아둔 상태로 진행해야 합니다.

1) 컷편집 및 자막 생성

Whisper AI 모델이 음성을 인식하여 불필요한 구간을 정제하고 자막을 만듭니다.

• NG 및 군말 제거: 같은 말을 다시 한 NG는 마지막 발화만 유지하며, "음", "어", "다시" 등 추임새와 말하다 끊긴 부분, 0.4초 이상의 침묵 구간을 자동 제거합니다.
• 자막 자동화: 모바일 숏폼 가독성에 맞춰 한 줄 12자 내외로 자막을 생성하고 문맥에 맞게 오타를 보정합니다.
• 캡컷 초안 생성: pyCapCut 라이브러리를 통해 1080×1920 세로 비율의 프로젝트 초안("릴스_러프컷")을 캡컷 초안 폴더(~/Movies/CapCut/User Data/Projects/com.lveditor.draft)에 생성합니다.

2) 타이밍별 효과음(SFX) 자동 삽입

영상 자막의 문장 시작 지점을 분석하여 무료 음원 라이브러리인 Openverse(CC0 / CC BY)에서 적합한 효과음을 다운로드해 타임라인에 배치합니다.

• 효과음 룰: 30초 기준 4~8개를 배치합니다 (첫 문장: Whoosh, 반전·숫자 강조: Pop 또는 Ding, 목록 시작: Click, 주제 전환: Swoosh, 댓글 유도: Ding).
• 싱크 및 볼륨: 문장 시작 약 0.05초 전에 배치하며, 음성 전달력을 위해 "효과음" 오디오 트랙의 볼륨을 50%로 설정합니다. 로컬 폴더(~/릴스효과음)의 음원을 우선 사용하고, CC BY 음원은 영상 캡션용 출처 문구를 자동 작성합니다.

3) 이야기 흐름에 맞춘 장면 전환(Transition)

단조로운 화면 구성을 방지하기 위해 이야기 전환 지점에 빠른 트랜지션을 삽입합니다.

• 전환 규칙: 30초 기준 2~4곳(훅→본론, 목록 전환, 댓글 유도)에 0.3초 안팎의 전환(pyCapCut TransitionType)을 적용합니다.
• 이탈 방지: 동일한 전환 효과를 반복하지 않으며, 훅 직후에는 빠른 줌이나 휙 넘김 느낌을 배치합니다.

4) 크롬 연동 배경 자료 화면 자동 녹화

대본에서 웹사이트, 앱, 통계 수치, 결과물을 언급하는 문장(3~5곳)을 선별하여 화면을 녹화합니다.

• 진행 방식: 보여줄 화면 목록을 먼저 제시하고 사용자 승인(OK)을 받은 후 진행합니다.
• 녹화 및 배치: Chrome 브라우저로 해당 페이지를 열고 screencapture -v 명령어로 3~5초간 천천히 스크롤하며 녹화합니다. 녹화본은 ~/릴스자료에 저장한 뒤, 화면 상단 절반 영역의 "자료 화면" 오버레이 트랙으로 올립니다. 단, 로그인·결제·개인정보 화면은 제외합니다.

4. 핵심 자동화 단계별 세부 기준

5. '편집팀 스킬(Skill)' 등록으로 원스톱 자동화 구현

1~4단계를 매번 따로 지시할 필요 없이, Claude의 스킬(Skill) 기능에 업무 매뉴얼로 등록하면 명령어 한 줄로 전 과정을 실행할 수 있습니다.

스킬 등록 프롬프트 (최초 1회 등록)

Claude Code 탭에 아래 스크립트를 입력해 SKILL.md 파일을 생성합니다.

아래 내용 그대로 ~/.claude/skills/reels-edit-team/SKILL.md 파일을 만들어줘. 다 만들면 "스킬 설치 끝"이라고만 말해.

---
name: reels-edit-team
description: 촬영한 세로 영상 파일을 받아 캡컷 초안으로 컷편집·자막·효과음·장면 전환·배경 자료 화면까지 한 번에 편집한다. 트리거: 영상 파일 + "편집해줘", "릴스 편집", "편집팀".
---

# 릴스 편집팀

## 규칙
- 캡컷 초안은 ~/.pycapcut 에 설치된 pycapcut으로 만든다. 초안 폴더: ~/Movies/CapCut/User Data/Projects/com.lveditor.draft
- 시작 전에 "캡컷에서 이 프로젝트를 닫아주세요"라고 말한다.
- 단계마다 무엇을 했는지 짧은 표로 보여준다. 자료 화면 목록만 내 OK를 받고 진행하고, 나머지는 멈추지 않고 끝까지 간다.

## 1. 컷편집 + 자막
- whisper-cli(모델 ~/.cache/whisper/ggml-large-v3-turbo-q5_0.bin, 한국어)로 받아쓴다.
- 같은 말을 다시 한 NG는 마지막 것만 남긴다. "음·어·다시" 같은 군말, 말하다 끊긴 부분, 0.4초 넘는 침묵은 뺀다. 뺀 부분은 이유와 함께 표로.
- 한 줄 12자 안팎 자막. 오타는 문맥으로 고친다(예: 컵 편집 → 컷편집, 리스 → 릴스).
- 초안 이름 "릴스_러프컷", 1080x1920, 영상 + 자막 트랙.

## 2. 효과음
- 30초 기준 4~8개: 첫 문장 whoosh / 반전·숫자 강조 pop 또는 ding / 목록 시작 click / 주제 바뀔 때 swoosh / 댓글 유도 ding. 문장 시작 0.05초 전.
- ~/릴스효과음 폴더에 맞는 이름의 파일이 있으면 먼저 쓰고, 없으면 https://api.openverse.org/v1/audio/?q=검색어&license=cc0,by 에서 4초 이하 첫 결과를 받는다.
- "효과음" 오디오 트랙, 볼륨 50%. CC BY 소리는 캡션용 출처 문구를 만든다.

## 3. 장면 전환
- 이야기가 바뀌는 지점 30초 기준 2~4곳에 0.3초 안팎 전환(pycapcut TransitionType). 같은 전환 반복 금지.

## 4. 배경 자료 화면
- 사이트·앱·숫자·결과물을 말하는 문장 3~5곳을 골라 보여줄 화면 목록을 먼저 보여주고 OK를 받는다.
- 크롬으로 페이지를 열고 screencapture -v 로 3~5초씩 녹화하며 천천히 스크롤한다. ~/릴스자료 에 저장.
- 세로에 맞게 잘라 해당 문장 시간에 "자료 화면" 트랙으로 올린다(화면 위쪽 절반).
- 로그인·결제·개인정보가 보이는 화면은 찍지 않는다.

## 5. 마무리
- 초안 저장 후 "캡컷을 다시 열어주세요"라고 알려주고, 전체 작업 요약(뺀 구간 수, 자막 줄 수, 효과음·전환·자료 화면 개수, 걸린 시간)을 보여준다.

실전 실행 방법

스킬 설치가 완료되면 클로드를 새 대화 창으로 다시 열고, 파일 경로와 함께 한 줄 지시만 입력하면 됩니다.

바탕화면의 촬영본.mp4 편집해줘.

초안 생성이 끝나면 캡컷을 실행하여 생성된 프로젝트를 열고, 최종 자막 오타, 효과음 볼륨, 자료 화면의 위치만 확인한 후 내보내기(Export)할 수 있습니다.

6. 실전 팁 및 문제 해결 (FAQ)

• 캡컷에 초안 프로젝트가 나타나지 않을 때: 작업 도중 캡컷 프로그램이 켜져 있으면 데이터가 덮어씌워질 수 있으므로, 캡컷을 완전히 종료했다가 다시 실행합니다.
• 자료 화면 녹화가 작동하지 않을 때: macOS [시스템 설정의 [화면 및 시스템 오디오 녹음에서 Claude 권한이 켜져 있는지 확인하고, Chrome 브라우저 확장 프로그램 로그인을 점검합니다.
• 효과음 개수 및 볼륨 조절: SKILL.md 파일 규칙 내 '30초 기준 4~8개', '볼륨 50%' 수치를 수정하면 다음 편집부터 그대로 반영됩니다.
• 나만의 자막 스타일 고정: SKILL.md 파일 맨 아래에 '자막: 흰 글씨, 주황 테두리, 볼드체'와 같은 디자인 가이드를 추가하면 일관된 스타일이 유지됩니다.

결론

클로드 기반 영상 편집 자동화는 1인 크리에이터가 겪는 반복적인 편집 노동을 대폭 덜어줍니다. NG 컷팅, 자막 타이핑, 효과음 배치, 자료 화면 수집 작업을 AI에 위임함으로써 제작자는 콘텐츠 기획, 촬영, 메시지 전달에 온전히 집중할 수 있습니다.