video-screencast

Что делает простыми словами

Это монтажёр для случая «я записал себя на телефон / Screen Studio, переписал несколько раз каждое предложение, и хочу чтобы оставили только финальные дубли без пауз». Алгоритм:

1. Извлекает аудио из сырого .mp4 → моно WAV 16kHz
2. silencedetect через FFmpeg (порог -32dB, мин 0.5с тишины) → нарезка на speech-сегменты
3. На каждом сегменте отдельно гонит Whisper (с condition_on_previous_text=False чтобы предыдущая транскрипция не влияла)
4. Каждый сегмент фаззи-мэтчит на предложения из канонического сценария (word overlap)
5. Если на одно предложение несколько дублей — оставляет последний (по позиции во времени)
6. Формирует cut plan JSON: какие сегменты kept: true
7. FFmpeg trim + concat по cut plan + voice cleanup chain → cleaned.mp4
8. Опционально: pad до 1080×1920 если запись не 9:16 (Screen Studio часто экспортирует 864×1080 = 4:5)

Пайплайн

Voice cleanup chain

Стандартная цепочка фильтров для реального микрофона (НЕ для ElevenLabs TTS — там аудио уже чистое):

highpass=f=80,
afftdn=nf=-25,
acompressor=threshold=-18dB:ratio=3:attack=20:release=200:makeup=2,
loudnorm=I=-16:TP=-1.5:LRA=11

Скрипты

Команды

Шаг 1: детект дублей + cut plan

python ~/.claude/skills/video-screencast/scripts/detect_takes.py \
  --video raw_recording.mp4 \
  --canonical-text "$(cat script.txt)" \
  --whisper-model small \
  --silence-threshold -32dB \
  --silence-min 0.5 \
  --min-segment 0.5 \
  --output cut_plan.json

Шаг 2: ручной review (рекомендуется для сложных записей)

# Открывает cut_plan.json в $EDITOR
# Юзер вручную флипает "kept": true/false для проблемных сегментов
$EDITOR cut_plan.json

Шаг 3: cut + clean + pad

python ~/.claude/skills/video-screencast/scripts/cut_and_clean.py \
  --cut-plan cut_plan.json \
  --output cleaned.mp4 \
  --voice-cleanup \
  --pad-to 1080x1920

End-to-end (всё одной командой)

bash ~/.claude/skills/video-screencast/scripts/render_pipeline.sh \
  --video raw_recording.mp4 \
  --canonical-text script.txt \
  --music ~/video-projects/bas_dent/music/calm_piano.mp3 \
  --project-dir ~/video-projects/bas_dent \
  --output final.mp4

Captions integration

После cut_and_clean идёт video-captions. Для talking-head дефолтный вариант — monochrome scale-pop (анимация размером, без вспышки цвета):

python ~/.claude/skills/video-captions/scripts/remotion_captions.py \
  --video cleaned.mp4 \
  --text "$(cat canonical.txt)" \
  --style karaoke \
  --highlight-color "#FFFFFF" \
  --font-size 64 \
  --project-dir ~/video-projects/bas_dent \
  --output captioned.mp4

Music overlay

Для финального микса — video-director overlay_music.py. Для talking-head дефолтная громкость 0.20 слишком громко над живым голосом — используем 0.08:

python ~/.claude/skills/video-director/scripts/overlay_music.py \
  --video captioned.mp4 \
  --music ~/video-projects/bas_dent/music/track.mp3 \
  --volume 0.08 \
  --output final.mp4

Aspect ratio padding

Screen Studio часто экспортирует не стандартный aspect (например 864×1080 = 4:5). Для downstream Remotion captions требуется 1080×1920, поэтому cut_and_clean.py --pad-to 1080x1920:

• Скейлит видео по ширине до 1080
• Паддит сверху и снизу чёрным до 1920 высоты
• На выходе чистый 9:16 готовый для captions

Detection tuning

detect_takes.py дефолты подобраны для «нормального» голоса в комнатных условиях. Подкручивать когда:

Cut Plan JSON формат

{
  "source": "/path/to/raw.mp4",
  "canonical_text": "...",
  "voice_cleanup": true,
  "segments": [
    {"start": 46.30, "end": 49.85, "sentence_idx": 0, "take": 3, "kept": true,  "text": "..."},
    {"start": 21.47, "end": 24.71, "sentence_idx": 0, "take": 1, "kept": false, "text": "..."},
    {"start": 30.10, "end": 33.42, "sentence_idx": 0, "take": 2, "kept": false, "text": "..."},
    {"start": 52.00, "end": 56.20, "sentence_idx": 1, "take": 1, "kept": true,  "text": "..."}
  ]
}

Для предложения sentence_idx: 0 было 3 take'а — оставлен только последний (take: 3, по времени 46.30-49.85). Остальные помечены kept: false.

Когда использовать

• Юзер экспортировал .mp4 из Screen Studio / Loom / телефонной камеры и перезаписывал предложения по несколько раз
• Есть канонический текст сценария — запись следует ему с ошибками и рестартами
• Юзер говорит: «убери паузы», «оставь последние дубли», «обработай запись», «смонтируй из записи»

Input contract:

1. Raw .mp4 (любой формат, любой aspect)
2. Canonical script text (тот текст что юзер хотел озвучить)

Output contract:

• Чистый .mp4 где удалены тишины и более ранние дубли
• Voice обработан: highpass 80Hz → afftdn → compressor → loudnorm -16 LUFS / TP -1.5
• Опционально паддинг до 1080×1920 для downstream captions

Gotchas и tips

Место в пайплайне

Финальный mp4 проходит те же captions и music-overlay шаги что и TTS-вариант, но с другими параметрами (monochrome scale-pop captions, volume 0.08 для музыки). По желанию можно прогнать через video-reviewer для финального QA.