video-captions

Что делает простыми словами

Это «титровальщик». На вход: видео с озвучкой + текст копирайтера. На выход: то же видео, но с анимированными субтитрами, где активное слово подсвечивается синхронно с речью. Алгоритм:

1. Прогоняет аудио через Whisper → получает word-level timestamps (start/end на каждое слово)
2. Берёт оригинальный текст копирайтера (не транскрипт Whisper!) и подставляет в найденные тайминги
3. Группирует слова в фразы (2-4 на строку для karaoke / 1 для pop)
4. Генерирует ASS-файл (Advanced SubStation Alpha) с karaoke-тегами \kf для подсветки
5. FFmpeg либо Remotion прожигает субтитры в кадры → готовое .mp4

Два рендерера

Стили субтитров

Команды

Основной вызов (Remotion-режим, дефолт)

python ~/.claude/skills/video-captions/scripts/remotion_captions.py \
  --video assembled_video.mp4 \
  --text "$(cat copywriter_original.txt)" \
  --style karaoke \
  --language ru \
  --model small \
  --project-dir ~/video-projects/bas_dent \
  --output captioned.mp4

FFmpeg fallback (быстрый, ASS burn-in)

python ~/.claude/skills/video-captions/scripts/local_captions.py \
  --video assembled_video.mp4 \
  --text "$(cat copywriter_original.txt)" \
  --style karaoke \
  --language ru \
  --model small \
  --project-dir ~/video-projects/bas_dent

Monochrome scale-pop (для talking-head)

python ~/.claude/skills/video-captions/scripts/remotion_captions.py \
  --video cleaned_talking_head.mp4 \
  --text "$(cat canonical.txt)" \
  --style karaoke \
  --highlight-color "#FFFFFF" \
  --font-size 64 \
  --project-dir ~/video-projects/bas_dent \
  --output captioned.mp4

Hook overlay (анимированный заголовок на первой сцене)

python ~/.claude/skills/video-captions/scripts/hook_overlay.py \
  --video assembled_video.mp4 \
  --text "$(cat voiceover_full.txt)" \
  --voiceover voiceover.mp3 \
  --hook-style neon \
  --sfx-file ~/.claude/skills/video-soundfx/sfx/text/pop_bright.mp3 \
  --project-dir ~/video-projects/bas_dent \
  --language ru

Пропустить captions во время hook-сцены

python ~/.claude/skills/video-captions/scripts/remotion_captions.py \
  --video video_with_hook.mp4 \
  --text "..." \
  --style karaoke \
  --skip-until 4.9 \
  --project-dir ~/video-projects/bas_dent

Полные опции

--style karaoke|bold|minimal|pop|tiktok  # анимация (default: karaoke)
--font "Arial Black"                     # имя шрифта
--font-size 60                           # размер в пикселях
--highlight-color "&H0000FFFF"            # ASS-цвет активного слова (жёлтый)
--primary-color "&H00FFFFFF"              # ASS-цвет обычного текста (белый)
--model tiny|base|small|medium|large     # Whisper-модель (default: small)
--language ru|en|kk|uk                   # язык для Whisper hint
--text "..."                             # ОРИГИНАЛЬНЫЙ текст копирайтера (обязательно!)
--skip-until 4.9                         # пропустить субтитры до X сек (для hook overlay)

Hook templates (15 пресетов)

Hook overlay — анимированный заголовок на первой сцене ролика. Слова влетают по одному со spring-анимацией + SFX. Применяется только к первому предложению из voiceover-текста.

Hook overlay автоматически:

1. Достаёт первое предложение из voiceover-текста
2. Берёт word-level timestamps через Whisper
3. Классифицирует слова на «key» (большие, цветные) и «filler» (мелкие, белые)
4. Рендерит с per-word spring-анимациями + опциональный SFX pop
5. Возвращает hook_end_sec для --skip-until в шаге captions

Скрипты

Цвета в ASS-формате

ASS использует &HAABBGGRR (alpha, blue, green, red — обратный порядок к RGB):

Whisper-модели

Первый запуск качает модель (~461MB для small) в ~/.cache/whisper/ — потом из кэша.

Конфиг из project.yaml

Captions читают из ~/video-projects/<project>/project.yaml:

language: ru                      # язык для Whisper hint
captions:
  style: karaoke                  # karaoke|bold|minimal|pop|tiktok
  font: "Arial Black"             # имя шрифта (опционально)
  font_size: 60                   # размер в пикселях
  highlight_color: "&H0000FFFF"   # жёлтый (default для karaoke)
  primary_color: "&H00FFFFFF"     # белый
  model: small                    # Whisper-модель

Gotchas и tips

🎬 Примеры работы

Место в пайплайне

Также используется в screencast-пайплайне для talking-head контента — обычно с --style karaoke --highlight-color "#FFFFFF" (monochrome scale-pop):