video-clipgen-higgsfield

🎬 Примеры работы

Что делает простыми словами

Это второй backend для генерации видео и изображений, в дополнение к video-clipgen (прямой Veo через Google Cloud). Higgsfield агрегирует 36 моделей под одной авторизацией и добавляет фичи которых нет у конкурентов:

1. Soul-ID custom avatars — тренируешь лицо на 5-20 фото за 5-15 мин, потом генерируешь то же лицо в любой новой сцене сколько угодно раз (~$0.06 за генерацию)
2. Cinematic Studio — 80+ named camera-presets (dolly_zoom / vertigo / orbit / FPV / arc / crane). Veo камеру не контролирует.
3. 36 моделей через одну auth — Veo, Kling, Wan, Seedance, Sora, Cinematic Studio, Soul Cast, FLUX, Nano Banana Pro, GPT Image 2, Seedream...
4. Image-to-video из статичных brand-ассетов — лучший в классе через Cinematic Studio V2
5. Marketing Studio workflows — DTC ad templates с готовыми pre-set'ами

Bash-обёртки (recommended)

4 ready-made скрипта в ~/.claude/skills/video-clipgen-higgsfield/scripts/:

Полные примеры команд

Тренировка нового аватара

~/.claude/skills/video-clipgen-higgsfield/scripts/train_avatar.sh \
  doctor_basdent \
  ~/Downloads/doctor_01.jpg \
  ~/Downloads/doctor_02.jpg \
  ~/Downloads/doctor_03.jpg \
  ~/Downloads/doctor_04.jpg \
  ~/Downloads/doctor_05.jpg

# → uploads 5 фото → создаёт Soul-ID → polls 5-15 мин → сохраняет в avatars.txt
# Cost: 25 credits ($1.56)

Image с уже обученным аватаром

~/.claude/skills/video-clipgen-higgsfield/scripts/gen_image.sh \
  --prompt "Confident young businessman in modern Almaty office, soft window light, premium suit" \
  --avatar cacb64a4-7e89-4e49-8651-8babcca7916d \
  --aspect 3:4 \
  --output ~/Desktop/portrait.png

# → 1-2 мин, ~$0.06

Cinematic video с product reference

~/.claude/skills/video-clipgen-higgsfield/scripts/gen_video.sh \
  --prompt "Slow cinematic orbit around medical device, premium studio lighting" \
  --image ~/video-projects/apparatus/references/ref_eswt_t9.jpg \
  --aspect 16:9

# → Cinematic Studio V2 (default), 5s, ~$0.47

Veo 3.1 без image

~/.claude/skills/video-clipgen-higgsfield/scripts/gen_video.sh \
  --model veo3_1_lite \
  --prompt "Professional clinic, doctor holding shockwave therapy device, soft natural light"

# → Veo 3.1 Lite через HF credits (~$1.13), вместо Google Cloud billing

Зарегистрированные аватары

Реестр в ~/.claude/skills/video-clipgen-higgsfield/avatars.txt (auto-обновляется через train_avatar.sh). Списать: list.sh avatars.

36 моделей cheat-sheet

Video (16)

Image (20)

Soul-ID flow

Совместимые модели (принимают --avatar / custom_reference_id):

• text2image_soul_v2
• soul_cinematic
• soul_location

НЕ совместимые: Veo, Kling, Wan, Cinematic Studio, FLUX, Nano Banana, Seedance (у них нет hook'а для fine-tuning).

Cost reference (реальные данные)

Setup (one-time)

# Configure npm prefix без sudo
npm config set prefix ~/.npm-global
npm install -g @higgsfield/cli

# Add to PATH (persist в ~/.zshrc)
export PATH="$HOME/.npm-global/bin:$PATH"

# Auth (открывает браузер для OAuth)
higgsfield auth login

# Verify
higgsfield account status
higgsfield model list --video
higgsfield model list --image

Python SDK путь (secondary)

Если нужна интеграция с нашей clips table (чтобы video-director подхватывал клипы как обычные), есть Python-обёртки:

# pip install higgsfield-client  (если ещё не стоит)
python3 ~/.claude/skills/video-clipgen-higgsfield/scripts/higgsfield_generate.py video \
  --project-dir ~/video-projects/apparatus \
  --image references/ref_eswt_t9.jpg \
  --prompt "..." \
  --camera-preset orbit_slow

# → пишет в clips table + project_clips junction

Альтернатива bash-обёрткам (которые сохраняют в Desktop без DB). Выбирай по use case:

• Bash — ad-hoc генерация для preview / клиенту
• Python (с --project-dir) — для production pipeline (Director подхватит автоматически)

Veo через Higgsfield vs Veo напрямую

Цена примерно одинаковая (~$0.50-1.50/клип). Если уже в HF ultra-plan с запасом credits — проще через HF. Если хочешь Google-billing — через video-clipgen.

Место в пайплайне

🌐 Higgsfield Cloud API (Speak lip-sync) NEW

Отдельный billing от Ultra plan! Cloud API (cloud.higgsfield.ai) — pay-as-you-go, требует separate top-up.

Setup

# 1. cloud.higgsfield.ai → Sign up → API Keys → Generate (получаешь key+secret pair)
# 2. cloud.higgsfield.ai/billing → top-up $5-10 (без credits = HTTP 500/403)
# 3. Сохрани keys в shared DB:
sqlite3 ~/video-projects/director.db \
  "INSERT OR REPLACE INTO api_keys VALUES('HIGGSFIELD_API_KEY','<key>');"
sqlite3 ~/video-projects/director.db \
  "INSERT OR REPLACE INTO api_keys VALUES('HIGGSFIELD_API_SECRET','<secret>');"

Auth + endpoint

Authorization: Key <api_key>:<api_secret>
Content-Type: application/json

POST https://platform.higgsfield.ai/{model_id}

Не Bearer, не Basic — custom "Key" prefix с : разделителем.

Lip-sync через Speak endpoint

Bash-wrapper

~/.claude/skills/video-clipgen-higgsfield/scripts/gen_lipsync.sh \
  --image /path/to/face.png \
  --audio /path/to/voiceover.mp3 \
  --prompt "Tech founder speaking confidently in 9:16 portrait"

# Делает:
# 1. mp3 → WAV 16kHz mono
# 2. Резолвит keys из shared DB
# 3. Upload через Python SDK (правильный multipart)
# 4. POST к /higgsfield-ai/speak
# 5. Polls status каждые 5 сек
# 6. Скачивает result в ~/Desktop/hf_speak_<TS>.mp4

Известные model_id для Cloud API

🛍️ Marketing Studio — DTC ads через CLI

Через CLI higgsfield marketing-studio ... — целая система для DTC-style рекламы:

Product Photoshoot — 10 mode-specific промптов

higgsfield product-photoshoot create \
  --mode lifestyle_scene \
  --aspect_ratio 1:1 \
  --prompt "T608 in modern Almaty clinic" \
  --image product.jpg \
  --count 3

Modes: product_shot, lifestyle_scene, moodboard_pin, hero_banner, social_carousel, ad_creative_pack, virtual_model_tryout, conceptual_product, closeup_product_with_person, restyle.

🚧 Web-only фичи (не через API)

🪲 Известные проблемы / gotchas (всё реально проверено)

Pairs with

• video-clipgen — companion (Veo напрямую через Google)
• video-director — consumes higgsfield-клипы идентично Veo-клипам
• video-analyzer — re-analyze higgsfield-клипы для richer descriptions
• video-voiceover — нарратив над silent higgsfield-клипами
• creative-poster — alternative для статичных Soul-портретов

References

• @higgsfield/cli — official CLI (v0.1.40)
• @higgsfield/client — Node.js SDK
• higgsfield-client — Python SDK
• higgsfield.ai — dashboard + pricing