PIRAXIS

Работа и творчествоWork and Creativity

Видеоредактор УсадьбыEstate Video Editor

Внутри «Усадьбы» PIRAXIS такой видеоредактор станет органичным расширением модуля «Студия», напрямую связанным с локальной Галереей и резидентной памятью CMRS. В отличие от обычных монтажных программ, где нужно вручную перебирать гигабайты исходников и часами сидеть на таймлайне, здесь монтаж объединяет классический профессиональный инструментарий с работой домашнего ИИ-экипажа.

Вот как этот видеоредактор устроен изнутри.

1. Прямая связь с Галереей, Календарем и «Живым дневником»

  • Смысловой подбор материалов вместо поиска по папкам. Пользователь не ищет файлы по датам и именам вроде IMG_4821.MP4. Достаточно сказать или выбрать фильтр: «Собери все лучшие кадры с поездки в горы, где есть Марк, улыбки и закат» — редактор сразу подтягивает проиндексированные фото, видео и голосовые заметки из локальной галереи.
  • Сюжетная канва из дневника. Экипаж может подложить в основу ролика события из «Живого дневника» и календаря, автоматически выстроив хронологию фильма и предложив титры по реальным датам и местам.

2. Два режима управления: Профессиональный пульт и Режиссура через экипаж

  • Классический нелинейный монтаж (NLE). Полноценный многодорожечный таймлайн для ручной точной работы: покадровая обрезка, управление скоростью (Speed Ramping), работа с ключевыми кадрами (Keyframes), цветокоррекция (LUT, кривые, цветовой круг), маски, стабилизация картинки и хромакей.
  • Монтаж голосом и поручениями. Пользователь может управлять сборкой как режиссер: «Убери все дубли, где я запинаюсь, подрежь паузы, наложи плавный переход на смене локаций и сделай теплую пленочную цветокоррекцию». Агенты выполняют черновую склейку, а человек при желании доводит детали руками.

3. Передовые ИИ-инструменты локально на железе станции

Поскольку станция располагает мощными локальными ресурсами (например, 192 ГБ объединенной памяти), все тяжелые нейросетевые эффекты работают прямо дома без отправки семейных видео в облако:

  • Умная ротоскопия и работа со слоями. Выделение людей или объектов без зеленого экрана в один клик, замена фона, размытие заднего плана (портретное боке для видео) и трекинг объектов для привязки титров или эффектов.
  • Работа со звуком студийного уровня. Автоматическое удаление шума ветра и улицы, выравнивание громкости голоса, генерация точных субтитров с анимацией, а также синтез дикторской озвучки (в том числе голосом самого пользователя или одного из жителей Усадьбы).
  • Локальная генерация музыки и вставок. Прямо в модуле «Студия» станция может сгенерировать фоновую музыку без авторских прав, точно подогнанную под ритм склеек (Beat Sync), или дорисовать недостающий переходный кадр.
  • Апскейл и реставрация старых архивов. Улучшение четкости, удаление зерна и повышение частоты кадров для старых семейных записей из архива.

4. Совместная работа экипажа над фильмом

В сборке фильма участвуют разные роли станции:

  • Творческий агент (в «Студии»): Предлагает варианты монтажа, темп, музыку, титры и визуальные эффекты.
  • Критик / Проверяющий: Отсматривает черновой монтаж перед финальным рендером — ловит обрезанные фразы, резкие скачки громкости, неудачные склейки или случайно попавшие в кадр лишние фрагменты.
  • Турбо · Печь (по разрешению пользователя): Если нужно отрендерить тяжелый 4K-проект со сложными нейросетевыми эффектами за пару минут, станция по команде пользователя может подключить внешние вычислительные мощности, сохранив готовый фильм обратно в закрытую библиотеку Усадьбы.

5. Неразрушающий монтаж и квитанции версий

Любой смонтированный фильм хранится как легкий файл проекта со ссылками на исходники в архиве (исходные видео и фото никогда не перезаписываются и не портятся). Каждая версия сборки фиксируется квитанцией, поэтому в любой момент можно откатиться к вчерашнему варианту монтажа или сделать из одного длинного семейного фильма короткую вертикальную версию для отправки близким.

Техническая архитектура видеоредактора

Техническая архитектура такого видеоредактора внутри PIRAXIS строится по принципу разделения детерминированного монтажного движка и локальных нейросетевых воркеров, связанных между собой через единый JSON-проект. Это позволяет агентам «Студии» управлять склейкой так же легко, как они работают с документами в Obsidian, а при необходимости отдавать проект в руки пользователя для тонкой ручной правки.

Вот как эта архитектура раскладывается на пять взаимосвязанных уровней:

1. Декларативный формат проекта (JSON-таймлайн)

Вместо закрытого бинарного формата монтаж описывается в виде открытого структурированного файла проекта (по стандарту OpenTimelineIO или собственного JSON-манифеста PIRAXIS).

  • Почему это важно для ИИ: Языковая модель (Агент-режиссер) не работает с тяжелыми видеофайлами напрямую — она генерирует и редактирует легкий текстовый список решений (EDL): «взять фрагмент video_01.mp4 с 00:12 по 00:18, наложить LUT warm_film, добавить переход crossfade 0.5 сек».
  • Неразрушающий монтаж и квитанции: Оригиналы из Галереи никогда не изменяются. Каждая правка таймлайна фиксируется как новая версия JSON-файла с привязкой к квитанции, что позволяет мгновенно откатить любое действие агента.

2. Движок сборки и рендера (Монтажный движок)

За превращение JSON-таймлайна в реальное видео отвечает проверенный локальный движок с аппаратным ускорением:

  • Связка MLT Framework + FFmpeg: Открытый промышленный стандарт нелинейного монтажа (используется, например, в Shotcut и Kdenlive). Он поддерживает многодорожечный монтаж, ключевые кадры (keyframes), цветовые кривые, хромакей, наложение титров и плавные переходы.
  • Аппаратный рендер и режим «Турбо · Печь»: При работе на станции (например, AMD Ryzen AI Halo или Mac Studio) рендер идет через аппаратные кодеки (VA-API / VideoToolbox / NVENC). Для легкого предпросмотра на экране создаются быстрые прокси-копии в низком разрешении, а финальный экспорт в 4K/60fps при разрешении пользователя может уходить на внешний узел «Турбо».

3. Локальный конвейер ИИ-инструментов (Modular AI Workers)

Поскольку у станции большой объем объединенной памяти, тяжелые нейросетевые эффекты запускаются как изолированные локальные микросервисы по запросу:

  • Распознавание речи и субтитры: Whisper (faster-whisper) — локально строит поминутную транскрипцию всех видео из галереи. Это позволяет экипажу монтировать видео «по тексту»: удалять паузы, слова-паразиты и неудачные дубли просто вырезая куски из текстовой расшифровки.
  • Умная ротоскопия и маски: SAM 2 (Segment Anything Model 2) — выделяет людей, животных или объекты на видео без зеленого экрана в один клик, позволяя размыть фон, заменить его или пустить титры за спиной человека.
  • Реставрация и апскейл архивов: Real-ESRGAN (повышение четкости старых семейных записей) и RIFE (плавная достройка кадров с 24/30 до 60 fps).
  • Работа со звуком и музыкой: Demucs или DeepFilterNet (очистка голоса от шума ветра и улицы с разделением на дорожки речи и фона), F5-TTS / XTTS (локальный синтез дикторской озвучки) и MusicGen / AudioCraft (генерация фоновой музыки без авторских прав, синхронизированной с ритмом склеек).

4. Индексатор Галереи и связь с CMRS

Чтобы редактор понимал запросы вроде «найди все кадры с улыбками на закате в горах», фоновый индексатор заранее пропускает медиатеку через локальные модели:

  • Визуальные эмбеддинги (CLIP / SigLIP): Превращают каждый кадр в смысловой вектор для мгновенного поиска по описанию сцен, эмоций и освещения.
  • Локальное распознавание лиц (InsightFace): Группирует людей по лицам без отправки биометрии в облако, связывая их с контактами из библиотеки Усадьбы.
  • Метаданные EXIF + Календарь: Сопоставляют координаты и дату съемки с событиями из «Живого дневника», автоматически собирая тематические подборки.

5. Контур взаимодействия Экипажа (Оркестрация сборки)

Работа над фильмом внутри «Студии» делится на три четких этапа между агентами:

  • Сборка черновика (Агент-режиссер): По текстовому сценарию или событию из дневника ищет нужные клипы в индексе галереи, сверяет длительность с битами аудиодорожки и формирует первый вариант JSON-таймлайна.
  • Автоматический ОТК (Критик / Проверяющий): Прогоняет техническую проверку готового таймлайна до рендера — проверяет, нет ли «черных кадров» на стыках, не обрезаны ли слова на середине по таймкодам Whisper, нет ли перегруза по громкости (LUFS) и не попали ли в ролик файлы с пометкой приватности.
  • Интерфейс ручной доводки (Web UI / Canvas): На экране пользователя открывается визуальный таймлайн (на базе WebGL/Canvas), где можно подвигать склейки мышкой, покрутить ползунки цветокоррекции или дать голосовую команду на пересборку конкретного фрагмента.

Inside the PIRAXIS Estate, this video editor becomes a natural extension of the Studio module, directly connected to the local Gallery and the resident CMRS memory. Unlike ordinary editing software, where you have to sort through gigabytes of footage by hand and spend hours on the timeline, here editing combines a classic professional toolkit with the work of the home AI crew.

Here is how the video editor works inside.

1. Direct connection to the Gallery, Calendar and Living Diary

  • Selection by meaning instead of searching through folders. The user doesn't hunt for files by date or by names like IMG_4821.MP4. It's enough to say it or pick a filter: "Gather all the best shots from the mountain trip with Mark, smiles and the sunset", and the editor immediately pulls the indexed photos, videos and voice notes from the local gallery.
  • A storyline from the diary. The crew can build a clip around events from the Living Diary and the calendar, automatically arranging the film's chronology and suggesting titles based on real dates and places.

2. Two modes of control: the professional console and directing through the crew

  • Classic non-linear editing (NLE). A full multi-track timeline for precise manual work: frame-accurate trimming, speed control (Speed Ramping), keyframes, colour grading (LUTs, curves, colour wheels), masks, image stabilisation and chroma key.
  • Editing by voice and by instructions. The user can direct the cut: "Remove all the takes where I stumble, trim the pauses, add a smooth transition at each change of location and give it a warm film-style grade." The agents do the rough cut, and the person can fine-tune the details by hand if they wish.

3. Advanced AI tools, locally on the station's hardware

Because the station has powerful local resources (for example, 192 GB of unified memory), all the heavy neural effects run right at home, without sending family videos to the cloud:

  • Smart rotoscoping and layers. One-click selection of people or objects without a green screen, background replacement, background blur (portrait bokeh for video) and object tracking to attach titles or effects.
  • Studio-grade sound. Automatic removal of wind and street noise, voice level matching, accurate animated subtitles, and synthesised voice-over narration (including in the user's own voice or the voice of one of the Estate's residents).
  • Local generation of music and inserts. Right in the Studio module the station can generate royalty-free background music fitted precisely to the rhythm of the cuts (Beat Sync), or fill in a missing transition frame.
  • Upscaling and restoration of old archives. Sharper images, grain removal and higher frame rates for old family recordings from the archive.

4. The crew working on the film together

Different station roles take part in assembling a film:

  • Creative agent (in the Studio): Suggests editing options, pacing, music, titles and visual effects.
  • Critic / Reviewer: Watches the rough cut before the final render and catches clipped phrases, sudden jumps in volume, bad cuts or stray fragments that slipped into the frame.
  • Turbo · Furnace (with the user's permission): When a heavy 4K project with complex neural effects needs to be rendered in a couple of minutes, the station can, on the user's command, connect external computing power and save the finished film back into the Estate's closed library.

5. Non-destructive editing and version receipts

Every edited film is stored as a lightweight project file with links to the source material in the archive (original videos and photos are never overwritten or damaged). Each version of the cut is recorded with a receipt, so at any moment you can roll back to yesterday's edit, or turn one long family film into a short vertical version to send to loved ones.

Technical architecture of the video editor

The technical architecture of this video editor inside PIRAXIS separates a deterministic editing engine from local neural workers, linked together through a single JSON project. This lets the Studio agents manage the edit as easily as they work with documents in Obsidian, and, when needed, hand the project to the user for fine manual adjustment.

The architecture breaks down into five interconnected levels:

1. Declarative project format (JSON timeline)

Instead of a closed binary format, the edit is described as an open, structured project file (following the OpenTimelineIO standard or PIRAXIS's own JSON manifest).

  • Why this matters for AI: The language model (the Director agent) does not work with heavy video files directly. It generates and edits a lightweight text edit decision list (EDL): "take the segment of video_01.mp4 from 00:12 to 00:18, apply the LUT warm_film, add a 0.5-second crossfade transition."
  • Non-destructive editing and receipts: Originals from the Gallery are never changed. Every timeline edit is recorded as a new version of the JSON file linked to a receipt, so any action by an agent can be rolled back instantly.

2. Assembly and render engine (the editing engine)

A proven local engine with hardware acceleration turns the JSON timeline into real video:

  • MLT Framework + FFmpeg: An open, industry-standard non-linear editing stack (used, for example, in Shotcut and Kdenlive). It supports multi-track editing, keyframes, colour curves, chroma key, title overlays and smooth transitions.
  • Hardware rendering and the "Turbo · Furnace" mode: On the station (for example, AMD Ryzen AI Halo or Mac Studio), rendering runs through hardware codecs (VA-API / VideoToolbox / NVENC). For light on-screen preview, fast low-resolution proxy copies are created, while the final 4K/60fps export can, with the user's permission, go out to an external "Turbo" node.

3. Local AI tool pipeline (Modular AI Workers)

Because the station has a large amount of unified memory, heavy neural effects run on demand as isolated local microservices:

  • Speech recognition and subtitles: Whisper (faster-whisper) builds a timed transcript of every video in the gallery, locally. This lets the crew edit video "by text": removing pauses, filler words and failed takes simply by cutting pieces out of the transcript.
  • Smart rotoscoping and masks: SAM 2 (Segment Anything Model 2) selects people, animals or objects in video in one click without a green screen, so the background can be blurred or replaced, or titles placed behind a person.
  • Archive restoration and upscaling: Real-ESRGAN (sharpening old family recordings) and RIFE (smoothly interpolating frames from 24/30 up to 60 fps).
  • Sound and music: Demucs or DeepFilterNet (cleaning the voice of wind and street noise, separating it into speech and background tracks), F5-TTS / XTTS (local voice-over synthesis) and MusicGen / AudioCraft (royalty-free background music synchronised to the rhythm of the cuts).

4. Gallery indexer and the link to CMRS

So that the editor understands requests like "find all the shots with smiles at sunset in the mountains", a background indexer runs the media library through local models in advance:

  • Visual embeddings (CLIP / SigLIP): Turn every frame into a meaning vector for instant search by description of scenes, emotions and lighting.
  • Local face recognition (InsightFace): Groups people by face without sending biometrics to the cloud, linking them to contacts in the Estate's library.
  • EXIF metadata + Calendar: Match the location and date of shooting with events in the Living Diary, automatically assembling themed collections.

5. Crew interaction circuit (orchestrating the edit)

Work on a film inside the Studio is divided between the agents into three clear stages:

  • Rough-cut assembly (the Director agent): Following a text script or a diary event, it finds the right clips in the gallery index, matches their length to the beats of the audio track and builds the first version of the JSON timeline.
  • Automatic quality control (Critic / Reviewer): Runs a technical check of the finished timeline before rendering: are there "black frames" at the joins, are words cut off mid-way according to the Whisper timecodes, is the loudness overloaded (LUFS), and have any files marked private slipped into the clip.
  • Manual finishing interface (Web UI / Canvas): A visual timeline (built on WebGL/Canvas) opens on the user's screen, where cuts can be moved with the mouse, colour sliders adjusted, or a voice command given to rebuild a specific fragment.