PIRAXIS

Работа и творчествоWork and Creativity

Звуковой редактор УсадьбыEstate Sound Editor

Звуковой редактор внутри «Усадьбы» PIRAXIS кардинально отличается от классических цифровых звуковых рабочих станций (DAW) вроде Logic, Cubase или Audacity тем, что он работает не просто со звуковыми волнами, а со смыслом, личным контекстом и экипажем ИИ-агентов на единой локальной базе памяти CMRS.

Если обычный редактор — это «цифровой магнитофон с эффектами», то аудиомодуль «Студии» PIRAXIS — это интеллектуальная звуковая мастерская с долгосрочной памятью, которая объединяет живую запись, архив галереи и треки из генераторов вроде Suno.

Вот пять ключевых отличий такой архитектуры:

1. Смысловая работа со звуком вместо слепой нарезки волн

  • Индексация всех звуков Усадьбы. Любая запись с микрофона, гитарный рифф, голосовой набросок из «Живого дневника», шум моря из видео в Галерее или трек, принесенный пользователем из Suno, автоматически размечается по смыслу, темпу (BPM), тональности, инструментам и настроению.
  • Поиск по описанию и настроению. Вместо перебора папок Audio_014.wav можно дать команду экипажу: «Найди мой напев под гитару с прошлого октября, добавь к нему живой шум дождя из поездки в горы и подложи под бит из трека Suno».

2. Деконструкция и скрещивание генеративного и живого звука (Suno + Микрофон)

Внешние генераторы вроде Suno выдают готовый сведенный стереофайл, который в обычном редакторе трудно глубоко переделать под себя. Внутри PIRAXIS этот барьер снимается за счет локального разделения на дорожки (Stem Separation):

  • Разборка готовых треков на партии. Станция локально раскладывает любой импортированный трек (из Suno, Udio или старой записи) на отдельные стемы: вокал, ударные, бас, гитары и синтезаторы.
  • Замена ИИ-партий на живое исполнение. Пользователь может выключить синтетический вокал или гитару из трека Suno и записать поверх свою партию с микрофона или внешнего музыкального инструмента через аудиоинтерфейс. Станция сама подгонит темп, выровняет ритм и подстроит акустику вашей комнаты под звучание остального микса.
  • Сохранение авторства и происхождения. Каждый слой в проекте имеет метаданные происхождения: где живая запись пользователя, где сэмпл из Галереи, а где внешний фрагмент из Suno — это фиксируется в квитанции проекта.

3. Личные голосовые и инструментальные модели (Strictly Local)

  • Безопасное клонирование тембра и инструментов. Поскольку все вычисления идут дома и не уходят в облако, пользователь может обучить локальный голосовой или инструментальный профиль строго для себя. Если при живой записи голоса или инструмента вышла помарка в одном слове или ноте, агент не заставляет переписывать дубль с нуля, а аккуратно «перепевает» или доигрывает проблемный такт вашим же тембром.
  • Голоса экипажа как дикторы и бэк-вокалисты. В аудиопроектах (подкастах, аудиокнигах, джинглах для семейных фильмов) можно напрямую задействовать голоса жителей Усадьбы — ассистентов экипажа — как полноценных участников записи.

4. Совместное продюсирование с экипажем («Агент-звукорежиссер» и «Критик»)

Вместо ручной настройки десятков эквалайзеров, компрессоров и ревербераторов пользователь управляет звуком через диалог и классический пульт одновременно:

  • Продюсирование на человеческом языке. Можно сказать: «Сделай голос теплее и ближе, убери гул комнаты, а фоновую музыку приглушай каждый раз, когда начинается речь (авто-дакинг)». Агент-звукорежиссер выставляет нужные параметры эффектов на дорожках, а пользователь при желании видит эти ручки и может покрутить их вручную.
  • Акустический ОТК от Критика. Перед финальным экспортом Критик проверяет микс на технические ошибки: конфликты частот между басом и голосом, клиппинг (перегруз громкости), фазовые искажения и соответствие стандартам громкости (LUFS) для наушников, телефона или домашней акустики.

5. Единая экосистема «Звук ↔ Видео ↔ Дневник»

Звуковой редактор не живет в изоляции:

  • Любой созданный трек, подкаст или звуковая дорожка в один клик передается в Видеоредактор «Студии» с уже расставленными маркерами ритма (Beat Markers), чтобы видеокадры автоматически склеивались точно в такт музыке.
  • А голосовые размышления, записанные под музыку или в виде аудиодневника, автоматически расшифровываются и ложатся в текстовую хронику Obsidian с привязкой к оригинальному аудиофайлу.

Технический стек звукового редактора

Технический стек звукового редактора внутри PIRAXIS строится по той же модульной логике, что и видеомонтажный контур: детерминированный аудиодвижок с низкой задержкой для живой записи и сведения плюс локальные нейросетевые воркеры для разборки треков из Suno, очистки голоса и смыслового поиска.

Вся эта связка работает локально на ресурсах станции (например, 192 ГБ объединенной памяти) и управляется агентами через единый JSON-проект.

1. Звуковой движок и запись с низкой задержкой (Real-Time Audio Engine)

Чтобы пользователь мог комфортно записывать голос с микрофона и живые музыкальные инструменты (гитару, синтезатор через MIDI/аудиоинтерфейс) без слышимого эха, нужен движок реального времени:

  • Системный аудиосервер: PipeWire / JACK (на Linux) или CoreAudio (на macOS) с буфером 64–128 сэмплов. Это обеспечивает задержку менее 5–8 мс при живой игре поверх минусовки из Suno.
  • Движок микширования и эффектов: JUCE (промышленный C++ стандарт для создания DAW и плагинов) или Tracktion Engine (открытый движок многодорожечной записи и таймлайна). Он берет на себя многодорожечную запись, маршрутизацию шин, автоматизацию громкости и поддержку стандартных эффектов (LV2 / VST3 / CLAP).
  • Декларативный формат проекта: Как и в видеоредакторе, проект хранится в виде читаемого JSON-манифеста (таймкоды клипов, настройки эквалайзера, параметры компрессора, ссылки на исходники). Агент-звукорежиссер меняет параметры эффектов прямо в этом файле, а пульт в интерфейсе мгновенно отражает сдвиг виртуальных ручек.

2. Локальный конвейер нейросетевого звука (AI Audio Workers)

Именно этот слой превращает редактор из обычного магнитофона в интеллектуальную студию, способную пересобирать внешние генерации и живые записи:

  • Разделение на стемы (Stem Separation): Demucs (htdemucs_ft) или BS-RoFormer. Локально раскладывает любой готовый трек из Suno на 4–6 независимых дорожек (вокал, ударные, бас, гитара, клавиши, прочее), чтобы пользователь мог выключить лишний инструмент и записать свой.
  • Очистка и реставрация голоса: DeepFilterNet и Resemble Enhance. Убирают шум вентиляторов, эхо неподготовленной комнаты, шорох одежды и дыхание, превращая запись с домашнего микрофона в студийный вокал.
  • Локальное клонирование тембра и синтез: F5-TTS / Fish Speech (для речи экипажа и дикторской озвучки) и RVC (Retrieval-based Voice Conversion) (для аккуратной замены отдельных неудачных нот или слов в вокальной партии тембром самого пользователя).
  • Локальная генерация сэмплов и музыки: Stable Audio Open и AudioCraft (MusicGen). Позволяют прямо внутри Усадьбы догенерировать недостающий проигрыш, переход или атмосферный фоновый шум по текстовому описанию без выхода в интернет.

3. Музыкальный анализ и синхронизация (MIR — Music Information Retrieval)

Чтобы живая запись, сэмплы из Галереи и треки из Suno стыковались автоматически без ручной подгонки по сетке:

  • Определение темпа и сетки битов: Madmom или Librosa — строят точную карту долей (Beat Grid) и определяют темп (BPM) любого импортированного файла.
  • Определение тональности и гармонии: Essentia (открытая библиотека от Music Technology Group) — определяет музыкальный ключ (например, Am или C major), чтобы при наложении сэмпла из Галереи или новой партии система сразу предупредила о несовпадении тональностей.
  • Растяжение времени без искажения высоты тона (Time-Stretching & Pitch-Shifting): Rubber Band Library — промышленный открытый алгоритм, позволяющий подогнать живую запись или сэмпл под темп трека Suno без эффекта «бурундука».

4. Смысловая индексация звукового архива в CMRS

Чтобы агенты могли находить звуки по смыслу и настроению («найди гитарный перебор из осеннего дневника и шум дождя из поездки»):

  • Аудио-эмбеддинги: CLAP (Contrastive Language-Audio Pretraining). Переводит любой звуковой фрагмент в смысловой вектор, позволяя искать звуки обычным текстовым запросом по всему архиву Усадьбы.
  • Расшифровка речи и поиск по словам: faster-whisper — индексирует все голосовые заметки, подкасты и вокальные дубли с привязкой каждого слова к миллисекунде.

5. Контур ОТК и мастеринга (Критик и Финальный рендер)

Перед сохранением готового файла в библиотеку Усадьбы срабатывает автоматическая проверка качества:

  • Автоматический мастеринг: Matchering (открытая система референсного мастеринга) или Pedalboard (библиотека студийной обработки от Spotify) — выравнивают частотный баланс, компрессию и лимитирование.
  • Технический аудит Критика: Проверка стандартов громкости по ITU-R BS.1770 (LUFS), контроль пиков (True Peak не выше -1.0 dBTP), проверка на фазовые конфликты между басом и голосом и формирование квитанции с полным списком использованных источников (живые дубли, файлы из Галереи, импорт из Suno).

The sound editor inside the PIRAXIS Estate differs fundamentally from classic digital audio workstations (DAWs) such as Logic, Cubase or Audacity: it works not just with sound waves, but with meaning, personal context and a crew of AI agents, all on a single local CMRS memory base.

If an ordinary editor is a "digital tape recorder with effects", the audio module of the PIRAXIS Studio is an intelligent sound workshop with long-term memory that brings together live recording, the gallery archive and tracks from generators such as Suno.

Here are the five key differences of this architecture:

1. Working with sound by meaning instead of blindly cutting waveforms

  • Indexing every sound in the Estate. Any microphone recording, guitar riff, voice sketch from the Living Diary, sound of the sea from a video in the Gallery, or track the user brought in from Suno is automatically tagged by meaning, tempo (BPM), key, instruments and mood.
  • Search by description and mood. Instead of digging through folders of Audio_014.wav, you can give the crew a command: "Find my guitar humming from last October, add the live sound of rain from the mountain trip and lay it under the beat from the Suno track."

2. Taking apart and crossing generated and live sound (Suno + Microphone)

External generators such as Suno deliver a finished, mixed stereo file that is hard to rework deeply in an ordinary editor. Inside PIRAXIS this barrier is removed by local separation into tracks (Stem Separation):

  • Breaking finished tracks into parts. The station locally splits any imported track (from Suno, Udio or an old recording) into separate stems: vocals, drums, bass, guitars and synthesisers.
  • Replacing AI parts with live performance. The user can mute the synthetic vocals or guitar in a Suno track and record their own part on top, from a microphone or an external musical instrument through an audio interface. The station itself matches the tempo, evens out the rhythm and adapts the acoustics of your room to the sound of the rest of the mix.
  • Preserving authorship and origin. Every layer in a project carries origin metadata: which is the user's live recording, which is a sample from the Gallery and which is an external fragment from Suno. This is recorded in the project receipt.

3. Personal voice and instrument models (Strictly Local)

  • Safe cloning of timbre and instruments. Because all computation happens at home and never goes to the cloud, the user can train a local voice or instrument profile strictly for themselves. If a live recording of a voice or instrument has a slip in one word or note, the agent doesn't make you re-record the take from scratch; it carefully "re-sings" or re-plays the problem bar in your own timbre.
  • Crew voices as narrators and backing vocalists. In audio projects (podcasts, audiobooks, jingles for family films) the voices of the Estate's residents, the crew's assistants, can take part directly as full participants in the recording.

4. Co-producing with the crew (the "Sound Engineer agent" and the "Critic")

Instead of manually setting dozens of equalisers, compressors and reverbs, the user controls the sound through dialogue and a classic mixing console at the same time:

  • Producing in human language. You can say: "Make the voice warmer and closer, remove the room hum, and lower the background music every time speech begins (auto-ducking)." The Sound Engineer agent sets the right effect parameters on the tracks, and the user can see those knobs and turn them by hand if they wish.
  • Acoustic quality control by the Critic. Before the final export, the Critic checks the mix for technical errors: frequency clashes between bass and voice, clipping (volume overload), phase distortion and compliance with loudness standards (LUFS) for headphones, phone or home speakers.

5. One ecosystem: "Sound ↔ Video ↔ Diary"

The sound editor does not live in isolation:

  • Any track, podcast or soundtrack created here goes to the Studio's Video Editor in one click, with beat markers already placed, so that video frames are cut automatically right on the beat of the music.
  • Voice reflections recorded over music or as an audio diary are automatically transcribed and placed in the Obsidian text chronicle, linked to the original audio file.

Technical stack of the sound editor

The technical stack of the sound editor inside PIRAXIS follows the same modular logic as the video editing circuit: a deterministic low-latency audio engine for live recording and mixing, plus local neural workers for taking apart tracks from Suno, cleaning up voices and searching by meaning.

The whole setup runs locally on the station's resources (for example, 192 GB of unified memory) and is controlled by the agents through a single JSON project.

1. Sound engine and low-latency recording (Real-Time Audio Engine)

So that the user can comfortably record voice from a microphone and live musical instruments (guitar, a synthesiser via MIDI or an audio interface) without audible echo, a real-time engine is needed:

  • System audio server: PipeWire / JACK (on Linux) or CoreAudio (on macOS) with a 64–128 sample buffer. This gives a latency of under 5–8 ms when playing live over a Suno backing track.
  • Mixing and effects engine: JUCE (the industrial C++ standard for building DAWs and plugins) or Tracktion Engine (an open multi-track recording and timeline engine). It handles multi-track recording, bus routing, volume automation and support for standard effects (LV2 / VST3 / CLAP).
  • Declarative project format: As in the video editor, the project is stored as a readable JSON manifest (clip timecodes, equaliser settings, compressor parameters, links to sources). The Sound Engineer agent changes effect parameters directly in this file, and the console in the interface instantly shows the virtual knobs moving.

2. Local neural audio pipeline (AI Audio Workers)

This is the layer that turns the editor from an ordinary tape recorder into an intelligent studio able to rebuild external generations and live recordings:

  • Stem separation: Demucs (htdemucs_ft) or BS-RoFormer. Locally splits any finished Suno track into 4–6 independent tracks (vocals, drums, bass, guitar, keys, other), so the user can mute an unwanted instrument and record their own.
  • Voice cleanup and restoration: DeepFilterNet and Resemble Enhance. Remove fan noise, the echo of an untreated room, the rustle of clothing and breathing, turning a home microphone recording into studio vocals.
  • Local timbre cloning and synthesis: F5-TTS / Fish Speech (for crew speech and voice-over narration) and RVC (Retrieval-based Voice Conversion) (for carefully replacing individual bad notes or words in a vocal part with the user's own timbre).
  • Local generation of samples and music: Stable Audio Open and AudioCraft (MusicGen). Let you generate a missing instrumental break, transition or ambient background from a text description right inside the Estate, without going online.

3. Music analysis and synchronisation (MIR — Music Information Retrieval)

So that live recordings, samples from the Gallery and tracks from Suno fit together automatically, without manual grid alignment:

  • Tempo and beat-grid detection: Madmom or Librosa build an accurate beat grid and detect the tempo (BPM) of any imported file.
  • Key and harmony detection: Essentia (an open library from the Music Technology Group) detects the musical key (for example, Am or C major), so that when a Gallery sample or a new part is layered in, the system warns right away if the keys don't match.
  • Time-stretching without changing pitch (Time-Stretching & Pitch-Shifting): Rubber Band Library, an industrial open-source algorithm that fits a live recording or sample to the tempo of a Suno track without the "chipmunk" effect.

4. Semantic indexing of the sound archive in CMRS

So that the agents can find sounds by meaning and mood ("find the guitar picking from the autumn diary and the rain from the trip"):

  • Audio embeddings: CLAP (Contrastive Language-Audio Pretraining). Turns any sound fragment into a meaning vector, so sounds can be searched across the whole Estate archive with an ordinary text query.
  • Speech transcription and word search: faster-whisper indexes every voice note, podcast and vocal take, linking each word to the millisecond.

5. Quality control and mastering circuit (the Critic and the final render)

Before a finished file is saved to the Estate's library, an automatic quality check runs:

  • Automatic mastering: Matchering (an open reference-mastering system) or Pedalboard (a studio audio-processing library from Spotify) balance the frequency response, compression and limiting.
  • The Critic's technical audit: Loudness checks against ITU-R BS.1770 (LUFS), peak control (True Peak no higher than -1.0 dBTP), checks for phase conflicts between bass and voice, and a receipt listing every source used (live takes, Gallery files, imports from Suno).