Мета-композиция во время музыкальных представлений

Пару недель назад мой учитель по фортепиано и я отталкивали друг от друга идеи о мета-сочинении музыкального программного обеспечения. Идея заключалась в следующем:

Существует система, принимающая MIDI-вход из набора инструментов, и выталкивает выход на динамики и источники света. Программное обеспечение, работающее в этой системе, анализирует полученные MIDI-данные и определяет, какие звуки использовать на основе триггеров, настроенных композитором (когда я играю аккордом F7 3 раза в течение 2 секунд, переключаюсь с звука клавесина на звук фортепиано), педали или фактический анализ музыки в реальном времени. Он будет управлять огнями на основе производительности и звуков инструментов аналогичным образом - музыканту нужно будет лишь смутно указать, что они хотят, - и анализ в реальном времени их игры сделает все остальное. На лету процессуально созданная музыка могла играть вместе с музыкантом. По сути, программное обеспечение будет играть вместе с исполнителем, а другое - другим. Я полагаю, что для такой системы потребуется определенная практика, но она может иметь невероятные результаты.

Я большой поклонник импровизационного джаза. Одной из характеристик импровиза, которая отсутствует в других формах искусства, является ее временность. Картина может быть оценена через 10 или 1000 лет после того, как она была нарисована, но музыка (особенно extemporized music) относится к исполнению, так как это творение. Я думаю, что программное обеспечение, которое я описал, добавило бы большой вклад в производительность, как и в случае с ним, так как воспроизведение одного и того же фрагмента приводило бы к совершенно другому шоу каждый раз.

Итак, теперь для вопросов.

Я сошел с ума?

Есть ли какое-либо программное обеспечение, чтобы сделать все или все из этого? Я провел некоторое исследование и ничего не понял. Ключом к этой системе является то, что он работает во время выполнения.

Если бы я написал что-то вроде этого, мог бы скриптовый язык, такой как Python, быть достаточно быстрым, чтобы делать вычисления, которые мне нужны? Предположительно, он будет работать на довольно быстрой системе и может использовать 2-ядерные процессоры Intel, которые Intel продолжает выпускать.

Может ли кто-нибудь из вас поделиться своим опытом и советами относительно взаимодействия с музыкальными инструментами и огнями и тому подобное?

Есть ли идеи или предложения? Холодная и суровая критика?

Спасибо за ваше время в чтении этого и за любые советы! (И извините за шутки в тегах, я не мог удержаться.)

Ответ 1

Люди использовали Max MSP, чтобы делать такие вещи с Midi и создавать видео-сопровождение, или просто аккомпанемент Midi. Это совершенно специфичное для домена приложение, которое, вероятно, было вдохновлено небольшим разговором или чем-то, что едва мог любить любого программиста, но музыканты-программисты делают.

Несмотря на текст на сайте, с которым я только что связался, и тот факт, что "каждый" использует коммерческую версию, это был не всегда коммерческий продукт. Ircam в конце концов выпустил собственный lineage. Он называется jMax. PureData, упомянутый в другом сообщении здесь, является еще одним переписанием этой линии.

Там также CSound; который не должен был быть в режиме реального времени, но, вероятно, может быть довольно реальным в настоящее время, когда у вас есть достойный компьютер по сравнению с тем, где начал CSound.

Некоторые люди также взломали расширения Macromedia Director, чтобы позволить делать миди в Lingo... Это очень устарело, и, следовательно, некоторые из них перешли на более современные среды Adobe.

Ответ 2

Посмотрите PureData. Он может выполнять обширный анализ midi, и люди используют его для повышения производительности.

В самом деле, здесь видео, который мигает мимо экрана puredata. Он показывает, что кто-то взаимодействует с довольно сложным инструментом, используя PD.

Кроме того, посмотрите CSounds.

Ответ 3

Я довольно часто использовал PyAudio для работы с исходными аудиовходами, и нашел, что он очень неспортивный, и он намного больше похож на очень тонкую оболочку над кодом C. Однако, если вы имеете дело с midi, а не с сырыми сигналами, то ваши задачи немного проще, а python должен быть достаточно быстрым, если вы не играете со 100 ударами в минуту:)

Некоторые из проблем: обнаружение синхронности, гармонического (формального, т.е. структуры аккорда).

Это также проблема 80/20, которая, если вы ограничиваете прогрессирование аккордов, становится довольно простой. В конце концов, что значит "играть", так или иначе, верно?

(Кроме того, в электронной музыке я тоже был, много людей проводят различные эксперименты по аккомпанементу в реальном времени на основе входного звука и движения). Удачи!

Ответ 4

Вы также можете посмотреть ChucK и SuperCollider, двух самых популярных "реальных" языков программирования музыки в реальном времени.

Кроме того, вы можете быть удивлены, сколько вы можете выполнить с помощью Ableton Live.

(и это означает, что "Нет" в конце)

Ответ 5

см. также:

Keykit
Arx

Я понятия не имею, действительно ли второй реальный или заслуживающий внимания. Keykit, однако, есть.

Ответ 6

Вы можете связаться с Гари Ли Нельсоном в отдел TIMARA в Оберлине. 20 лет назад я сделал проект, который автоматически сгенерировал секцию ритма для 12-битного блюза, и я вспоминаю его, описывая инструмент, который, как он знал, сделал, по сути, то, что вы описываете.

Ответ 7

Вам может быть интересно GenJam

Ответ 8

Ответ на ваш вопрос - нет, вы не сумасшедший. Подобные системы существуют, но ваше описание довольно расплывчатый, чтобы начать с так, чтобы не многие из spec судить против.

Я предлагаю вам начать писать прототип и посмотреть, как это происходит. Что-то очень маленькое и простое. Существующие системы будут прокляты.

Я использую С++ для win32 api (no mfc). Начал писать мой секвенсор обратно на Amiga500. Он не делает света, но есть много возможностей делать только музыку.

Удачи вам. Это ЭКСТРЕМАЛЬНЫЙ проект. Я бы сказал - не дизайн вашего проекта о том, как работают другие проекты. Потому что, если вы спросите меня, они не работают так хорошо;) И веселье может сделать что-то другое.