Twists and turns of developing music applications for iOS
Download as PPTX, PDF0 likes636 views
Доклад посвящен разработке музыкальных приложений для iOS, включая использование MIDI, Core Audio и Audiobus. Обсуждаются технические аспекты, такие как структура MIDI-сообщений и применение Core Audio для работы с цифровым звуком. Представлены игровые функции и возможности интеграции с MIDI-устройствами.
![Audiobus
Легкая интеграция:
AudioComponentDescription desc = { kAudioUnitType_RemoteInstrument,'iasp','man', 0,0 };
self.audiobusController = [[ABAudiobusController alloc] initWithApiKey:apiKey];
self.output = [[ABSenderPort alloc] initWithName:outputName
title:titleName
audioComponentDescription:desc
audioUnit:unit];
[self.audiobusController addSenderPort:self.output];](https://image.slidesharecdn.com/devgamm-gismart-161130142018/85/Twists-and-turns-of-developing-music-applications-for-iOS-20-320.jpg)
Twists and turns of developing music applications for iOS
- 1. Тонкости разработки музыкальных приложений под iOS Павел Хасанов Александр Пархимович
- 2. О компании Gismart Разработчик музыкальных приложений под Android и iOS Паблишер музыкальных приложений 2
- 3. Про что доклад? • Использование Midi в игровом проекте; • Core Audio; • Core Midi; • Audiobus
- 4. MIDI - Musical Instrument Digital Interface • Известен с начала 80-х • Создан для совместимости различных муз. инструментов 4
- 7. Синхронизация визуальных эл- тов и музыки • Мелодия • Синхротрек 7
- 8. Игровые фичи • ускорениезамедление; • смена инструмента; • управление сложностью. 8
- 9. Core Audio Core Audio - это низкоуровневый АРІ, предоставленный Apple для работы с цифровым звуком в системах Mac OS и iOS. Соrе Audio позволяет писать приложения, которые напрямую работают с несжатыми звуковыми данными, применять к ним эффекты, микшировать с другими звуковыми потоками и либо выводить результат в динамики, либо преобразовывать его в сжатый формат, который затем можно сохранить в виде файла или отправить по сети Цель использования Core Audio - обеспечить высокое качество и производительность аудиосистемы.
- 10. Core Audio Основные компоненты Core Audio: • Аудио Блоки (Audio Unit); • Аудио очереди (Audio Queue); • Граф.
- 11. Аудио Блоки
- 12. Аудио Блоки Аудиоблоки делятся на пять основных категории: • RemoteIO; • Эффекты; • Миксер/Сплиттер; • Конвертер формата; • Музыкальное устройство.
- 13. Audio Graph
- 14. • Слабая документация; • Специфичная предметная область.
- 15. Core Midi Core MIDI framework предоставляет интерфейсы для обмена данными с MIDI устройствами, в том числе с клавиатурами и синтезаторами.
- 16. Подключение Midi Keyboard MIDIClientRef client; MIDIClientCreate(CFSTR("NNAudio MIDI Handler"), MIDINotifyProc, nil, &client); MIDIInputPortCreate(client, CFSTR("Input port"), MIDIReadProc, nil, &inPort); unsigned long sourceCount = MIDIGetNumberOfSources(); for (int i = 0; i < sourceCount; i++) { MIDIEndpointRef src = MIDIGetSource(i); CFStringRef endpointName = NULL; OSStatus nameErr = MIDIObjectGetStringProperty(src, kMIDIPropertyName, &endpointName); ... MIDIPortConnectSource(inPort, src, NULL); }
- 17. Структура Midi Message typedef struct MIDINoteMessage { UInt8 channel; UInt8 note; UInt8 velocity; UInt8 releaseVelocity; // was "reserved". 0 is the correct value when you don't know. Float32 duration; } MIDINoteMessage;
- 18. Проигрывание Midi • MusicPlayer; • Последовательная обработка MIDINoteMessage.
- 19. Audiobus
- 20. Audiobus Легкая интеграция: AudioComponentDescription desc = { kAudioUnitType_RemoteInstrument,'iasp','man', 0,0 }; self.audiobusController = [[ABAudiobusController alloc] initWithApiKey:apiKey]; self.output = [[ABSenderPort alloc] initWithName:outputName title:titleName audioComponentDescription:desc audioUnit:unit]; [self.audiobusController addSenderPort:self.output];
Editor's Notes
- #4: Gismart специализируется на музыкальных приложениях и в компании особое внимание уделяется качеству звука, а так-же дает как можно больше возможностей для пользователя для работы со звуком.
- #6: Если коротко Midi File включает себя MusicSequence, которая в свою очередь состоит из одного или MusicTrack. А MusicTrack состоит из массива MidiNoteMessage
- #10: Core Audio - это низкоуровневый АРІ, предоставленный Apple для работы с цифровым звуком в системах Маc OS Х и iOS. В ней имеются средства для одновременной обработки нескольких потоков многоканального цифрового звука и интерфейсы к аудиооборудованию для ввода (микрофоны) и вывода (динамики и наушники). Соге Audio позволяет писать приложения, которые напрямую работают с несжатыми звуковыми данными, полученными от микрофона, применять к ним эффекты, микшировать с другими звуковыми потоками и либо выводить результат в динамики, либо преобразовывать его в сжатый формат, который затем можно сохранить в виде файла или отправить по сети. Для тех, кто не занимается разработкой полнофункциональных приложений, Соге Audio позволяет написать нестандартный эффект и обернуть его подключаемым модулем, который называется аудиоблоком (Audio Unit). Это даст другим пользователям возможность добавить ваш эффект в свое приложение на основе Соге Audio.
- #11: В основе Соге Audio лежит идея потоков звуковых данных, то есть непрерывных последовательностей данных, представляющих звуковой сигнал. Поскольку звук изменяется во времени, изменяются и описывающие его данные. В Соге Audio взаимодействие со звуком осуществляется главным образом за счет работы с потоками: получение потоков из файлов или от устройств ввода, их микширование, преобразование в различные форматы, отправка устройствам вывода и т. д. Для этого ваша программа обращается к Соге Audio или - наоборот - Соге Audio выполняет обратный вызов вашей программы всякий раз, как появляются новые данные для обработки. Эта метафора отличается от тех, что вы могли встречать в других мультимедийных АРІ. Простые мультимедийные плееры типа АVAudioРІауег рассматривают источник звука (например, файл) как черный ящик: его можно воспроизвести, поставить на паузу или остановить, быть может, даже перемотать вперед или назад, но ни заглянуть внутрь данных, ни что-нибудь сделать с ними возможности нет. А прелесть и мощь Соге Аисііо в том и заключаются, что она позволяет манипулировать данными.
- #12: Аудиоблоки представляют собой программные подключаемые модули, которые обрабатывают аудиоданные. Процессор цифровой обработки сигналов
- #13: AURemoteIO – блоки передачи аудиоданных к/от оборудования; Миксер – аудиоблок который принимает на вход несколько аудио потоков, смешивает их и выдает один или несколько ; Музыкальное устройство (MusicDevice) – используется для описания музыкальных инструментов. Актуально для нас, т.к. в данном формате удобно работать с короткими аудио дорожками с большим набором настроек. Для хранения аудио используем Sound Font. Аудиоблоки круто, но как построить систему?
- #14: Граф позволяет обрабатывать цепочки из аудио блоков налету. Например можно вставлять аквалайзер либо настроить колбек для точки в момент проигрывания.
- #15: Есть и минусы!
- #16: Core MIDI framework предоставляет интерфейсы для обмена данными с MIDI устройствами, в том числе с клавиатурами и синтезаторами.
- #17: Код для подключения клавиатуры, несколько строк и очень полезная фича включена.
- #18: Если коротко Midi File включает себя MusicSequence, которая в свою очередь состоит из одного или MusicTrack. А MusicTrack состоит из массива MidiNoteMessage
- #20: В свое время революционная система, которая позволяет строить цепочки из приложений, которые поддерживают Audiobus. Рассказать про эффекты в audiobus и зачем это нужно…
- #21: Интегрируется аудиобас очень легко, для начала нужно зарегестрировать апп на сайте разработчика и добавить url схему, после этого зарегестрировать приложение и получить API key.