2016-08-20 01 Дмитрий Рабецкий, Сергей Сорокин. Опыт работы с Android Media Framework
- 1. Опыт работы с Android Media Framework на примере приложения Cinepic
- 2. CINEPIC ● Собрать на Android ● API 18+ ● Совместимо с 80%+ устройств 2
- 3. Фон клипа ● Подготовка фото ● Применение жестов Scale Up/Down, Translate ● Сохранение матрицы трансформации 3
- 4. ● Очень не надежно ● Ресурсоемко ● Медленно Превью в ячейке. Шаг первый 4 SurfaceView MediaPlayer VideoView + =
- 5. ● Надежно но не быстро Превью в ячейке. Шаг второй 5 TextureView MediaPlayer TextureVideoView + =
- 6. UI Thread Превью в ячейке. Шаг третий 6 TextureView MediaCodec+ <=PlaybackController AsyncThread Кадры
- 7. То что нужно ● Максимально быстро ● Минимум памяти ● Минимум поддержки ● … но трудоемко 7
- 8. Трансформация видео во View 8 TranslateListener ScaleListener (-x,-y) (0, 0) Rect ImageBounds ViewBounds
- 9. Эффекты 9 TextureView=>VideoStream <= OpenGL ES ObjectAnimator Fade In/Out Scale Up
- 10. Ffmpeg 10 ● Тяжелая ● Сложно поддерживать ffmpeg module Input params + Video Resized video
- 11. Транскодирование из коробки 11 MediaDecoder MediaEncoder=> => MediaMuxer
- 12. Intel Inde ● Компактная ● Может заменять кадры ● Есть сэмплы ● На основе MediaCodec ● Рендерит с помощью OpenGL ES 12
- 13. Извлечение кадров 13 MediaDecoder Surface DataExtractor FrameSaver OpenGL ES
- 14. OpenGL ES Заготовка Preview 14 Scene Drawer Surface MediaEncoder MediaMuxer
- 15. Рендеринг клипа 15 Frame Drawer Tile Frame Composer Intel Inde frame Composer 0 ms 15000 ms…. время Frame Provider N times
- 16. Результаты работы c Video 16 Плюсы ● Совместимость с большинством устройств ● Скорость рендеринга и отрисовки ● Минимальное использование памяти ● Поддержка популярных видео форматов Минусы ● Время подготовки preview
- 17. 17 Аудио в Cinepic Пользователь хочет: ● Загружать в проект существующий аудиофайл ● Записывать звуковой фрагмент используя микрофон смартфона ● Выбирать пятнадцати-секундный фрагмент и добавлять его к видео в качестве звуковой дорожки ● Видеть waveform при записи и редактировании
- 19. 19 Формат
- 20. 20 Конвертация ● MediaCodec? ● ffmpeg? ● aac-encoder? MP3 m4a
- 21. 21 Конвертация MP3 wav m4a JLayer decoder MediaCodec + MediaMuxer
- 22. 22 Конвертация Создание кодека по имени кодера/декодера: ● OMX.google.aac.encoder Создание кодека по MIME- типу ● audio/mp4a-latm
- 23. ● Формирование очереди входных данных: codec.queueInputBuffer(inputBufIndex, 0, bytesRead, presentationTimeUs, 0); ● Теоретический рассчёт времени смещения: presentationTimeUs = 1000000 * (totalBytesRead / SAMPLING_RATE); ● Фактический рассчёт времени смещения: presentationTimeUs = 1000000 * ((totalBytesRead / (SAMPLING_RATE/10000)) / SAMPLING_RATE); Конвертация 23
- 24. MP4Parser ● Вырезаем Movie srcAudio = MovieCreator.build(srcAudioPath); Track track = srcAudio.getTracks().get(0); Movie cropped = new Movie(); cropped.addTrack(new AppendTrack(new CroppedTrack(track, startSample, endSample))); ● Добавляем Movie src = MovieCreator.build(srcVideo); Movie audio = MovieCreator.build(croppedAudio); src.addTrack(audio.getTracks().get(0)); 24
- 26. RingDroid ● < 2.7.2 - CheapMP3, CheapAAC! ● 2.7.+ SoundFile :( 26 Визуализация
- 27. Итоги 27
- 28. 28
- 29. Вопросы? 29