Я использую следующее, чтобы получить буфер образца видео:
- (void) writeSampleBufferStream:(CMSampleBufferRef)sampleBuffer ofType:(NSString *)mediaType
Теперь мой вопрос заключается в том, как я могу получить NSData в кодировке h.264 сверху sampleBuffer. Пожалуйста, предложите.
Обновление за 2017 год:
Теперь вы можете выполнять потоковую передачу видео и аудио с помощью VideoToolbox API. Прочтите документацию здесь: VTCompressionSession
Исходный ответ (от 2013 г.):
Кратко: вы не можете, буфер сэмплов, который вы получаете, несжатый.
Методы аппаратного ускорения сжатия h264:
Как вы можете видеть, запись в файл не работает, запись в канал не работает, поскольку кодировщик обновляет информацию заголовка после того, как кадр или GOP были полностью записаны. Поэтому вам лучше не трогать файл, пока кодировщик пишет в него, поскольку он случайным образом перезаписывает информацию заголовка. Без этой информации заголовка видеофайл не будет воспроизводиться (он обновляет поле размера, поэтому в первом написанном заголовке указано, что файл имеет размер 0 байт). Прямая запись в область памяти в настоящее время не поддерживается. Но вы можете открыть закодированный видеофайл и демультиплексировать поток, чтобы получить данные h264 (конечно, после кодировщик закрыл файл)
Вы можете получать необработанные видеоизображения только в цветовых форматах BGRA или YUV от AVFoundation. Однако, когда вы записываете эти кадры в mp4 через AVAssetWriter, они будут закодированы с использованием кодировки H264.
Хорошим примером кода, как это сделать, является RosyWriter< /а>
Обратите внимание, что после каждой записи AVAssetWriter вы будете знать, что один полный H264 NAL был записан в файл mp4. Вы можете написать код, который считывает полный H264 NAL после каждой записи с помощью AVAssetWriter, что даст вам доступ к кадру, закодированному H264. Это может занять некоторое время, чтобы сделать это правильно с приличной скоростью, но это выполнимо (я сделал это успешно).
Кстати, для успешного декодирования этих закодированных видеокадров вам понадобится информация H264 SPS и PPS, которая находится в другом месте файла mp4. В моем случае я фактически создаю пару тестовых файлов mp4, а затем вручную извлекаю их. Поскольку они не меняются, если вы не измените спецификации в кодировке H264, вы можете использовать их в своем коде.
Проверьте мой пост на значения SPS для потока H 264 в iPhone чтобы увидеть некоторые из SPS/PPS, которые я использовал в своем коде.
И последнее замечание: в моем случае мне пришлось передавать кадры, закодированные в формате h264, на другую конечную точку для декодирования/просмотра; поэтому мой код должен был сделать это быстро. В моем случае это было относительно быстро; но в конце концов я переключился на VP8 для кодирования/декодирования только потому, что это было намного быстрее, потому что все делалось в памяти без чтения/записи файлов.
Удачи, и, надеюсь, эта информация поможет.
