라즈베리 캠에서 H.264를 스트리밍하는 현대적인 방법

Pi B +와 Pi 카메라를 얻었으며 이제 카메라에서 홈 서버로 H.264로 인코딩 된 비디오를 스트리밍하기 위해 가장 효율적인 (낮은 CPU) 최소 지연 시간 구성을 찾으려고 노력하고 있습니다.

나는 다음을 읽었다.

1. http://pi.gbaman.info/?p=150

2. http://blog.tkjelectronics.dk/2013/06/how-to-stream-video-and-audio-from-a-raspberry-pi-with-no-latency/comment-page-1/#comments

3. http://www.raspberrypi.org/forums/viewtopic.php?p=464522

(모든 링크는의 gstreamer-1.0을 사용 deb http://vontaene.de/raspbian-updates/ . main합니다.)

이와 관련하여 지난 몇 년간 많은 일이있었습니다.

원래 출력을 파이프 raspivid로 gst-launch-1.0연결해야 했습니다 (링크 1 참조).

그런 다음 (link 2) 공식 V4L2 드라이버가 생성되었으며 현재 표준이며 gstreamer 만 사용하여 파이프없이 데이터를 직접 얻을 수 있습니다 (특히 towolf 의 게시물 참조 »Sat Dec 07, 2013 3:34 pm 링크 참조) 2) :

발신자 (Pi) : gst-launch-1.0 -e v4l2src do-timestamp=true ! video/x-h264,width=640,height=480,framerate=30/1 ! h264parse ! rtph264pay config-interval=1 ! gdppay ! udpsink host=192.168.178.20 port=5000

리시버: gst-launch-1.0 -v udpsrc port=5000 ! gdpdepay ! rtph264depay ! avdec_h264 ! fpsdisplaysink sync=false text-overlay=false

올바르게 이해하면 두 가지 방법 모두 GPU를 사용하여 H264 디코딩을 수행하지만 후자는 커널간에 프로세스를 거치지 않기 때문에 커널을 다시 거치지 않아도되므로 약간 효율적입니다.

이제 이것에 대해 몇 가지 질문이 있습니다.

1. 후자는 여전히 카메라에서 H264를 효율적으로 얻는 가장 최근의 방법입니까? 에 대해 읽었으며 gst-omxgstreamer 파이프 라인을 허용 ... video/x-raw ! omxh264enc ! ...합니다. 이것 만 사용하는 것과 다른 것이 video/x-h264있습니까? 아니면 더 효율적일 수 있습니까? 차이점이 뭐야?

2. video/x-h264 ...파이프 라인을 사용할 때 실제로 어떤 gstreamer 인코딩 플러그인이 사용되는지 어떻게 알 수 있습니까? 이것은 내가 명시 적으로 (같은 (코드) 구성 요소의 이름을 다른 파이프 라인 부분에 비해 단지, 내가 원하는 형식을 지정하는 것 같다 h264parse또는 fpsdisplaysink).

3. 에서 링크 1이 응답 미카엘 Lepistö는 언급 "나는 측면 스트리밍에서 하나 개 불필요한 필터 패스를 제거" 그는 잘라 것을 의미 gdppay하고 gdpdepay. 그것들은 무엇을 하는가? 왜 필요한가요? 정말 떼어 낼 수 있습니까?

4. 또한 수신 측 caps="application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96"의 매개 변수를 지정 udpsrc하여 스트림 중간에 스트리밍을 시작 / 다시 시작할 수 있다고 언급 합니다. 이 캡은 무엇을 달성하며 왜 이러한 특정 선택이 필요한지 어디서 더 읽을 수 있습니까?

5. 질문 3과 4에서 제안한 작업을 수행하면 ( caps, 삭제 gdppay및 추가 gdpdepay) 비디오 대기 시간이 훨씬 더 나빠집니다 (시간이 지남에 따라 대기 시간이 증가하고 몇 분 후에 비디오가 중지됨)! 왜 그런가요? 원래 명령으로 얻은 대기 시간을 얻고 싶지만 언제든지 스트림에 참여할 수있는 기능이 있습니다.

6. RTSP + RTP는 일반적으로 TCP와 UDP의 조합을 사용한다는 것을 읽었습니다. TCP는 제어 메시지 및 기타 손실되지 않아야하는 것들과 실제 비디오 데이터 전송을 위해 UDP를 사용합니다. 위의 설정에서 실제로 사용하고 있습니까, 아니면 UDP 만 사용하고 있습니까? gstreamer가 이것을 처리하는지 여부는 약간 불투명합니다.

이 질문들 중 하나라도 대답 해 주셔서 감사합니다!

옵션 :

1. raspivid -t 0 -o - | nc -k -l 1234

2. raspivid -t 0 -o - | cvlc stream:///dev/stdin --sout "#rtp{sdp=rtsp://:1234/}" :demux=h264

3. cvlc v4l2:///dev/video0 --v4l2-chroma h264 --sout '#rtp{sdp=rtsp://:8554/}'

4. raspivid -t 0 -o - | gst-launch-1.0 fdsrc ! h264parse ! rtph264pay config-interval=1 pt=96 ! gdppay ! tcpserversink host=SERVER_IP port=1234

5. gst-launch-1.0 -e v4l2src do-timestamp=true ! video/x-h264,width=640,height=480,framerate=30/1 ! h264parse ! rtph264pay config-interval=1 ! gdppay ! udpsink host=SERVER_IP port=1234

6. uv4l --driver raspicam

7. picam --alsadev hw:1,0

고려할 사항

• 대기 시간 [ms] (클라이언트에게 서버보다 더 많은 fps를 요구하도록 요청하거나 포함하지 않음)
• CPU 유휴 [%] (로 측정 top -d 10)
• CPU 1 클라이언트 [%]
• RAM [MB] (RES)
• 동일한 인코딩 설정
• 동일한 기능
  • 오디오
  • 다시 연결
  • OS 독립 클라이언트 (vlc, webrtc 등)

비교:

            1    2    3    4    5    6    7
latency     2000 5000 ?    ?    ?    ?    1300
CPU         ?    1.4  ?    ?    ?    ?    ?
CPU 1       ?    1.8  ?    ?    ?    ?    ?
RAM         ?    14   ?    ?    ?    ?    ?
encoding    ?    ?    ?    ?    ?    ?    ?
audio       n    ?    ?    ?    ?    y    ?
reconnect   y    y    ?    ?    ?    y    ?
any OS      n    y    ?    ?    ?    y    ?
latency fps ?    ?    ?    ?    ?    ?    ?

브라우저에 H264를 스트리밍 하는 유일한 최신 방법은 UV4L을 사용하는 것입니다 . 대기 시간 없음, 구성 없음, 오디오 옵션, 양방향 오디오 / 비디오 옵션. 매직 GStreamer 소스는 없지만 사용법을 확장 할 수 있습니다.

1.) 네트워크를 통해 스트리밍되는 h264es (샘플 만 해당)

서버에서 :

raspivid -v -a 524 -a 4 -a "rpi-0 %Y-%m-%d %X" -fps 15 -n -md 2 -ih -t 0 -l -o tcp://0.0.0.0:5001

클라이언트에서 :

mplayer -nostop-xscreensaver -nolirc -fps 15 -vo xv -vf rotate=2,screenshot -xy 1200 -demuxer h264es ffmpeg://tcp://<rpi-ip-address>:5001

2) 네트워크를 통한 mjpeg 스트리밍 (샘플 만 해당)

서버에서 :

/usr/local/bin/mjpg_streamer -o output_http.so -w ./www -i input_raspicam.so -x 1920 -y 1440 -fps 3

클라이언트에서 :

mplayer -nostop-xscreensaver -nolirc -fps 15 -vo xv -vf rotate=2,screenshot -xy 1200 -demuxer lavf http://<rpi-ip-address>:8080/?action=stream

이 모든 것은 RPi Zero W (서버로 구성)에서도 작동합니다.