OSDK开发案例——用天宇云盒M1实现大疆H20系列吊舱GDR格式视频流的二次编码
2021年5月，天宇经纬正式推出适配M300 RTK的机载5G终端——天宇云盒M1，可实现M300 RTK空中5G入网，进行无人机图像回传和远程控制，使无人机变成会飞的手机，形成5G网联行业应用解决方案，为行业无人机应用插上网联的翅膀。
天宇云盒M1主要性能
天宇云盒M1机身仅重116克，平均功耗4.6W，对飞机续航能力影响极小，采用底装设计，避免风雨天气影响的同时，不遮挡无人机挂载和避障系统。
H20/H20T已成为多行业无人机应用的首选配置，由于H20系列采用的GDR格式编码数据量大，码流速率高达14Mbps，且不支持动态调整分辨率、码率等参数，不但流量消耗大，而且对链路质量要求很高，在5G网络不稳定时，易产生卡顿和时延。为解决这种问题，天宇云盒M1增加了二次编码功能，对H20系列的视频流进行硬解码和重新编码，有效降低了视频码流速率，可设置到2Mbps以下。二次编解码仅需100毫秒，视频清晰流畅，传输成本降低。
天宇云盒M1二次编码效果展示
测试环境示意图
工作原理示意图
如图所示，以无人机拍摄秒表画面A为基础，视频经天宇云盒M1进行网络传输至云端，到达画面播放终端F，A-F时延为全链路的端到端时延。。
天宇云盒M1二次编码实测结果
天宇云盒M1开放API接口，可根据传输需求，调节视频分辨率、帧率、码流速率，灵活应用于不同工作场景，是业内实现二次编码产品中尺寸重量更小、功耗更低的上佳选择。
天宇云盒M1已在多个无人机行业成熟应用，经用户长期实践，产品取得了低时延、多功能、高稳定、易操作的优质口碑。天宇经纬将不断结合网联无人机行业应用需求，提供更贴近业务需要的功能与服务。
产品咨询热线：400-668-5518
邮箱：bd@tianyujingwei.com
-
稍微有点视频编码常识的都知道GDR（Gradual Decoder Refresh 逐渐刷新）不是什么视频格式，只是H264编码的一个模式而已。与之相对的就是传统IDR（Instant Decoder Refresh）。IDR模式的缺点就是IDR帧大小相比图像质量相近的P帧更大，这样会对网络有冲击，导致网络抖动和拥塞。GDR模式是通过P帧内包括I块组的方法来实现渐近刷新。GDR模式会带来更优的网络适应性。
所以你们的二次编码本质不就是降低图像质量和分辨率。
而且这种简单的转码工作，在nvidia jeston平台上面用gstreamer 不就一行指令就搞定了吗。
其实我最不能理解的是14Mbps的码流对5G来说很大吗？即便考虑到无人机飞行在低空飞行时的5G无线信号传播环境，但只要模块天线优化的稍微好点， 以郊区环境5G部署 1000m 典型站间距，单站最远覆
盖距离 700m 为例，200~300米高度飞行做到15~20Mbps上行问题并不大。2Mbps的码流4G不就够了，那还要5G干嘛？
笑死人了
-
楼上说的技术点基本都对，看来是业内人士，欢迎交流！我是天宇经纬的工程师，我说说我的观点，有两点请斟酌：一是英伟达平台当然可以实现，我们也做过，但是对于机载平台来说就很痛苦，散热片和风扇会给体积重量带来难以逾越的障碍，目前业内很多用英伟达平台来做的，技术难度是小一些，自己用或者做个样机对付个把项目是可以的，这不是可以产品化的东西，机载设备首要的需求就是小型化和低功耗，在这个前提下讨论技术实现方案才有意义。
二是14Mbps到底算不算大码流？对于网络条件比较好的4G/5G网来说，当然不算，别说14M了，4G我们都测到过40M，5G我们测到过100M，但是祖国地大物博，到处跑跑，多测一测，多听听用户的反馈就知道了，大多数时候网络图传效果不好是和网络条件直接相关的，只有把码率降下来，你的产品在很多网络条件不好的地方才能用！这个道理很简单，但是需要走近一线才能得到这个经验。
看来楼上的兄弟技术能力不错，但是不太了解产品和行业，没关系，您会进步的，我们期待您的成长，也期待您也做出优秀的产品，我们一起为网联无人机事业添砖加瓦！
-
这个我就得说两句了，用HDMI连接显示一个时延有啥意义？这不是端到端的时延，不是用户能感受到的时延，请问用户是用HDMI线连着用吗？请仔细看看遥控器上显示出来的数字，那个两百多毫秒才是真正的端到端时延，是大疆自有链路经过一系列图像优化以后的结果，你看大疆从来不宣传这个事，人家早已不再拘泥于个别指标，人家追求的是整体的用户体验，我们都应该好好向大疆学习，向尹总团队学习，这也是我们开始牺牲时延指标，追求更好的信道适应性的原因。
另外，时延不是定值，是个范围，偶尔抓拍到比较低的数值不算什么，我们也拍到过M1网络图传比大疆遥控器时延还低，我们也不宣传，没啥意义，用户体验才是王道。还有，用更快的硬件平台会有更低的时延，要是换成一台图形工作站，软解都比您这个快，也没啥意义，因为咱不能在飞机上绑个电脑。还有一点疑惑，不是说右图是H20实拍解码的吗？怎么和遥控器上显示的图像不一样？怎么解释？如果是部分图像，这样的时延有意义？
云冠是个不错的产品，和我们的M1侧重点不同，各有千秋，各位同仁也都具备很强的技术能力，但我奉劝各位一句，我们这是在做产品，不是写博士论文，我本来没有必要也没有义务费劲巴拉地提出指导意见，还有说教的嫌疑，挺招人烦，但这是我们团队发出来的帖子，来的都是客，招待不周请见谅。
Please sign in to leave a comment.
Comments
20 comments