没有代码,没有开玩笑:简化您的直播与Norsk工作室
We 在流媒体 East发布了Norsk last year. What id3as 从第一天起我们就建造了大规模的建筑, 为纳斯达克这样的公司提供复杂的实时媒体工作流程, DAZN, and Arqiva, and so on. 我们一直希望能够将魔力装入瓶中,这样任何人都可以构建我们过去生产的那种工作流,而不必处理潜在的复杂性. 特别是, 我们认为在一些解决方案中缺乏雄心壮志,因为你把现成的东西放在一起,不管它的功能是什么,你都接受它. 尝试自定义实时媒体工作流是一项极其复杂的任务,并且 Norsk 就是关于这个的.
![Norsk](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163186-norsk3-ORG.png)
有两个1 / 2 Norsk. 一个是媒体操纵方面,这也是我们今天要关注的. 所以,挪威媒体本身只是一个容器. 您有时会听到我所说的“绿色代码”是我们的客户和/或系统集成商合作伙伴编写的代码,用于为潜在的用例组合特定的工作流.
但是一个惊人的媒体工作流程对任何人来说都没有用处,除非它在某个地方运行. 所以挪威语也有可选的一面, 我们的管理能力是什么, 哪一个将运行,将在硬件上实例化这些工作流, 特别是加速硬件. 我们有非常广泛的支持 NETINT and the AMD加速器 和英伟达等在各种不同的云环境,如甲骨文和AWS, 但也包括内部部署和日益常见的混合类型解决方案. 但在本教程中,我们将集中在Norsk Media的视觉方面.
所以有两种不同的方式可以访问挪威媒体. One is, 正如我提到的, 低码SDK, 我们会稍微提到这个,因为Studio是建立在这个功能之上的. 实际上,你可以用任何支持grpc的编程语言来编写Norsk, 哪一种是编程语言, 但几乎所有人都在用TypeScript SDK. 我们一开始会接触到这个,然后我们会看一下它是如何扩展到一个可视化范例和无代码功能的. 请原谅这些代码,但它非常简单.
Norsk SDK
这是Norsk SDK 101. 这是您可以组合的最简单的应用程序.
![norsk sdk](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163188-norsk5-ORG.png)
所以它是这样开始的,“我在这里用挪威语,第一行. 然后我将有一个叫做输入的东西,它是一个SRT输入. 然后我将得到一个叫做Output的东西, 也就是WHEP, 一个WebRTC引入协议, 就把它当成WebRTC吧."
最后一行是把这些点连起来. It says, “我希望我的输出与输入一致, 特别是音频和视频,仅此而已. 我有一个输入,一个输出,我把这些点画出来.“这就是全部.
当你在大规模经营时, 我们一直坚信,真正的透明度和对运行时信息的访问非常重要. 这能让你从, "I have 1,000个事件并发运行,他们都很乐意这样做, 我需要去和这个特定的CDN端点谈谈,看看为什么他们不接受我们发送给他们的字符串.“为此,我们支持一个标准,叫做 开放的遥测, 这意味着它非常, 很容易将运行时信息从Norsk系统提取到任何东西中.
![挪威语visualiser](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163189-norsk6-ORG.png)
但我们可视化数据的方法之一是使用Norsk工作流可视化器. 如果你想象一下上一张幻灯片上的最后一个项目, 它说的是, “我们希望SRT上的运输流进入. 我们将从中获取音频和视频并将其发布为WebRTC.“所以这一切都很棒.
你们中那些够倒霉的,熟悉细节的 WebRTC 希望你们在这个阶段会惊恐地举起双手, going, "Adrian, 那个计划绝对没有成功的可能,你是对的. 但好消息是,诺斯克知道这一点,所以你不必这么做. 如果你想知道,这就是你要的. 如果你想知道Norsk为了实现这个工作流程到底做了什么, 你可以点击屏幕顶部的“显示转换”按钮,它会说, "Well, 这是你要的, 这就是我实际做的."
特别地,WebRTC只支持一种音频编解码器,那叫做Opus. 你甚至不能把Opus放到传输流中,至少不使用非标准扩展是不行的. 所以从表面上看, 这个项目注定要失败, 除了Norsk知道它注定要失败,并将采取适当的措施确保它对你有效. 它说,原来你给我发送了一些AAC作为SRT源的一部分. 我把它转换成Opus给你并发布了音频你给我发了一些视频,这是H.264,太好了.“WebRTC支持H.264. 你可能发送了一个MPEG-2视频, for example, 它不支持什么, 在这种情况下,它会为你做类似的转换工作. "And that H.264几乎是对的. 它是MPEG-4, MP4-encapsulated, 而WebRTC则坚持采用AnnexB封装, 所以我为你修复了封装."
现在,如果这样的话 AnnexB封装 A)我很嫉妒,B)这正是问题的关键. 事实上,WebRTC需要AnnexB封装是没有价值的,你的客户. 消费这种媒体体验的人只想要有精彩内容的流媒体, great quality, 适当的延迟等等. 所以这里的这些细节是做生意的技术成本,而不是为最终产品增加价值的任何东西. Norsk的存在是为了摆脱这一切,让你专注于你正在创造的端到端消费者体验.
这是一个Norsk项目通过HLS和DASH发布 CMAF. 我们还是用挪威语. 这一次,我们将通过RTMP接收内容. 我们将创建一个音频CMAF打包器, 一个视频CMAF包装器, 在它上面有一个多元变量.
![Norsk RTMP低延迟cmaf](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163190-norsk7-ORG.png)
剩下的就是把这些点连起来. 我希望音频CMAF包装程序从输入中获取音频. 我希望视频CMAF包装程序从输入中获取视频, 我想让多元变量从两个CMAF包中获取输出. 我们有几个分量,我们在它们之间画线. 这就是它的全部.
从本质上讲,这就是Norsk SDK的全部内容. 你有一大堆输入, 你得到了一大堆的输出, 然后你可以在中间做一些事情你可以操纵音频, 你可以一起制作各种视频. 你可以从一个视频流切换到另一个视频流. 你可以调用人工智能服务,比如转录和翻译服务.
![Norsk核心组件](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163192-norsk8-ORG.png)
挪威语允许你做的只是说, “我想从SRT开始,然后用音频级别做点什么,然后发布出来.“你只要表达你的愿望,没有任何细节会妨碍你. 这种方法允许您以非常直接的方式构建非常复杂的应用程序.
用挪威语远程生产
下面是一个建立在Norsk之上的远程生产应用程序, 而且Norsk本身并不是一个远程生产应用程序. 它让开发这类应用变得非常简单.
![挪威的远程生产](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163221-norsk10-ORG.png)
第一个视图是场景指令视图. 他们负责休息室, 他们把镜头组合成一个故事板来说明, "Well, 一开始,我们会有一个刺,它自己.然后下一个场景是Dom或其他人介绍这部剧. 然后下一个场景是Dom采访Tim Siglin或者其他可能的人. 这些场景出版后会提供给视觉总监. 视觉总监可以把他们想要的任何场景复制到他们的工作空间, 看到所有可用的镜头在工作空间, 将照片拖拽到预览中, 然后让他们活下去.
有些镜头是直接拍摄的,有些是连环画. 我们有低三分之一的重叠,所有这些都在发生. 这是一个已经存在的应用程序. 这个UI相当复杂. 它只有几千行代码. 过去,与这个应用程序相关的媒体代码超过10,000行代码,以便能够交付这个
将这个特定的应用程序移植到Norsk需要两三天的时间, 这导致了不到500行媒体代码,因为它允许编写代码的人描述意图,而不必处理任何细节, 同时拥有巨大的能力能够提供这些非常复杂的能力.
Norsk Studio
让我们进入挪威演播室. 而不是向你们展示无代码环境的幻灯片, 我将直接向你们展示一个无代码环境.
Norsk Studio背后的原则是相同的. 你有一大堆输入, 你得到了一大堆的输出, 然后中间还有一大堆东西. Now, Norsk Studio最重要的设计理念之一是,Norsk Studio具有固有的可扩展性. 因此,Norsk Studio本身实际上是完全开源的,使用的是非常宽松的许可证. 它只使用了Norsk SDK. 它没有什么特权. 它没有在幕后做任何别人无法接触到的事情. 我们对视觉环境的看法是,视觉环境在变得非常糟糕之前是很棒的.
因此,为了使Norsk Studio成为一个真正可用和强大的工具, 你需要做的是让它超级容易扩展. So, 如果有一个业务逻辑, for example, 它不是现成的, it's very, 第三方很容易加进去. 这里的大部分组件都在Studio中, 我正在运行大约10行代码. 这真的非常非常简单.
Norsk Studio演示:
这是诺斯克公司在10000英尺的高度上所拥有的能力. 我们非常重视的一件事是自动化效率. 现在有一些非常引人注目的硬件开始进入市场——asic将能够在一张卡上提供数十个1080P输出. 这些数字开始向100个发展, 这意味着我可以很容易地构建一种服务,它能够以每分钟的速度提供数十甚至数百个频道, 非常低的能耗和极低的每帧成本.
我们支持开箱即用的一些AMD硬件, NETINT硬件, 当然还有像英伟达这样的gpu. 我已经谈到了我们在开放遥测方面的能力,以及将我之前在工作流程中向您展示的指标插入监控等等是多么容易. 通过SDK的可控性将可扩展性结合在一起, 通过监控等, 通过视觉范式实现界面和表现力, 我认为这是一种非常引人注目的能力.
![自动化效率](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163194-norsk27-ORG.png)
所以我现在特别取笑Norsk Studio. 它将于今年在NAB正式推出, 我们很高兴看到我们的客户, 我们的客户用它构建了什么样的解决方案.
![norsk studio](http://dzceab466r34n.cloudfront.net/Images/ArticleImages/InlineImages/163195-norsk26-ORG.png)
这篇文章是赞助内容
相关文章
id3as的Adrian Roe与Tim Siglin坐在一起,在stream Media East 2023的采访中介绍了Norsk低代码实时视频SDK.
14 Jun 2023
提及的公司及供应商