首页 文章 精选 留言 我的

精选列表

搜索[子流程],共10000篇文章
优秀的个人博客,低调大师

Logstash 7.13.3 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash7.13.3已正式发布,该版本更新内容如下: Plugins Cef Codec - 6.2.2 修复了启用 ECS 模式并解析CEF 字段fileHash时可能发生的无效字段引用。 添加了编号deviceCustom*和deviceCustom*Label字段的扩展映射,以便现在所有字段都包含数字 1 到 15。#89 Multiline Codec- 3.0.11 修复:避免在编解码器关闭时长线程休眠#67 Xml Filter - 4.1.2 [DOC] 更新文档以更正 parse_options 配置选项的名称#75 Beats Input- 6.1.5 更改了 jar 依赖项以反映较新的版本#425 修复:减少连接重置时的错误记录#424 更新说明:https://www.elastic.co/guide/en/logstash/7.13/logstash-7-13-3.html

优秀的个人博客,低调大师

Logstash 7.11.2 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash7.11.2已正式发布,该版本更新内容如下: Notable issues fixed 解决了一个可能导致自动重新加载的问题。开发团队将not terminated状态替换为两个更有描述性的状态:running和loading。此修复程序可以防止正在加载的管道被描述为running。#12444 Plugins Elasticsearch Filter - 3.9.3 [DOC] 更新链接以使用 shared attributes#144 [DOC] 修复了重组后的 Logstash-to-cloud 文档的链接#142 [DOC] 记录 secured clusters 所需的权限#140 Geoip Filter - 6.0.5 修复数据库下载任务。将项目升级到 Java 11#175 启用 MaxMind GeoIP2-Domain 数据库的使#162 Metrics Filter - 4.0.7 修复文档中的错字 Beats Input - 6.0.14 Feat:log + unwrap generic SSL context 异常#405 [DOC] 更新链接以使用 shared attributes Elasticsearch Input - 4.9.1 [DOC] 使用 shared attributes替换了 hard-coded links#143 [DOC] 向 docinfo_fields 示例添加了缺少的引号#145 Http Input - 3.3.7 Feat:改进的error handling/logging/unwraping#133 Syslog Input - 3.4.5 增加了对侦听 IPv6 地址的支持 Tcp Input - 6.0.7 修复:减少连接重置时的错误记录(to info level)#168 重构:只给 Socket classes打一次补丁(第一次输入时) 重构:使用适当的 log4j logger(在 Java 中,以避免在解包 LogStash::Logging::Logger 时出现意外) Kafka Integration - 10.7.1 修复:自 Logstash 5.0起弃用了 SHUTDOWN event的用法#71 Cloudwatch Output - 3.0.9 修复:自 Logstash 5.0起弃用了 SHUTDOWN event的用法#18 Elasticsearch Output - 10.8.4 修复了 retried request 会丢弃“update”参数的问题#800 避免在连接到 Elasticsearch 版本7.x时,避免隐性地将 deprecated type 设置为_doc#994 [DOC] 更新链接以使用 shared attributes#985 Lumberjack Output - 3.1.8 修复:自 Logstash 5.0 起弃用了 SHUTDOWN event的用法 #31 S3 Output - 4.3.3 [DOC] 更新链接以使用 shared attributes#230 更新说明:https://www.elastic.co/guide/en/logstash/7.11/logstash-7-11-2.html#logstash-7-11-2

优秀的个人博客,低调大师

浅谈 WebRTC 的 Audio 在进入 Encoder 之前的处理流程

在 WebRTC 中,Audio 数据在被送入编码器之前,有 2 大部分需要特别关注,一是数据采集,二是 Audio Processing。 作者:方来,技术专家,从事 voip 应用开发。 数据采集 数据采集主要由 Audio Device 模块进行处理,而且是平台和配置相关。例如: Mac 电脑,使用的是 CoreAudio API,一般情况下使用默认内置的声卡参数 fs=48kHz,stero。 Windows 电脑,WebRTC 中用的是 WASAPI。根据声卡参数不同,采样率等参数可选的比较多,例如有的电脑 builtInAEC 打开后,fs=16kHz,Mono,如果把声卡的 Audio Enhancement 关闭,则输出 fs=48kHz,stero。 Android 一般使用 java 层的 AudioRecord 框架。 iOS 一般使用 AudioUnit 框架。 另外,数据采集部分,还涉及到 USB 耳机,3.5mm 耳机,蓝牙耳机等外设,这些设备对音频链路上后续的 Audio Processing 也是有影响的,比如增加了 Audio 采集的delay,有 Speech Enhancement 处理的耳机会修改音频频谱,有的耳机外设使用不当可能会导致音频链路没有声音。 Audio Processing Audio Processing 主要包括 AEC,AGC,NS 等等: AEC----Acoustic Echo Cancellation,即回音消除。 AGC----Automatic Gain Control,即自动增益,用来调整输入信号的音量大小。 NS----Noise Suppression,即噪音抑制。 从 Audio Devices 输出的数据依次经过 AEC,NS,AGC 等音频处理模块。 1.AEC AEC 算法选择 在 WebRTC 中,AEC 有 4 个可选的算法: builtInAEC,一般情况下 Windows,Android 系统,builtInAEC 默认会开启。 AECM,移动端的回音消除算法,适用于 Android和 iOS。 AEC 算法,适用于 Windows/Mac Desktop 的回音消除算法。当然 AEC 也可以用在移动端,某些情况下,回声泄露的性能比 AECM 好。不过最新的 WebRTC 已经把老的 AEC 的 code 移除了。 AEC3 算法,Google 对老的 AEC 算法的改版,目前 AEC3 已经全面替代老的 AEC 算法。 一般情况下这 4 种 AEC 算法只能选择一种,否则会做多次 AEC,对声音的损伤也会增加。在不得已的情况下,可能会用到 2 个 AEC,例如 Windows 电脑,buildInAEC 关不掉且效果差的情况下,就必须打开 AEC3,这时是用到 2 个 AEC。 aec_dump 在一次通话中,使用 StartAecDump 开启 aec_dump 功能,aec_dump 将录制 3 个文件,一个是未进入 Audio Processing 模块的 input.wav,一个是 Speaker Render 的输出文件 reverse.wav,一个是经过 Audio Processing 处理过的 ref_out.wav。 正常情况下,input.wav - reverse.wav = ref_out.wav。 通过这 3 个文件可以分析回音消除算法是否有问题。 2.AGC WebRTC 的 AGC 有 2 种算法: Legacy AGC AGC2 下面简单展示一下 Legacy AGC 的性能。 原始语音 AGC 后的语音,Legacy AGC 本身没有降噪功能,噪音和语音同时放大的。 3.NS 目前 WebRTC 的 Noise Suppression 模块,能够过滤掉比较平稳的背景噪音,例如 white nosise,空调声等。但是 NS 模块对音量非常大的背景噪音,还有 babble noise 都是失效的,这也是我们客户端在 Microphone 功放的情况下的“嘈杂不清”的因素之一(当然导致嘈杂还有其他的原因,例如 AEC 的性能等等)。 夹杂 white noise 的录音 white noise 被过滤掉 4.其他增强算法 High Pass Filter,用来过滤低频噪音,比如我们可以把 100Hz 甚至 200Hz 以下的低频噪音过滤掉。 Typing Detector,可以过滤掉键盘打字的声音。 Residual Echo Detector,残留回音探测。 优化点 采集(当然也包括播放)容易出现没有声音问题,所以必须对采集(声卡驱动)端进行声卡适配优化。 AEC 区分平台: A. Windows 平台,一般 Windows 的声卡面板里面有一个“Audio Enhancement”,这个里面有的含有 builtInAEC,默认是打开的,通过 Windows API 关闭这个 Audio Enhancement 的几乎不可行。有的 builtInAEC 效果比较差,这时 AEC3 必须打开。通常情况下,builtInAEC 和 AEC3 同时打开,以便最大程度减少回声。 B. Mac 电脑,默认没有 buildInAEC,通常就直接使用 AEC3。 在 AEC 算法中增加“near talk”,“far talk”,“double talk”, “no talk”状态,结合这几种状态,采取不同的操作,例如在只有 far talk 的时候,不做 AGC,能够起到减少近端噪音的作用。 「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。

优秀的个人博客,低调大师

Logstash 7.9.1 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.9.1已正式发布,该版本更新内容如下: Notable issues fixed 修复 Monitoring和 Central Management 的 Docker 镜像配置中的问题。 Pipeline execution修复了 flushing和shutdown 一致的 Fingerprinting 将 JRuby 更新到 9.2.13.0 Plugins Avro Codec - 3.2.4 [DOC] 添加有关部分反序列化的说明#35 Fingerprint Filter - 3.2.2 修复了在 Hash/Map objects 上缺乏一致的 fingerprints 的问题 Kv Filter - 4.4.1 修复了包含反斜杠的field_split_pattern无法正确匹配的问题#87 ...... 完整更新内容查看:https://www.elastic.co/guide/en/logstash/7.9/logstash-7-9-1.html

优秀的个人博客,低调大师

Logstash 7.8.1 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.8.1已正式发布,该版本更新内容如下: 性能改进和bug修复 修复了pipeline compilation期间的性能回归问题 修复了多个 pipeline shutdown和 reloadingedit 的问题 Beats/TCP /HTTPInput Plugins 的依赖性变化 Plugins Xml Filter - 4.1.1 修复:处理事件时引发的异常不再使 pipeline崩溃#73 Beats Input - 6.0.11 更新了 jackson databind 和 Netty 依赖关系。此外,此版本还删除了对tcnative和boringssl的依赖,改用 JVM 提供的密码器。如果未安装 JCE 无限强度管辖区策略,这可能导致可用的密码更少。(从 u161 开始的 JDK 版本都默认安装了这个策略。)#393 添加了错误处理以检测 ssl 证书或密钥文件是否无法读取#394 Elasticsearch Input - 4.6.2 添加了 scroll clearing 和更好的 scroll expiration处理方法#128 [DOC]删除了过时的兼容性声明#124 ...... 更多内容可查看发布说明:https://www.elastic.co/guide/en/logstash/7.8/logstash-7-8-1.html#_multiple_fixes_to_pipeline_shutdown_and_reloading 上传新附件

优秀的个人博客,低调大师

Logstash 7.8.0 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.8.0已正式发布,该版本更新内容如下: 新功能和改进 Expanded JDK ecosystem 改进了测试脚本基础结构,以接受主机中存在的特定 Java 开发工具包(JDK)。更改包括将 JDK 主目录的路径导出到名为 BUILD_JAVA_HOME 的环境变量中,并由 shell 程序脚本使用它来启动测试和集成脚本。这项工作和其他 JDK14 修复程序为 Logstash 在不久的将来支持 AdoptOpenJDK 11 和 14 铺平了道路。#11786,#11839,#11935 Expanded JDK platform supportedit Logstash 可在许多不同的操作平台和 Java 开发工具包(JDK)的各种版本上运行,7.8.0 中扩展了此覆盖范围。Logstash 引入了对在 CentOS/RHEL 8.x 和 Ubuntu 20.04 上运行的支持。并为 Zulu 11、AdoptOpenJDK 11 和 Oracle/OpenJDK/AdoptOpenJDK 14 添加了新的 JDK 支持。 Elasticsearch API key support 对 API 密钥的支持已在 6.7.0 中添加到 Elasticsearch 中。通过 7.8.0,Logstash 在 Elasticsearch 输出插件中引入了对 Elasticsearch API 密钥的支持#934。 从 LDAP 到 SAML 等,Elasticsearch 中的身份验证可以通过不同的方式进行。用户/密码身份验证对于离散用户访问 Elasticsearch 有意义。对于机器对机器的通信,API 密钥访问更为常见。 Elasticsearch 输入和过滤器插件中对 API 密钥的支持以及监视和管理功能将在以后的版本中添加。 Proxy support for monitoring and centralized management 有许多用户在分段网络中部署 Logstash 和 Elastic Stack,在分段网络中,一个组件可能无法直接与另一组件或 Internet 保持联系。Logstash 插件(例如elasticsearch、http 和 SNS 输出)支持代理服务器的配置。7.8.0 版将代理支持引入监视和中央管理#11799。 性能改进和重要问题已修复 性能:共享一个 single secret store #10794 性能:改善 event.clone 内存使用率#11794 Refactor:避免在 single even中发生 array#11732 Debugging:在启动时 print RUBY_DESCRIPTION,以方便调试#11852 修复:避免从 Java 使用 gsub(frame dependent)#11874 ...... 更多详细信息可查看发布说明。 下载地址:https://elastic.co/downloads/logstash

优秀的个人博客,低调大师

Logstash 7.7.0 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.7.0已正式发布,该版本更新内容如下: 新功能和改进 Improving Logging 继过去几个版本中改进了日志记录功能之后,日志消息已得到扩展,可以更准确地显示有关插件的信息。这些更改使用户可以更好地标识带有插件或管道的日志消息。#11078、#11593、#11567 更改包括: 已添加plugin.name到所有日志条目。 已添加plugin.id和pipeline.id到 docker 镜像。 改进 Java(Pipeline)Execution Engine Logstash 7.7 中提供的改进使用户可以更好地控制 singleworker pipelines 的事件顺序。 从历史上看,当 single worker 执行 pipeline 时,将保留输入插件和输出插件之间的 Logstash 事件顺序。从未正式记录过此行为,但这是许多用户所依赖的功能。 引入 Java Execution 引擎时,它破坏了单个工作程序的订单保留。现在,通过引入pipeline.ordered设置已解决此问题。#11552,#11710 该pipeline.ordered设置允许三种模式: auto (default)-如果只有一个 pipeline worker ,则自动启用订购。 true-强制排序,同时如果有多个工作程序,则阻止启动logstash。 false-无法保证 ordering。 Notable issues fixed Fixed:添加sudo到 GPG-KEY 的 rpm import中#11684 Fixed:使用轻量级正则表达式匹配(不取决于框架)#11653 Fixed:monitoringAPI无法正确解析包括环境变量扩展在内的 ID 的问题#11592 Fixed:更改 Javadoc 以符合 JDK13的更新要求#11642 ...... 更多详细信息可查看发布说明。 下载地址:https://elastic.co/downloads/logstash

优秀的个人博客,低调大师

Logstash 7.6.1 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.6.1已正式发布,该版本更新内容如下: Logstash 7.6.1 发行说明 [DOC]返工 ls netflow 模块弃用通知#11600 [DOC]阐明 7.6 的内部收集器弃用状态#11607 [DOC]修复了用于监控的设置名称#11597 [DOC]添加 Apple 公证信息#11588 Plugins Dns Filter 将 Timeout::timeout block替换为Resolv::DNS::timeouts=#62 增加了对 ruby version > 2.0的限制,有效地使 Logstash 6.x+成为必需#62 Memcached Filter 修复了未设置 ttl 的问题#13 Split Filter 修复了@target 优化将阻止 event.remove(@field)被调用的问题 #40 Beats Input 修复了不必要为每个连接创建 SslContext 的问题#383 修复了充气机关闭时未被调用 end 的问题#383 由于 IdleStateHandler 中的问题,将 Netty 降级为 4.1.34#380 ...... 更多详细信息可查看发行说明:https://www.elastic.co/guide/en/logstash/7.6/logstash-7-6-1.html#_plugins

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册