首页 文章 精选 留言 我的

精选列表

搜索[快直播],共10000篇文章
优秀的个人博客,低调大师

开源项目丨Taier 1.1 版本正式发布,新增功能一览为快

2022 年 5 月 8 日,Taier 1.1 版本正式发布! 本次版本更新对 Flink 的支持升级到 Flink1.12,支持多种流类型任务,新版本的使用文档已在社区中推送,大家可以随时下载查阅。 github 地址: https://github.com/DTStack/Taier gitee 地址: https://gitee.com/dtstack_dev_0/taier 一、Taier 1.1 版本介绍 Taier 是一个分布式可视化的 DAG 任务调度系统,是数栈数据中台整体架构的重要枢纽,负责调度日常庞大的任务量。 它旨在降低 ETL 开发成本,提高大数据平台稳定性,让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。 Taier1.0 版本于 2022 年 2 月发布,在 1.0 版本发布的第二天,1.1 版本的迭代就已提上日程,并于昨日正式发布。 本次版本更新,着重解决了 Taier 的适配性问题:对 Flink 的支持升级到 1.12;Taier 中的 Spark SQL 和 Flink SQL 两个组件也实现了支持用户在任务中自定义函数,明显让 Taier 的延展性有了更好的发挥;新增了许多例如 Hive SQL 类型任务、实时任务运维等强大功能。 这次版本更新对 Taier 的固有优势进行了巩固,同时也强化并改善了用户体验,进一步精细化提升产品性能。 二、Taier 1.1功能详解 01 对 Flink 版本支持升级到 1.12 Taier 作为一个分布式可视化的 DAG 任务调度系统,采用 ChunJun 作为分布式数据同步工具。1.1 版本将 Flink 版本升级到 1.12 ,支持 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生语法及 Function 02数据同步支持脚本模式、增量同步 数据同步任务除向导模式外,1.1 版本新增数据同步脚本模式。脚本模式通过 json 的方式配置,无需依赖 datasourcex 的支持的数据源,直接通过 json 配置的方式提交任务,脚本模式的 json 格式无缝兼容 ChunJun 的数据格式,用户可以通过脚本模式调试各类数据源的数据同步。 03新增 Hive SQL Apache Hive 是一个构建于 Hadoop 顶层的数据仓库,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。Taier1.1 版本新增 Hive SQL ,支持对接 Hive 的不同版本 。 04新增多种实时类型任务 新增实时采集任务,支持将 MySQL、Oracle 的数据同步至 Kafka。 新增 Flink SQL 任务,通过标准 SQL 语义的开发帮助快速完成数据任务的配置工作。 05新增实时任务运维 可通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息。 06支持用户自定义函数 用户自定义函数(User Defined Function,简称 UDF),是用户除了使用系统函数外,自行创建的函数,用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。 目前 Taier1.1 版本 Spark SQL 和 Flink SQL 任务均支持自定义函数。 07全新暗黑主题上线 Taier 开发界面暗黑主题上线,提供多种主题切换,用户可自行选择。Taier 1.1 可支持用户自由选择 Dark Default 主题或 Light Default 主题等等界面风格,用户体验显著提升。 三、未来规划 Taier 作为一个新开源的项目,我们的迭代和更新一直在进行中,后续 Taier 将在扩展性、用户自主性方向上继续探索扩展,比如我们正在努力让用户可以基于 Taier 去自定义开发自己需要的类型任务等等。 Taier 的每一次进步都离不开社区开发者们的帮助和建议,希望大家保持关注,和 Taier 一起继续前进,不断攀登新高峰!

优秀的个人博客,低调大师

xmake v2.3.2 发布, 带来和 ninja 一样快的构建速度

这个版本重点重构优化了下内部并行构建机制,实现多个 target 间源文件的并行编译,以及并行 link 的支持,同时优化了 xmake 的一些内部损耗,修复影响编译速度的一些 bug 。 通过测试对比,目前的整体构建速度基本跟 ninja 持平,相比 cmake/make, meson/ninja 都快了不少,因为它们还额外多了一步生成 makefile/build.ninja 的过程。 另外,xmake 还增加了对 sdcc 编译工具链的支持。 项目源码 官方文档 一些优化点 多个 target 间所有源文件同时并行构建(之前不能跨 target,中途会被 link 给堵住串行化) 多个无依赖的 target 的 link 可以并行执行(之前只能挨个执行 link ) 修复之前的任务调度 bug,更加细粒度化调度,充分利用 cpu core 资源 优化 xmake 内部 api 上的一些损耗,这块效果也很明显 更多优化细节可以看下:issue #589 构建速度对比 我们在 termux 和 macOS 上做了一些对比测试,测试工程在:xmake-core 对于相对比较多的 target 的项目,新版 xmake 对其构建速度的提升更加明显。 多任务并行编译测试 单任务编译测试 简介 XMake 是一个基于 Lua 的轻量级跨平台 c/c++自动构建工具,支持在各种主流平台上构建项目 xmake 的目标是开发者更加关注于项目本身开发,简化项目的描述和构建,并且提供平台无关性,使得一次编写,随处构建 简单的工程描述 包依赖描述 官方的 xmake 包管理仓库:xmake-repo 构建工程 $ xmake 运行目标 $ xmake run console 调试程序 $ xmake run -d console 配置平台 $ xmake f -p [windows|linux|macosx|android|iphoneos ..] -a [x86|arm64 ..] -m [debug|release] $ xmake 包依赖管理 支持平台 Windows (x86, x64) macOS (i386, x86_64) Linux (i386, x86_64, cross-toolchains ..) Android (x86, x86_64, armeabi, armeabi-v7a, arm64-v8a) iOS (armv7, armv7s, arm64, i386, x86_64) WatchOS (armv7k, i386) MSYS (i386, x86_64) MinGW (i386, x86_64) Cygwin (i386, x86_64) SDCC (stm8, mcs51, ..) Cross (cross-toolchains ..) 支持语言 C/C++ Objc/Objc++ Swift Assembly Golang Rust Dlang Cuda 工程类型 静态库程序 动态库类型 控制台程序 Cuda 程序 Qt 应用程序 WDK 驱动程序 WinSDK 应用程序 MFC 应用程序 更新内容 新特性 添加 powershell 色彩主题用于 powershell 终端下背景色显示 添加xmake --dry-run -v命令去空运行构建,仅仅为了查看详细的构建命令 #712: 添加 sdcc 平台,并且支持 sdcc 编译器 改进 #589: 改进优化构建速度,支持跨目标间并行编译和 link,编译速度和 ninja 基本持平 改进 ninja/cmake 工程文件生成器插件 #728: 改进 os.cp 支持保留源目录结构层级的递归复制 #732: 改进 find_package 支持查找 homebrew/cmake 安装的包 #695: 改进采用 android ndk 最新的 abi 命名 Bugs 修复 修复 windows 下 link error 显示问题 #718: 修复依赖包下载在多镜像时一定概率缓存失效问题 #722: 修复无效的包依赖导致安装死循环问题 #719: 修复 windows 下主进程收到 ctrlc 后,.bat 子进程没能立即退出的问题 #720: 修复 compile_commands 生成器的路径转义问题

优秀的个人博客,低调大师

比内存快1000倍:中国投资130亿元量产相变内存

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 全球的内存市场主要被三星、SK Hynix和美光三家公司垄断,他们三家加起来的份额高达95%,中国要想在内存市场突破封锁并不容易,尽管有紫光、长鑫、兆易创新等公司投身存储芯片市场,但在现有的DDR内存技术上,中国公司技术、产能还差得远呢。 此外,内存也不止传统的DDR技术,还有很多新兴领域正在发展,比如PCM相变存储,相比传统内存它的优势很多,比如速度快了1000倍,耐用性也是传统内存的1000倍,江苏淮安市时代芯存公司投资130亿元建设了国内***的相变存储基地,上周已经开始正式运营,预计年产值45亿元。 来自中国江苏网的消息称,3月22日淮安市集成电路产业现场推进暨江苏时代芯存半导体有限公司相变存储器工厂竣工运营启动仪式在淮安高新技术产业开发区顺利举行,此举标志着130亿元投资的相变存储项目开始进入运营阶段。这个项目去年11月份完成了厂房封顶,并完成了设备采购,从开工到封顶不到9个月时间,今年3月底开始运营。 根据之前的消息,江苏淮安的这个项目总投资130亿元,一期投资43亿元,建成后将年产10万片12英寸PCM相变存储芯片。相变存储芯片被成为21世纪的存储芯片标准,与传统存储芯片(比如内存)相比,它是一种非易失性存储芯片,但是速度达到了传统存储芯片的1000倍,同时可靠性是后者的1000倍——当然这些指标都是理论上的. 目前量产的PCM存储芯片并没有这么强,Intel的3D XPoint闪存据说就是一种PCM存储芯片,只不过一直没有被证实,而它宣传的特点就是性能是闪存的1000倍,可靠性也是闪存的1000倍,同时容量密度是闪存的10倍。

优秀的个人博客,低调大师

K8s的内部Pod之间都不通,搞了快两天

试了不亚于二十种方法,绝望的时候,回到了家。 想手工安装,又遇到flannel在手工下,会更改docker启动项的不完善。 cni,或许就是k8s的大方向吧。 最后,抱着试一试的态度,将flannel升到了v0.8.0 XXXXXXXXXXXXXXXX。。。 好了,,终于可以睡好觉了。。 XXXXXXXXXXXXXXXX。。。 说明一下情况,我的k8s是基于1.7.0版本的。。 当然,如果kubeadm,最好reset之后,还要清干净。【应该不会是这个问题吧~~~~~~~~~:(】 然后,,dashborad的nodeport也好了~~~~~~~~~~~~~~~~ ifconfig cni0 down ip link delete cni0 ifconfig flannel.1 down ip link delete flannel.1 ll /var/lib/cni/ rm -rf /var/lib/cni/ iptables -F iptables -X iptables -Z iptables -P INPUT ACCEPT iptables -F iptables -t nat -F iptables -t nat -X iptables -t nat -P PREROUTING ACCEPT iptables -t nat -P POSTROUTING ACCEPT iptables -t nat -P OUTPUT ACCEPT iptables -t mangle -F iptables -t mangle -X iptables -t mangle -P PREROUTING ACCEPT iptables -t mangle -P INPUT ACCEPT iptables -t mangle -P FORWARD ACCEPT iptables -t mangle -P OUTPUT ACCEPT iptables -t mangle -P POSTROUTING ACCEPT iptables -F iptables -X iptables -P FORWARD ACCEPT iptables -P INPUT ACCEPT iptables -P OUTPUT ACCEPT iptables -t raw -F iptables -t raw -X iptables -t raw -P PREROUTING ACCEPT iptables -t raw -P OUTPUT ACCEPT

优秀的个人博客,低调大师

Intel:快买 PC 吧

智能手机的火爆,严重冲击了PC市场,虽然后者的销量一跌再跌,但各大厂商丝毫没有放弃的打算。 面对全球PC下滑之势难以扭转之际,Intel CEO Brian Krzanich日前接受采访时强调,现在是购买PC最好的时代,因为在这个行业中正在发生巨大的创新与变革。 在刚刚公布的新财报中,Intel营收大幅提升,但是细细品味后发现,PC处理器这块严重缩水(颠峰时期PC芯片收入对英特尔全年收入的贡献超过一半),对此Krzanich承认PC很难再成为Intel增长的引擎,但他们仍然对该市场未来的创新和利润保持乐观。 此外,Krzanich还强调,Intel也在积极的转型,物联网、数据中心、游戏、车联网和无人机等新的业务如今在收入和盈利方面已经占到整体业务的一半左右,至于未来会继续加强这方面投入。 相比PC市场来说,Intel拓展的新领域前景都更巨大,市场也是蓬勃发展,之前连开了20年技术大会突然取消,Intel已经释放的信号,因为他们不再像过去那样严重依赖PC,现在公司产品的覆盖面更广了,包括FPGA、Optane存储设备、物联网微控制器、无线通信设备等等。 本文来自开源中国社区 [http://www.oschina.net]

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册