首页 文章 精选 留言 我的

精选列表

搜索[独立开发者],共10000篇文章
优秀的个人博客,低调大师

Ceph v17.2.0 Quincy 发布,中国开发者贡献凸显

Ceph v17.2.0 Quincy 现已发布。Quincy是 Ceph 的第 17 个稳定版本,它以海绵宝宝的章鱼Quincy触手命名,这是 Ceph Quincy 的第一个稳定版本。 相比于 Pacific 版本的大变化有: FileStore在 Quincy 中已被弃用。BlueStore 成为 Ceph 的默认存储引擎。 ceph-mgr-modules-coredebian 软件包不再ceph-mgr-rook推荐.ceph-mgr-rook依赖于,当版本早于 1.19python3-numpy时,不能在不同的 Python 子解释器中多次导入。python3-numpy因为默认apt-get安装软件包,所以总是与debian 软件包一起作为间接依赖安装。如果您的工作流程取决于此行为,您可能需要单独安装。Recommendsceph-mgr-rookceph-mgrceph-mgr-rook device_health_metrics池已重命名.mgr。它现在用作所有ceph-mgr模块的公共存储。升级到 Quincy 后,该device_health_metrics池将.mgr在现有集群上重命名。 该ceph pg dump命令现在打印三个附加列:LAST_SCRUB_DURATION显示最后完成的擦洗的持续时间(以秒为单位);SCRUB_SCHEDULING传达一个 PG 是否被安排在指定时间被擦洗,它是否排队等待擦洗,或者它是否正在被擦洗;OBJECTS_SCRUBBED显示擦洗开始后在 PG 中擦洗的对象数量。 require-osd-release如果在集群升级后未将标志设置为适当的版本,现在会报告运行状况警告。 LevelDB 支持已被删除。WITH_LEVELDB不再是受支持的构建选项。用户 - 应该 - 在升级到 Quincy 之前将他们的监视器和 OSD 迁移到 RocksDB。 Cephadm:osd_memory_target_autotune默认启用,设置mgr/cephadm/autotune_memory_target_ratio为0.7总 RAM。这不适合超融合基础架构。对于超融合 Ceph,请参考文档或设置mgr/cephadm/autotune_memory_target_ratio为0.2. 遥测:改进了选择加入流程,以便用户可以继续共享相同的数据,即使有新的数据收集可用。现在可以选择使用一个新的“性能”频道来收集各种性能指标:ceph telemetry onceph telemetry enable channel perf查看带有 的示例报告ceph telemetry preview。请注意,在大型集群中使用“perf”通道数据生成遥测报告可能需要一些时间。有关更多详细信息,请参阅:https ://docs.ceph.com/en/quincy/mgr/telemetry/ MGR:progress 模块默认禁用 pg 恢复事件,因为该事件代价高昂,并且当有 OSD 被标记为从集群中进入/退出时会中断其他服务。但是,用户仍然可以随时启用此事件。有关更多详细信息,请参阅https://docs.ceph.com/en/quincy/mgr/progress/ https://tracker.ceph.com/issues/55383是一个已知问题。mon_cluster_log_to_journald当设置为 true 时需要设置为 falsemon_cluster_log_to_file以在日志轮换后继续将集群日志消息记录到文件中。 Cephadm SNMP 支持 守护进程托管 (mgr, mds, rgw) osd内存自动调整 与新的 NFS 管理模块集成 能够在 osd 被删除时对其进行删除 用于提高性能/可扩展性的 cephadm 代理 Dashboard 第 1 天:新的“集群扩展向导”将引导用户完成安装后的步骤:添加新主机、存储设备或服务。 NFS:仪表板现在允许用户从一个地方完全管理所有 NFS 导出。 新的 mgr 模块(反馈):用户可以直接从 Dashboard 或 CLI 快速报告 Ceph 跟踪器问题或建议。 新的“每日消息”:集群管理员可以在横幅中发布自定义消息。 Cephadm 集成改进: ​​​​​​​主机管理:维护、规格和标签, 服务管理:编辑和显示日志, 守护进程管理(启动、停止、重启、重新加载), 支持的新服务:入口(HAProxy)和 SNMP 网关。 监控和警报: ​​​​​​​添加了 43 个新警报(总共 68 个),提高了对影响以下事件的可观察性:集群运行状况、监视器、存储设备、PG 和 CephFS。 现在可以通过新的 SNMP 网关服务(提供 MIB)将警报作为 SNMP 陷阱发送到外部。 改进的集成完整/接近完整事件通知。 Grafana 仪表板现在使用 grafonnet 格式(尽管它们仍以 JSON 格式提供)。 堆栈更新:用于监控容器的图像已更新。Grafana 8.3.5、Prometheus 2.33.4、Alertmanager 0.23.0 和 Node Exporter 1.3.1。这减少了对多个 Grafana 漏洞(CVE-2021-43798、CVE-2021-39226、CVE-2021-43798、CVE-2020-29510、CVE-2020-29511)的暴露。 RADOS OSD:Ceph 现在mclock_scheduler默认使用 BlueStore OSDosd_op_queue来提供 QoS。Filestore OSD 不支持“mclock_scheduler”。因此,默认的 'osd_op_queue' 设置为wpq用于 Filestore OSD,即使用户尝试更改它也会强制执行。有关配置 mclock 的更多详细信息,请参阅, https://docs.ceph.com/en/quincy/rados/configuration/mclock-config-ref/ 运行时存在一个突出问题,在使用命令切换到custommclock 配置文件后,无法修改与预留、重量和限制相关的 mclock 配置选项。ceph config set ...这由https://tracker.ceph.com/issues/55153跟踪。在问题得到解决之前,建议用户避免使用“自定义”配置文件或使用跟踪器中提到的解决方法。 MGR:pg_autoscaler 现在可以使用标志在全局范围内on转动。默认情况下,它设置为,但此标志可以派上用场,以防止在集群升级和维护期间由自动缩放触发重新平衡。现在可以使用该标志创建池,这允许自动缩放器将更多 PG 分配给此类池。这对于为数据密集型池获得更好的开箱即用性能很有用。offnoautoscaleon--bulk 有关自动缩放的更多详细信息,请参阅:https ://docs.ceph.com/en/quincy/rados/operations/placement-groups/ offOSD:默认支持 osd-osd 通信的在线压缩。 有关压缩模式的更多详细信息,请参阅:https ://docs.ceph.com/en/quincy/rados/configuration/msgr2/#compression-modes OSD:集群日志中慢速操作的简明报告。可以通过设置osd_aggregated_slow_ops_logging为 false 来恢复旧的和更详细的日志记录行为。 “kvs” Ceph 对象类不再打包。“kvs” Ceph 对象类提供了在 librados 对象 omap 之上实现的分布式平面 b 树键值存储。由于该对象类没有现有的内部用户,因此不再对其进行打包。 RBD block storage rbd-nbd:rbd device attach和rbd device detach添加的命令,这些允许在rbd-nbd守护进程自 Linux 内核 5.14 以来重新启动后安全重新连接。 rbd-nbd:notrim添加了映射选项以支持厚配置映像,类似于 krbd。 SSD 设备上客户端持久缓存的大量稳定工作,也可在 16.2.8 中使用。有关使用的详细信息,请参阅https://docs.ceph.com/en/quincy/rbd/rbd-persistent-write-log-cache/ 使用快速差异图像特征 + 整个对象(不精确)模式时,差异计算中的几个错误修复。在极少数情况下,这些长期存在的问题可能会导致不正确的rbd export. 也在 15.2.16 和 16.2.8 中修复。 修复了在 krbd 上运行 Windows VM 时潜在的性能下降问题。详情见rxbounce地图选项说明:https ://docs.ceph.com/en/quincy/man/8/rbd/#kernel-rbd-krbd-options RGW object storage RGW 现在支持按用户和/或按桶进行速率限制。使用此功能,可以限制用户和/或存储桶,可以交付总操作数和/或每分钟字节数。此功能允许管理员仅限制 READ 操作和/或 WRITE 操作。通过使用全局配置,可以将限速配置应用于所有用户和所有存储桶。 radosgw-admin realm delete已重命名为radosgw-admin realm rm. 这与帮助信息一致。 S3 存储桶通知事件现在包含一个eTag键而不是etag,并且 eventName 值不再带有s3:前缀,从而修复了与在 AWS 上观察到的消息格式的偏差。 现在可以为野兽前端指定 ssl 选项和密码。默认 ssl 选项设置为“no_sslv2:no_sslv3:no_tlsv1:no_tlsv1_1”。如果要返回旧行为,请将 'ssl_options='(空)添加到rgw frontends配置中。 分段上传的行为已修改,以便在分段上传结束时仅发送 CompleteMultipartUpload 通知。上传开始时的 POST 通知和每个部分上发送的 PUT 通知不再发送。 CephFS distributed file system fs:可以使用特定 ID(“fscid”)创建文件系统。这在某些恢复方案中很有用(例如,当监视器数据库丢失并重新构建时,并且恢复的文件系统预计具有与以前相同的 ID)。 fs:可以使用该fs rename命令重命名文件系统。任何为旧文件系统名称授权的 cephx 凭据都需要重新授权为新文件系统名称。由于使用这些重新授权的 ID 的客户端的操作可能会中断,因此该命令需要“--yes-i-really-mean-it”标志。此外,预计将在文件系统上禁用镜像。 MDS 升级不再需要在升级文件系统的唯一活动 MDS 之前停止所有备用 MDS 守护程序。 CephFS:如果备用重放守护进程重放日志失败,现在会导致等级被标记为“损坏”。 详情可查看官方公告。

优秀的个人博客,低调大师

OCR开发者福音:PDF提取Excel文件算法开源啦

导读 相信大家在工作生活中经常会遇到表格识别的问题,比如导师说,把下面 PDF 文件里面的表格取出来整理成 Excel 表。 也可能会遇到,公司领导或者客户发来一张截图,需要里面的表格取出来转成 Excel 表。 这种情况下你会怎么做呢,新建一个 Excel 一个一个数据敲么,辛辛苦苦半天赶出来,领导还会来一句,怎么这么慢,简直郁闷死…… 别着急,只要稍微会一点 Python 代码,这个开源项目神器拯救你! 效果展示 版面分析 + 表格识别 如图所示,针对一张完整的 PDF 图片,这个开源项目可以对文档图片中的文本、表格、图片、标题与列表区域进行分类。同时还可以利用表格识别技术完整地提取表格结构信息,使得表格图片变为可编辑的 Excel 文件。 不仅仅是 PDF 文件转 excel,如果编程能力再强一些,结合版面分析技术,PDF 转 Word 都不在话下。 而且使用也是非常方便,在完成 Python whl 包安装之后,简单几行代码即可完成快速试用。 最终结果会输出图片文件夹,Excel 表和文字识别结果,确实是非常方便。 传送门: https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/ppstructure/README_ch.md 版面分析与表格识别核心技术概述 不管是版面分析还是表格识别,现有方案可大致分为基于图像处理的传统方法和基于深度学习的方法。 (1)传统方法:版面分析比较著名的是 O’Gorman 在 1993 年 TPAMI 中发表的算法 Docstrum。通过自下而上的方法依次将图像中的黑白连通域划分为文字、文本行与文本块,从而得到版面布局。表格识别的传统方法通过腐蚀、膨胀等操作获得表格线、划分行列区域,然后将单元格与文本内容相结合重构为表格对象。但是传统算法主要问题在于,对于版面布局分析和表格结构的提取,图像处理的方法依赖各种阈值和参数的选择,对于不同场景下的文档图片难以保证泛化性。 (2)深度学习方法:除了直接使用检测模型来对版面内容进行分类以外,还融合了检测、分割、图神经网络、注意力机制等众多前沿技术能力。依赖算法工程师对于深度神经网络的精心设计,可以不再依赖阈值与参数,具有更好的泛化性。 PP-Structure核心技术解读 版面分析技术 PP-Structure 的版面分析技术,主要是对图片形式的文档进行版面分析,将文档划分为文字、标题、表格、图片以及列表 5 类区域(与 Layout-Parser 联合使用)。其核心技术思路与 Layout-Parser 项目密切合作,参考了 Layout-Parser 的工程结构设计,配合 PaddleDetection 开源的高效检测算法 PP-YOLO v2,在数据集 TableBank 和 PubLayNet 上 mAP 分别达到 93.6 和 96.2, NVIDIA Tesla P40 耗时仅需 66.6ms,且可以支持用户根据自己的数据自定义训练。 Layout-Parser 是开源的基于深度学习的文档图像分析工具箱,可用于布局检测,字符识别和许多其他文档处理任务,包含大量丰富模型,支持自定义 DL 模型,支持多个文档布局检测数据集。 GitHub 地址: https://github.com/Layout-Parser/layout-parser 表格识别技术 表格识别技术则主要使用基于注意力机制的图片描述模型 RARE,整体流程如下图所示,对于其中的表格区域进行表格识别处理。 表格识别的难点主要在于表格结构的提取,以及将表格信息与 OCR 信息融合。整体流程可以分为上下两部分, 其中上半部分(黑色支路)是普通的 OCR 过程,通过 (1)文本检测模块 对表格图片进行单行文字检测,获得坐标,然后通过 (2)文本识别模块 识别模型得到文字结果。 而在下半部分的在蓝色支路中,表格图片首先经过(3)表格结构预测模块,获得每个 Excel 单元格的四点坐标与表格结构信息。结合黑色支路文本检测获得的单行文字文本框 4 点坐标,共同输入(4)Cell 坐标聚合模块,再通过(5)Cell 文本聚合模块,将属于同一单元格的文本拼接在一起。最后结合表格结构信息,通过 (6)Excel 导出模块 获得 Excel 形式的表格数据。 下面分别针每个模块分别展开介绍。 (1)文本检测模块和(2)文本识别模块: 主要使用 PP-OCR 提供的检测和识别算法。 (3)表格结构预测模块, 主要使用基于 Attention 的图片描述模型 RARE,RARE 模型可以实现:输入一张图片,通过带有注意力机制的网络输出一段文字,描述图片的内容,而针对于表格图片的图片描述网络,输入一张经过版面分析的表格图片,输出的是一串 HTML 字符(如下图所示)。表格的结构通过 HTML 的结构标记表示,其中的内容即为表格文本中的内容。通过进一步的 HTML 解析,可以获得每个文本的单元格四点坐标和表格结构信息。 (4)Cell 坐标聚合模块,主要用来解决如何将跨行单元格的文本重新拼接在一个单元格内的问题。它通过计算由文本检测算法获得的文本框坐标(红色框)与表格结构预测模块得到的 Cell 坐标(蓝色框)之间的 IOU 和顶点距离来进行单行到多行的聚合。使用 IOU 判断哪些红色框同属于一个蓝色框,使用顶点距离和 IOU 判断红色框的排列顺序。 (5)Cell 文本聚合模块,根据已有的红色文本框顺序,按照从上到下从左到右顺序利用(4)Cell 坐标聚合模块的结果将(2)文本识别结果和进行拼接,这样对于多行文本的单元格内容即可拼接成一个字符串。 (6)Excel 导出模块,将(3)表格结构预测结果 html 结果与(5)Cell 文本聚合模块文本结果结合,最终导出为 Excel 输出。 以上所有内容均在 PaddleOCR 项目开源,目前 star 数量超过 13.5k 相关延伸阅读:PaddleOCR历史表现回顾 2020 年 6 月,8.6M 超轻量模型发布,GitHub Trending 全球趋势榜日榜第一。 2020 年 8 月,开源 CVPR2020 顶会算法,再上 GitHub 趋势榜单! 2020 年 10 月,发布 PP-OCR 算法,开源 3.5M 超超轻量模型,再下 Paperswithcode 趋势榜第一 2021 年 1 月,发布 Style-Text 文本合成算法,PPOCRLabel 数据标注工具,star 数量突破 10000+,截至目前已经达到 11.5k,在《Github 2020 数字洞察报告》中被评为中国 GithubTop20 活跃项目。 2021 年 4 月,开源 AAAI 顶会论文 PGNet 端到端识别算法,Star 突破 13k 2021 年 8 月,开源版面分析与表格识别算法 文本检测识别效果: 这个最强 OCR 项目,你值得拥有: https://github.com/PaddlePaddle/PaddleOCR 如果您想详细了解更多飞桨的相关内容,请参阅以下文档。 ・PaddleOCR 项目地址・ GitHub: https://github.com/PaddlePaddle/PaddleOCR Gitee: https://gitee.com/paddlepaddle/PaddleOCR ·官网地址・ https://www.paddlepaddle.org.cn/ 推荐阅读: 全新的安全漏洞扫描解决方案,百度MTC让APP安全防护能力更强

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册