LineFlow —— 框架无关的 NLP 数据加载器-低调大师

LineFlow —— 框架无关的 NLP 数据加载器

2022-01-11 1051

LineFlow 是一个适用于 Python 中所有深度学习框架的轻量级 NLP 数据加载器。

LineFlow 旨在用于所有深度学习框架。
可以通过函数式 API（.map、.filter、.flat_map）构建管道。
提供了通用 NLP 数据集。

微信关注我们

原文链接：https://www.oschina.net/p/lineflow

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | Presto 在字节跳动的内部实践与优化

> 在字节跳动内部，Presto 主要支撑了 Ad-hoc 查询、BI 可视化分析、近实时查询分析等场景，日查询量接近 100 万条。本文是字节跳动数据平台 Presto 团队-软件工程师常鹏飞在 PrestoCon 2021 大会上的分享整理。在字节跳动内部，Presto 主要支撑了 Ad-hoc 查询、BI 可视化分析、近实时查询分析等场景，日查询量接近 100 万条。 • 功能性方面：完全兼容 SparkSQL 语法，可以实现用户从 SparkSQL 到 Presto 的无感迁移； • 性能方面：实现 Join Reorder，Runtime Filter 等优化，在 TPCDS1T 数据集上性能相对社区版本提升 80.5%； • 稳定性方面：首先，实现了多 Coordinator 架构，解决了 Presto 集群单 Coordinator 没有容灾能力的问题，将容灾恢复时间控制在 3s 以内；其次实现了基于 histogram 的静态规则和基于运行时状态的动态规则，可以有效进行集群的路由和限流； • 可运维性方面：实现了 History Server 功能，可以支持实时...

2022-01-11

514

KDE 开发人员已经开始在 2022 年全面展开新功能和其他改进的开发，负责改进 KDE 桌面界面和用户体验的 Nate Graham 发布了 KDE 在 2022 第一周的开发报告，主要包含以下几项：新特性：音量滑块正在播放音频的窗口任务管理器工具会在播放控件下显示一个音量滑块。用户界面改进电池和亮度小程序现在在没有电池但有亮度控制的计算机（比如台式机）上变成了亮度小程序。具有可滚动视图的 Plasma 小程序现在使用更一致的样式。启用自动登录时，会收到 “你可能想要对 KWallet 设置进行一些更改” 的警告。显示相对日期的 KDE 应用程序变得更精确。 Yakuake 的系统托盘图标现在是单色的。窗口打开和关闭默认用Scale 效果，而不是旧的 Fade 效果。现在在桌面上移动或创建项目后会自动选择该项目。现在可以在 System Monitor 小程序和应用程序中以比特/秒（bit/s）为单位查看网络速度。在 Plasma Wayland 会话中，用于显示和隐藏虚拟键盘的系统托盘项目仅在平板电脑模式下变为活动状态。 Plasma 和其他基于 QtQuic...

2022-01-11

567

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。