首页 文章 精选 留言 我的

精选列表

搜索[工具库],共10000篇文章
优秀的个人博客,低调大师

核心基于字节跳动联名论文,可将视频、图片一键卡通化的开源工具

前段时间,有人根据一篇字节跳动联名的AI 论文,做了个可将视频、图片一键卡通化的Web端应用Cartoonize。 Cartoonize Cartoonize 现在已经开源,使用非常简单,只要上传需要转换的图片、视频即可。Cartoonize 转换可以很好地还原原图细节,下面是人像、风景、食物等实景的转化图。 Cartoonize 还支持10秒以内的视频转换,上一段《复仇者联盟》视频转化效果。 (官网转换视频截图,实际视频效果可进官网查看) 据其官网介绍,Cartoonize 适合四种场景的转换:快速制作动画,卡通和游戏的原型;由于它通常可柔化面部特征和信息,因此可用于生成最小单位的艺术做品;无需使用动作捕捉,游戏可以很容易地导入短视频;可以为图形设计师或动画师做建模助手。 对可转换图片视频的大小格式,Cartoonize 做了一定限制,目前只支持转换10秒及以内的视频,视频文件最大为30 MB,支持的格式包括 mp4、webm、avi、mkv。支持的图像文件格式为 jpeg、png,不支持 GIG/TIFF 图像。 算法: Cartoonize 使用Algorithmia 的 Serveless AI Layer 产品对视频进行推理。 测试环境: python 3.7 tensorflow2.1.0 tf_slim 1.1.0 Cudaversion10.1 操作系统:Linux(Ubuntu 18.04) 安装: 使用 Docker: 运行 Cartoonize 最简单方法是使用 Dockerfile: cd到根目录并构建映像 docker build -t cartoonize . 注意:config.yaml在构建图像之前,请设置适当的值。 2. 通过暴露适当的端口来运行容器 docker run -p 8080:8080 cartoonize 使用 virtualenv 使用virtualenv并激活虚拟环境 virtualenv -p python3 cartoonize source cartoonize/bin/activate 2. 安装 python 依赖项 pip install -r requirements.txt 3. 运行网络应用。config.yaml在运行应用程序之前,请确保在文件中设置适当的值。 python app.py 项目官网:https://cartoonize-lkqov62dia-de.a.run.app/cartoonize White-box-Cartoonization:白盒图像卡通化模型 如果想了解更多影像资料卡通化的训练模型和过程,可以查看 Cartoonize 背后的技术论文和项目。事实上,Cartoonize 是 White-box-Cartoonization的一个 Demo webapp。Cartoonize核心技术来自 CVPR 2020的投稿论文《Learning to Cartoonize Using White-box Cartoon Representations》,该论文作者系字节跳动、东京大学、Style2Paints Research 人员。 该论文提出了一种基于 GAN 的白盒可控的图像卡通化模型。 论文指出,各种卡通风格和用处需要基于特定任务或者先验知识才能开发可用的算法。例如有些卡通画更关注全局色调,线条清晰度在次;有些强调稀疏和干净的色块,对主题强调少。然而这些变量因素给黑盒模型带来了不小的挑战,如当面对艺术家不同的需求时,简单地更改训练数据集就于事无补了。使用黑盒模型直接拟合训练数据会降低其通用性和风格化质量,在一些情况下导致较差效果。 通常来说,黑盒模型通常有很高的准确性,但是其内部工作难以理解和改动,并且它们不能估计每个特征对模型预测的重要性,也不容易理解不同特征之间如何相互作用。而白盒模型则可以更为自由地修改模型中的某些算法,使之更加灵活地适应不同需求场景。 论文作者指出,为了解决黑盒模型的一些问题,他们对人们的绘画行为和不同风格的卡通形象进行了大量的观察,并咨询了几位卡通艺术家,建议将图像分解为几种卡通表征方式:提取一个带权重的低频内容,表示图片的轮廓表征;针对输入图像,提取分割图,在每个分割区域使用一个自适应的色彩算法生成结构表征;保持绘画细节和边缘的纹理表征。 The separately extracted cartoon representations enable the cartooniaztion problem to be optimized end-to-end within a Generative Neural Networks (GAN) framework,making it scalable and controllable for practical use casesand easy to meet diversified artistic demands with taskspecific fine-tuning. 单独提取的卡通表征形式使卡通化问题可以在生成神经网络(GAN)框架内进行端到端的优化,在实际使用场景中,使其可扩展和可控,易于满足不同的技术需求,也可以根据需求进行微调。 基于该论文的 White-box-Cartoonization 现在已经部分开源。 安装使用: 先决条件: 培训代码:Linux 或 Windows NVIDIA GPU + CUDA CuDNN 性能 推断代码:Linux,Windows 和 MacOS 安装: 假设已经安装了 NVIDIA GPU 和 CUDA CuDNN 安装 tensorflow-gpu,已经测试过 1.12.0 和 1.13.0rc0 安装 scikit-image == 0.14.5,其他版本可能会带来问题 预训练模型推论: 将测试图像存储在/test_code/test_images 中 运行/test_code/cartoonize.py 结果将保存在/test_code/cartoonized_images 中 训练: 将训练数据放在/dataset 中的相应文件夹中 运行 pretrain.py,结果将保存在/pretrain 文件夹中 运行 train.py,结果将保存在/train_cartoon 文件夹中 从生产环境中清除代码,并且未经测试 可能会有一些小问题,但应该很容易解决 可以在以下网址找到预训练的 VGG_19模型:https://drive.google.com/file/d/1j0jDENjdwxCDb36meP6-u5xDBzmKBOjJ/view 数据集: 由于版权问题,无法提供用于训练的卡通图像,但是这些训练数据集很容易准备 风景图来自新海诚,宫崎骏和细田守拍摄的电影 将影片剪辑成帧,并随机裁剪调整为256x256 人像图像来自京都动画和 PA Works 使用此仓库(https://github.com/nagadomi/lbpcascade_animeface)检测面部区域 手动清理数据将大大提高两个数据集的质量

优秀的个人博客,低调大师

macOS 终端工具 iTerm2 被发现一个存在 7 年的重大漏洞

此漏洞会允许攻击者在用户电脑上远程执行命令,Mozilla 提醒用户应该立即主动升级软件。 iTerm2 是非常流行的终端模拟器,被许多开发者与系统管理员广泛使用,不少人甚至会用它来处理一些不受信任的数据,因此 MOSS(Mozilla Open Source Support Program) 这次选了 iTerm2,并委托 ROS(Radially Open Security)进行安全审核工作。 据了解,这个漏洞在 iTerm2 中已存在长达 7 年,目前分配到的编号为CVE-2019-9535。这个漏洞可以让攻击者在使用者电脑上执行命令。 说起漏洞,iTerm2 这个重大的安全漏洞由 MOSS 资助的安全审核团队发现,MOSS 于 2015 年成立,从那时起就开始为开源开发者提供资金支持、协助开源与自由软件的发展。同时还支持开源技术的安全审核,MOSS 的资金正是来自 Mozilla 基金会,以确保开源生态健康发展。 ROS 发现 iTerm2 中的 tmux 整合功能有严重的漏洞,而且漏洞至少已经存在 7 年。简单来说,在大多数情况下,允许攻击者可对终端产生输出,也就是能在用户的电脑上执行命令。ROS 提供了攻击的 demo,而视频内容主要是进行表达概念性验证,因此当用户连接到恶意的 SSH 服务器后,攻击者仅示范开启的计算机程序,实际上还可以进行更多恶意指令。 Mozilla 则提到,这个漏洞需要与用户进行一定程度的互动,然后攻击者才能进行后续的攻击行动,但是由于使用普遍认为安全的指令就会受到攻击,因此被认为有高度的潜在安全影响。现在 Mozilla、ROS 与 iTerm2 开发者密切合作,推出了最新 3.3.6 版本,而 3.3.5 的安全修补程式也已经发布。Mozilla 表示,虽然软件会主动提示更新,但是希望开发者能主动进 行更新,减少可能被攻击机会。 目前 iTerm2 开发者现在已经发布最新的 3.3.6 版本,Mozilla 也提醒使用者应该要尽快更新。

优秀的个人博客,低调大师

Twitter 开源高分辨率遥测工具 Rezolus,轻松捕获系统性能异常瞬间

Twitter 昨日宣布开源Rezolus,这是一种高分辨率遥测代理,旨在发现性能异常现象和利用率峰值,这些异常现象和峰值通常都太短暂,难以通过常规观察和系统指标来捕获。Rezolus有助于量化工作负载,提供数据以推进优化,并且已经用于诊断运行时的性能问题。Twitter 已经在 Rezolus 上运行了一年多。 “Rezolus 提供了一系列信号,以帮助我们理解细粒度的运行时行为。我们发现它对理解和优化性能特别有帮助”,Twitter 工程师 Brian Martin 在博客文章中写道,“通过单一代理,我们可以从各种来源获得遥测。据我们所知,没有其他开源项目能够在单个软件包中展现如此全面的洞察力。” 根据Martin 的说法,Rezolus 诞生于对了解细粒度时间尺度上的系统性能的需求。在运行非常高吞吐量的综合基准测试时,Twitter 工程师们有时会遇到短暂的性能异常,但现有的遥测技术采样率相对较低,因此未能反映出这些异常状况。 这是因为,根据采样定理,采样率必须至少是最短脉冲持续时间的两倍,以便准确地反映爆发的强度,而大多数遥测都会产生一个微小的时间序列。相比之下,Rezolus 可以在更加精确的时间尺度上精确测量性能下降的情况。 Rezolus 允许配置采样率,因此开发人员可以将分辨率与尖峰长度匹配,并且不会消耗过多的资源。在 10Hz 采样时,它能够反映出 200 毫秒或更长时间的连续突发,足以满足 Twitter 上的大多数服务。同时,在这一条件下它只占用不超过 15% CPU 和 60MB 内存。 可切换的插件采样器使 Rezolus 能够从各种来源收集遥测,包括来自 Linux kernel 源的计数器和仪表,以获得有关 CPU 使用率、网络利用率和磁盘利用率的遥测。这些采样器还可根据需要进行不同配置。 最后,Martin 写道:“开源 Rezolus 标志着该项目的一个重要里程碑,我们希望 Rezolus 对 Twitter 之外的其他人也有用,并期待围绕它建立一个社区。” 博客原文:https://blog.twitter.com/engineering/en_us/topics/open-source/2019/introducing-rezolus.html

优秀的个人博客,低调大师

python人工智能机器学习工具书籍: scikit-learn Cookbook 2nd Edition

简介 本书包括对机器学习中常见问题和不常见问题的演练和解决方案,以及如何利用scikit-learn有效地执行各种机器学习任务。 第二版首先介绍评估数据统计属性的方法,并为机器学习建模生成合成数据。当您逐步完成这些章节时,您会遇到一些食谱,它们将教您实施数据预处理,线性回归,逻辑回归,KNN,NaïveBayes,分类,决策树,合奏等技术。 此外,您将学习使用多级分类,交叉验证,模型评估来优化您的模型,并深入学习使用scikit-learn实现深度学习。 除了涵盖模型部分,API和分类器,回归器和估算器等新功能的增强功能外,本书还包含评估和微调模型性能的方法。在本书的最后,您将探索用于Python的scikit-learn提供的众多功能,以解决您遇到的任何机器学习问题。 参考资料 下载:https://www.jianshu.com/p/c2

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册