搜索[百万tokens]结果-低调大师优秀个人博客

精选列表

搜索[百万tokens]，共7429篇文章

阿里如何做到百万量级硬件故障自愈？

随着阿里大数据产品业务的增长，服务器数量不断增多，IT运维压力也成比例增大。各种软、硬件故障而造成的业务中断，成为稳定性影响的重要因素之一。本文详细解读阿里如何实现硬件故障预测、服务器自动下线、服务自愈以及集群的自平衡重建，真正在影响业务之前实现硬件故障自动闭环策略，对于常见的硬件故障无需人工干预即可自动闭环解决。 1.背景 1.1.面临挑战对于承载阿里巴巴集团95%数据存储及计算的离线计算平台MaxCompute，随着业务增长，服务器规模已达到数十万台，而离线作业的特性导致硬件故障不容易在软件层面被发现，同时集团统一的硬件报障阈值常常会遗漏一些对应用有影响的硬件故障，对于每一起漏报，都对集群的稳定性构成极大的挑战。针对挑战，我们面对两个问题：硬件故障的及时发现与故障机的业务迁移。下面我们会围绕这两个问题进行分析，并详细介绍落地的自动

2018-11-23

Linux下一次删除百万文件

线上环境遇到的一个问题，文件数量过多，执行rm命令报错 # rm -f ./* -bash: /bin/rm: Argument list too long 根据报错检查状态 # ls | wc -l 634084 # du -sh 64G 在线下环境进行故障复现测试环境准备 # df -Th Filesystem Type Size Used Avail Use% Mounted on /dev/sda3 ext4 1.8T 331G 1.4T 20% / tmpfs tmpfs 7.7G 0 7.7G 0% /dev/shm /dev/sda1 ext4 190M 61M 120M 34% /boot # grep name /proc/cpuinfo model name : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz model name : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz model name : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz model name : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz model name : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz model name : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz # free -m total used free shared buffers cached Mem: 15709 1643 14066 8 452 559 -/+ buffers/cache: 631 15078 Swap: 8191 0 8191 # cat /etc/redhat-release CentOS release 6.8 (Final) # uname -r 2.6.32-642.1.1.el6.x86_64 测试生成测试数据 # for i in `seq 1000000`;do echo "${i}" >> ${i}.txt;done # ls | wc -l 1000000 # du -sh 3.9G . # ls *.txt -bash: /bin/ls: Argument list too long # rm -f ./* -bash: /bin/rm: Argument list too long 方法1：使用for循环方式执行删除任务 # time for i in `ls ./`;do rm -f ${i};done real 58m44.234s user 8m59.930s sys 37m16.453s 时间太长了，绝壁不能忍方法2：直接删目录 # time rm -rf test && mkdir test real 0m56.768s user 0m1.453s sys 0m22.603s # du -sh test 4.0K test 速度不错，然而很多情况下不能直接删目录，有点蛋疼方法3：使用 find + xargs 组合命令执行删除任务（网上流传最多的方法） # time find ./ -type f | xargs -n 1 rm -f real 18m30.267s user 0m9.536s sys 1m38.999s # time find ./ -type f | xargs rm -f real 16m16.774s user 0m2.232s sys 0m30.454s 一样蛋疼，如果需求是删除全部文件的话，用这种方法就太low了，适合删除部分数据的场景方法4：使用 ls + xargs 组合命令执行删除任务 # time ls | xargs -L 100 rm -f real 1m3.801s user 0m7.054s sys 0m28.582s # time ls | xargs -L 1000 rm -f real 0m55.917s user 0m5.322s sys 0m24.778s # time ls | xargs -L 2000 rm -f real 0m55.560s user 0m5.209s sys 0m24.702s # time ls | xargs -L 5000 rm -f real 0m55.057s user 0m5.196s sys 0m24.666s # time ls | xargs -L 10000 rm -f real 0m55.733s user 0m5.121s sys 0m24.657s # time ls | xargs -L 100000 rm -f xargs: argument list too long real 0m4.018s user 0m3.324s sys 0m0.701s 速度杠杠滴～～但是注意文件名长度，选择合适的传参数量方法5：使用rsync命令来执行删除任务 # mkdir /tmp/Null # time rsync --delete-before -d /tmp/Null/ ./ real 0m56.386s user 0m1.767s sys 0m28.075s # ll total 0 # du -sh ./ 29M ./ 没什么优点，缺点是rsync命令比较冷门，参数不容易记住，用的机会也不多，作为拓展方法了解一下就好如果你有其他好的方法，可以一起探讨一下～～

2018-01-08

也谈架构：百万pv项目与虚拟化

也谈架构：百万pv项目与虚拟化一说明 100万pv的项目网站，说大不大，说小又具备了一定规模，最近公司网站的xxx项目从物理机迁移到了VMware虚拟化平台(ESXI)，这里总结下该项目的网站架构，

2017-11-14

阿里云API创新大赛百万大奖花落谁家？

苏州云图的API解决方案“随行云”（用户行为追踪、分析、营销）以清晰的产品命脉、精准的用户定位、明确的应用场景，广阔的商业价值，夺得了大赛特等奖，获得了百万大奖。阿里云API创新大赛顺利落幕！

2017-06-14

KDD 2026 | SUPCON × 浙大提出统一时空Tokens，夯实可泛化交通预测基础

📃题目：Unified Spatio-Temporal Tokens are Bases for Generalizable Traffic Forecasting

2026-07-27

直接采集百万级复杂数据

爬虫是网络数据采集的简称，顾名思义就是利用http请求技术向网站发送数据请求，然后进行html解析并提取到需要的数据，可以使用Python等工具实现，这个过程看似简单，但暗藏很多机关，也导致很多人只是入了爬虫的门，但无法真正开发爬虫项目。

2026-09-15

华为祭出百万级奖励，这些鸿蒙应用路子对了

要知道，今年的赛事单人最高奖励达百万元（含 50 万现金与 50 万资源）！所以对于获奖 App 来说，不仅是实力和荣誉的认可，更有实打实的金钱和资源的激励。怎么说呢，小编此刻只恨自己不会敲代码。

2025-12-25

2025 HarmonyOS 创新赛正式启动，百万大奖等你挑战！

竞技多元创意赛道，挑战百万丰厚激励。下一个闪闪发光的开发者，可能就是你。（截图官网，图片增加大赛官网报名跳转链接）参赛条件 1、本次赛事面向所有开发者开放，注册华为账号并实名认证即可报名。

2025-07-09

涉及百万台主机，谷歌宣布摧毁Glupteba僵尸网络

据Securityaffairs 消息，12月7日，谷歌宣布破坏了Glupteba僵尸网络。同时，谷歌还起诉了两位俄罗斯人Dmitry Starovikov和Alexander Filippov，这两位被认为是该僵尸网络的创建和运营者，并同步经营着为Glupteba做广告的在线网站。例如，dont.farm就被用来出售被感染的谷歌和Facebook广告账户访问权。 Glupteba开始活跃于2011年，截至目前，该僵尸网络已经发展成由全球超100万台Windows PC设备组成的庞大网络。该僵尸网络从感染设备中窃取用户证书和数据，滥用受害者资源挖掘加密货币，并设置代理服务器，通过受感染的机器和路由器来输送其他人的互联网流量。僵尸网络运营商通过破解盗版软件的安装路径来传播恶意软件。去年夏天，谷歌就观察到Glupteba恶意软件打着“免费下载”的幌子，频频活跃在诸多在线电影流媒体和视频下载网站，当用户点击软件免费下载的链接时，Glupteba恶意软件就被神不知鬼不觉地下载安装到用户设备上。为了避免沦为Glupteba分发恶意软件的“工具”，谷歌已经删除了大约6300万个文档文件、1183个账户、908个云项目，以及870个谷歌广告账户。并且，谷歌也已向350万安全浏览器用户推送安全警告。并与CloudFlare等基础设施及托管服务提供商合作，破坏了Glupteba团伙使用的服务器。谷歌研究人员认为，Glupteba僵尸网络操作者很可能利用比特币区块链C2备份机制，重新获取受感染基础设施的控制权。 “正如今天宣布的那样，Glupteba是一种针对Windows 计算机的多组件僵尸网络。谷歌已经采取行动破坏了Glupteba的运行，我们相信这一行动将对 Glupteba 的运营产生重大影响。但是，Glupteba 的运营商可能会尝试使用比特币区块链上编码数据，通过备份命令和控制机制重新控制僵尸网络。”谷歌发布的帖子如是说。参考来源：https://securityaffairs.co/wordpress/125377/malware/glupteba-botnet-take-down.html 鸿蒙官方战略合作共建――HarmonyOS技术社区【责任编辑：赵宁宁 TEL：（010）68476606】

2021-12-08

黑客斥资百万美元购买0 day漏洞利用

黑客斥资百万美元在网络犯罪论坛购买0 day漏洞利用。有名为integra的黑客在网络犯罪论坛预存了26.99比特币，并声称这笔存款是用来从论坛成员处购买0 day漏洞利用的。

2021-07-15

APISIX 背后公司“支流科技”获百万美元融资

36 氪消息称，APISIX 背后的开源商业化公司深圳支流科技有限公司，已宣布完成百万美元 Pre-A 轮融资。本轮融资由真成投资领投，真格基金跟投。

2021-02-04

百万并发「零拷贝」技术系列之经典案例Netty

content);pooledBuf.release();}longpooledTime=System.currentTimeMillis()-startTime;System.out.println("3百万次池化

2020-07-29

支撑百万并发的数据库架构如何设计？

那么百万并发的数据库架构如何设计呢？多数都是分库分表加主从吧？分库分表：说白了就是大量分表来保证海量数据下的查询性能。

2019-04-11

多路复用实现单服百万级别RPS吞吐

通过多路复用实现百万级RPS 多路复用是不是真的如此出色呢，以下在.net core上使用多路复用实现单服务百万RPS吞吐，并能达到比较低的延时性。

2018-10-22

设计一个百万级的消息推送系统

简单实现首先考虑如何实现功能，再来思考百万连接的情况。注册鉴权在做真正的消息上、下行之前首先要考虑的就是鉴权问题。

2018-09-24

日均百万PV架构第二弹(缓存时代来临)

上一弹中我们规划并搭建了基本的架构组成,当然此架构存在诸多问题,我们在接下来的章节中将不断完善其功能特性,使之成为实至名归的百万PV架构站点首先来对上一弹架构做基本的ab 并发100, 总量2000

2017-11-08

阿里云携手开源中国平台发百万悬赏项目

本文讲的是阿里云携手开源中国平台发百万悬赏项目【IT168云计算】近日，阿里云与开源中国达成战略合作，通过开源中国众包平台寻找合作开发者，首期众包项目近百万元。

2017-09-24

Android应用被黑，数百万汽车面临被盗风险

在车联网时代，汽车制造商和第三方开发商竞相将智能手机演变成遥控器，允许驾驶员通过手机来实现车辆定位、开锁/解锁等功能，甚至于部分应用能够实现《霹雳游侠》中的场景——召唤汽车或者卡车到身边。但在提供便携的同时智能手机也存在被黑客入侵的风险，一旦手机被黑那么所有通过网络控制的互联网汽车功能就落入了黑客的的掌控中。而且近日公布的调查结果表明，这种担忧是完全存在的。近日，俄罗斯安全公司卡巴斯基的一组研究人员对 9 辆互联网汽车的 Android 应用（来自 7 家公司）进行了测试，这些应用的下载量已经超过几十万，甚至部分应用超过了 100 万，但是他们却发现这些应用连最基础的软件保护都没有提供，更谈何说帮助车主保护这个重要的宝贵财产之一。研究人员表示，通过 Root 目标设备获得欺骗用户安装恶意代码，黑客能够使用卡巴斯基所测试的所有 7

2017-08-01

Redis高并发高可用集群百万级秒杀实战JZIT

在百万级QPS的冲击下，传统数据库无法承受，必须依赖内存级缓存与分布式架构。Redis凭借其单线程原子操作、丰富的数据结构及集群扩展能力，成为秒杀系统的核心中间件。

2026-08-27

百万奖池，产业对接，征集全国优秀开源项目

首届 2026 上海开源软件应用创新大赛即日起正式启动报名！本次大赛由开源中国主办，以“开源向实（Open Source, Real Impact）”为主题，面向全国征集优秀开源项目。大赛总决赛将于10月24日在上海举行。此次大赛的举办，是上海深入实施国家软件发展战略、加快开源体系建设的具体举措。大赛围绕上海开源体系建设、人工智能赋能软件产业、重点产业场景开放和长三角创新资源协同四大主线，通过专业赛事发现优质项目、征集企业命题、推动供需匹配与赛后转化，让开源项目进入真实场景，让企业需求找到可落地方案。三大赛道：聚焦产业落地大赛不按技术栈划分，按真实落地场景设置三个赛道，独立评审、独立设奖： AI+工业软件赛道：覆盖研发设计与仿真分析、工艺优化与生产排程、质量检测与设备运维等方向，重点关注系统集成能力，以及项目在真实或仿真环境中的验证能力。智算云赛道：覆盖异构算力调度与GPU池化、分布式训练与推理加速、多云管理、边云协同与成本优化等方向，重点关注异构适配能力、资源效率和部署可观测性。开源AI工具赛道：覆盖数据处理、微调与模型评测，RAG、智能体框架与MLOps，AI编程、调试与可观测工具等方向，重点关注易用性、文档完善度和实际使用案例。参赛对象：面向全国开源力量大赛面向企业、高校、科研机构、开源社区、学生团队开放，个人或团队均可报名。每个参赛团队建议3-5人，须明确团队负责人1名；每个项目只能选择一个赛道报名，同一主体可提交不同项目分别参加不同赛道；资格审核与报名同步启动，先提交基础信息即可锁定报名席位，后续可逐步完善参赛材料。赛制流程：三个月走完全程即日起-10月11日：启动报名，提交材料、报名辅导、定向招募、命题解读； 10月12日-15日：专家评审，完成质量审核、专家评分、成绩汇总与复核； 10月16日：总决赛名单公布，共30个项目晋级； 10月24日：上海线下总决赛，路演、问答、终审、颁奖、展示与资源对接。评审机制：两阶段筛选大赛实行"准入审核+价值评估"两阶段评审，确保筛选出真实合规、技术可靠、具备产业落地潜力的开源项目。第一阶段·资格审核：核验申报主体与项目真实性，检查项目介绍、技术方向、应用场景及申报材料完整性，审核代码仓库或开源计划、开源协议、第三方依赖及知识产权声明，确认项目符合所选赛道征集范围。第二阶段·专家评审，四个维度加权打分：技术创新（30%）：技术路线是否独创，是否解决已有方案未解决的问题；场景落地（30%）：可部署、可运行、可测试，验证数据来自真实或仿真环境；开源治理（20%）：协议与依赖合规，贡献机制、文档规范、Issue/PR响应明确；长期发展（20%）：团队持续维护能力、发展规划、治理结构与社区支撑。奖项设计：奖金之外更有转化服务赛道奖：获奖项目可获得现金、算力与Token、大模型API等开发者资源奖励，总奖池累计100万元。三个赛道独立评选，各赛道均设一、二、三等奖以及新锐潜力奖，共计30个获奖名额。奖金之外：所有获奖项目均颁发获奖证书，并纳入赛事项目库，享受赛后产业对接、技术验证、投融资对接及政策咨询服务。重磅开源项目还有机会入选上海市开源项目培优工程，获得上海市最高500万元奖励。总决赛预告：10月24日总决赛将在上海举行，届时三大赛道并行路演，30个入围项目独立展示、接受评委现场打分与点评；现场同步设置开放展区，企业代表、投资人与观众可与参赛团队面对面交流；傍晚举行颁奖仪式与媒体群访。报名方式即日起至10月11日24:00，有意参赛者可登录大赛官方专题页在线报名：报名入口：https://www.oschina.net/os2026/ 同时开设赛事咨询社群，提供报名辅导与全程答疑：欢迎全国的开源开发者登录大赛官网提交报名，共赴这场开源人的技术盛会，我们10月24日上海见！

2026-08-12

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。