首页 文章 精选 留言 我的

精选列表

搜索[库存盘点],共4452篇文章
优秀的个人博客,低调大师

盘点最重要的7个Python库

导读:对于那些对Python数据生态系统不太熟悉的人士,我将简要地介绍一部分重要的库。 作者:韦斯·麦金尼(Wes McKinney) 译者:徐敬一 来源:公众号大数据DT(ID:hzdashuju) 01 NumPy NumPy是Numerical Python的简写,是Python数值计算的基石。它提供多种数据结构、算法以及大部分涉及Python数值计算所需的接口。NumPy还包括其他内容: 快速、高效的多维数组对象ndarray 基于元素的数组计算或数组间数学操作函数 用于读写硬盘中基于数组的数据集的工具 线性代数操作、傅里叶变换以及随机数生成 成熟的C语言API,允许Python拓展和本地的C或C++代码访问NumPy的数据结构和计算设施。 除了NumPy赋予Python的快速数组处理能力之外,NumPy的另一个主要用途是在算法和库之间作为数据传递的数据容器。对于数值数据,NumPy数组能够比Python内建数据结构更为高效地存储和操作数据。 此外,用底层语言编写的库,例如用C或Fortran编写的库,可以在NumPy数组存储的数据上直接操作,而无须将数据复制到其他内存中后再操作。因此,许多Python的数值计算工具将NumPy数组作为基础数据结构,或与NumPy进行无缝互操作。 02 pandas pandas提供了高级数据结构和函数,这些数据结构和函数的设计使得利用结构化、表格化数据的工作快速、简单、有表现力。它出现于2010年,帮助Python成为强大、高效的数据分析环境。常用的pandas对象是DataFrame,它是用于实现表格化、面向列、使用行列标签的数据结构;以及Series,一种一维标签数组对象。 pandas将表格和关系型数据库(例如SQL)的灵活数据操作能力与NumPy的高性能数组计算的理念相结合。它提供复杂的索引函数,使得数据的重组、切块、切片、聚合、子集选择更为简单。由于数据操作、预处理、清洗在数据分析中是重要的技能,pandas将是重要主题。 介绍一点背景知识,早在2008年,我在一家量化投资企业——AQR资本管理公司供职时,便开始了pandas的开发。那时候,我有一些独特的需求是工具清单上任何单个工具无法满足的: 带有标签轴,支持自动化或显式数据对齐功能的数据结构——这可以防止未对齐数据和不同数据源的不同索引数据所引起的常见错误 集成时间序列函数功能 能够同时处理时间序列数据和非时间序列数据的统一数据结构 可以保存元数据的算术操作和简化 灵活处理缺失数据 流行数据库(例如基于SQL的数据库)中的合并等关系型操作 我想将以上的工作在同一个地方完成,最好还能在一个拥有通用软件开发能力的语言中实现。Python就是一个很好的备选项,但是那时候并没有这类数据结构的整合集,也没有能提供相关功能的工具。结果就是pandas最初被开发出来用于解决金融和商业分析问题,pandas尤其擅长深度时间序列和处理商业进程中产生的时间索引数据。 使用R语言进行统计计算的用户对DataFrame的名称会非常熟悉,因为这个对象是根据相似的R data.frame对象进行命名的。与Python不同的是,数据框在R语言中是标准库中的内容。因此,pandas中的很多特征通常与R核心的实现或者R的附加库提供的功能一致。 pandas的名字的来源是panel data,这是计量经济学中针对多维结构化数据集的术语。pandas也是Python data analysis(Python数据分析)自身的简写短语。 03 matplotlib matplotlib是最流行的用于制图及其他二维数据可视化的Python库。它由John D. Hunter创建,目前由一个大型开发者团队维护。matplotlib被设计为适合出版的制图工具。 对于Python编程者来说也有其他可视化库,但matplotlib依然使用最为广泛,并且与生态系统的其他库良好整合。我认为将它作为默认可视化工具是一个安全的选择。 关于matplotlib更详细讲解,请戳:纯干货:手把手教你用Python做数据可视化(附代码) 04 IPython与Jupyter IPython项目开始于2001年,由Fernando Pérez发起,旨在开发一个更具交互性的Python解释器。在过去的16年中,它成为Python数据技术栈中最重要的工具之一。 尽管它本身并不提供任何计算或数据分析工具,它的设计侧重于在交互计算和软件开发两方面将生产力最大化。它使用了一种执行-探索工作流来替代其他语言中典型的编辑-编译-运行工作流。它还提供针对操作系统命令行和文件系统的易用接口。由于数据分析编码工作包含大量的探索、试验、试错和遍历,IPython可以使你更快速地完成工作。 2014年,Fernando和IPython团队发布了Jupyter项目。Jupyter项目旨在设计一个适用于更多语言的交互式计算工具。IPython web notebook 则成为Jupyter notebook,可以支持超过40种编程语言。IPython系统目前可以作为一个内核(一种编程语言模式)用于在 Jupyter 中使用Python。 IPython自身已成为 Jupyter开源项目中的一个组件,后者提供交互性、探索性的高效环境。IPtyhon最古老、最简单的“模式”就是一个加强版的Python命令行,用于提高编写、测试、调试Python代码的速度。 你也可以通过基于Web、支持多语言的代码“笔记本”——Jupyter Notebook来使用IPython系统。IPython命令行和 Jupyter notebook对于数据探索和可视化非常有用。 Jupyter notebook系统允许你使用Markdown和HTML创建包含代码和文本的富文档。其他编程语言也针对Jupyter实现了内核,允许你在Jupyter中使用多种语言而不仅仅是Python。 对我个人来说,IPython涉及我工作的大部分内容,包括运行、调试、测试代码。 05 SciPy SciPy是科学计算领域针对不同标准问题域的包集合。以下是SciPy中包含的一些包: scipy.integrate 数值积分例程和微分方程求解器 scipy.linalg 线性代数例程和基于numpy.linalg的矩阵分解 scipy.optimize 函数优化器(最小化器)和求根算法 scipy.signal 信号处理工具 scipy.sparse 稀疏矩阵与稀疏线性系统求解器 scipy.special SPECFUN的包装器。SPECFUN是Fortran语言下实现通用数据函数的包,例如gamma函数。 scipy.stats 标准的连续和离散概率分布(密度函数、采样器、连续分布函数)、各类统计测试、各类描述性统计。 SciPy与NumPy一起为很多传统科学计算应用提供了一个合理、完整、成熟的计算基础。 06 scikit-learn scikit-learn项目诞生于2010年,目前已成为Python编程者首选的机器学习工具包。仅仅七年,scikit-learn就拥有了全世界1 500位代码贡献者。其中包含以下子模块。 分类:SVM、最近邻、随机森林、逻辑回归等 回归:Lasso、岭回归等 聚类:k-means、谱聚类等 降维:PCA、特征选择、矩阵分解等 模型选择:网格搜索、交叉验证、指标矩阵 预处理:特征提取、正态化 scikit-learn与pandas、statsmodels、IPython一起使Python成了高效的数据科学编程语言。 07 statsmodels statsmodels是一个统计分析包。它源自斯坦福大学统计学教授Jonathan Taylor 利用R语言实现的各类分析模型。Skipper Seabold 和 Josef Perktold早在2010年便创建了新的statsmodels项目。自那之后该项目迅速成长,拥有大量活跃用户和贡献者者。 Nathaniel Smith 开发了Patsy项目,为R语言公式系统所驱动的statsmodels包提供公式、模型规范框架。 与scikit-learn相比,statsmodels包含经典的(高频词汇)统计学、经济学算法。它所包含的模型如下。 回归模型:线性回归、通用线性模型、鲁棒线性模型、线性混合效应模型等 方差分析(ANOVA ) 时间序列分析:AR、ARMA、ARIMA、VAR等模型 非参数方法:核密度估计、核回归 统计模型结果可视化 statsmodels更专注于统计推理,提供不确定性评价和p值参数。相反,scikit-learn更专注于预测。 关于作者:韦斯·麦金尼(Wes McKinney)是流行的Python开源数据分析库pandas的创始人。他是一名活跃的演讲者,也是Python数据社区和Apache软件基金会的Python/C++开源开发者。目前他在纽约从事软件架构师工作。 本文摘编自《利用Python进行数据分析》(原书第2版),经出版方授权发布。

优秀的个人博客,低调大师

盘点Excel中的那些有趣的“bug”

本文由葡萄城技术团队原创并首发 转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 Excel 1.0早在1985年正式进入市场,距今已经有36年了,虽然在推出时市面上已经有了类似软件Lotus 1-2-3,但Excel仍然凭借着其对竞品在功能上的全面超越,再加之和Windows环境的直接捆绑,直接将Excel推向了电子表格办公软件的王者的地位。 但在今天这篇文章里,我们不是为了讲Excel中那些大家已经耳熟能详的功能,让我们一起来看看,即便强大如Excel也会有的一些令人费解的计算结果吧! 1900年2月29日 小学生都知道在我们现在使用的公历(格里高利历)中规定:年份是4的倍数,且不是100的倍数的,为闰年;年份为100的倍数,必须是400的倍数才是闰年。 那么1900年并不满足上述条件不是闰年,但是在Excel中却存在1900年2月29日这天,通过拖拽填充的方式,可以看到2月28日之后是29日。是因为Excel还在使用4年一润的儒略历吗?经过测试在Excel中并不存在2100年2月29日,那为什么只有1900年这一天错了? Excel官方给出过回复,这是Excel前身Lotus 1-2-3的一个bug,但是修复问题会导致历史文件出现一天的误差,出于对老文件的兼容,同时这个Bug影响很小,Excel并未修复这个bug,1900年2月29日保留至今。 38/12/31是1938还是2038 进入21世纪一个百年轮回开始,日常中我们习惯只说年份的两位例如1987年简称87年,2002年简称02年。在Excel中也支持2位年份的输入,例如输入87/12/31,自动识别为1987/1231;输入20/12/31自动识别为,2020/12/31。可是在输入30/12/31却又变会1930年了,Excel按照什么规则判断年份呢? 在这里Excel有一个2029规则,记输入00-29中的数字会自动识别为21世纪,其余则是20世纪,如果想输入29年之后的年份,就需要输入四位数字了。当然也可以通过修改操作系统设置来改变2029这个节点,具体可参考Excel的官方说明:https://docs.microsoft.com/zh-cn/office/troubleshoot/excel/two-digit-year-numbers。 两数不相等 在Excel中输入=1.2-1.1=0.1,回车后计算结果为FALSE,这说明1.2减1.1的结果不是0.1,是Excel算错了吗?可是输入=1.2-1.1确实显示0.1啊。 这的确是Excel算错了,但是这个并不是Excel特有的错误,而是计算机2进制特性导致的浮点数计算精读误差问题。简而言之,计算机计算过程使用二进制,对于1.2-1.1的结果为2进制循环小数,在存储时会进行小数截断,导致出现误差。 如果在Excel中设置显示位数20位就会发现实际计算值为0.09999999999999990000。 通常对于误差较小的结果,Excel可以自行修正,但是向1.2-1.1的结果Excel却没有处理。 因此,在进行数值比较的时候使用ROUND是一个好习惯,可以根据业务场景涉及到的小数范围设置参数。例如:=ROUND(1.2-1.1, 10)=0.1。 四舍五没入 在上述例子中使用的ROUND函数规则是四舍五入,但是同样因为精度问题造成了一些计算问题。例如=ROUND((8.92-8.71)/6,2),结果是0.03。期待值是0.4,由于误差计算结果并未达到0.35,并没有五入。 由于计算误差想要得到一个四舍五入的2为小数,需要进行2次ROUND,首先修正误差,然后再四舍五入保留2位小数。对于所有操作计算都做两次ROUND过于繁琐,这里可以使用Excel提供的另一个设置,使用“显示精度”,这样Excel在存储计算时,会按照单元格设置的显示小数位数来保留精度。 在 "文件" 菜单上,单击 "选项",然后单击 "高级" 类别。 在 "计算此工作簿时" 部分,选择所需的工作簿,然后选中 " 将精度设定为显示" 复选框。 但是要注意,后续计算需要真实的计算结果还是格式化后的结果,不正确的使用这个功能可能会导致误差越来越大。 数字不计算 如截图,单元格中对SUM结果为0,同时单元格左上角有绿色三角提示“以文本形式存储的数字“。这个提示就是SUM结果为0的原因,这些数字实际存储格式为文本,而文本并不参加数字的运算。 这里有个概念是存储格式,当在Excel单元格中输入数字0,Excel默认会以数字格式作为存储,也就是前面说的2进制,但是如果先设置这个单元格类型为文本,则0当作文本。在Excel中数字和日期默认靠右显示,文本靠左。 这也是我们经常在输入电话号码和身份证号是存在的问题,输入身份证号后,显示成了科学计数法,这里就需要先设置单元格为文本再输入。 总结 Excel中有很多这样并不是很符合日常行为的操作,以上只是葡萄城在研究Excel电子表格时遇到的其中一部分有趣的内容,相信大家也遇到过什么比较奇妙的计算错误,欢迎留言吐槽。

优秀的个人博客,低调大师

年度盘点 | 2020勒索软件攻击创下新高

2020年10月发生的被公开发布的勒索软件事件比今年任何一个月都要多,高达40起。 根据Datto的《Global State of the Channel Ransomware Report》(全球渠道勒索软件状况报告): 95%的MSP表示其业务面临勒索软件攻击的风险正在增加 92%的勒索软件攻击将以更快速度发展 59%的人说由于冠状病毒(COVID-19)大流行而导致的远程工作导致勒索软件攻击的增加 50%的客户指出,今年客户增加了IT安全预算 网络钓鱼电子邮件(54%)是最成功的勒索软件攻击媒介 91%的人表示黑客最常使用勒索软件针对Windows端点系统应用程序 此外,根据BlackFog的研究,通过分析2020年1月到10月的勒索攻击事件,可以发现勒索软件的攻击是全球性、广泛性发展的,并且勒索攻击呈现集聚化发展,主要的勒索攻击事件都来自少数几个勒索软件家族,如Maze勒索软件。 一、攻击趋势明显 2020年1月到10月,勒索攻击越演愈烈,攻击趋势明显。 目前,勒索攻击主要针对美国(57%)、紧随其后的是澳大利亚(7%),加拿大(6%),英国(5%)和德国(4%)。 攻击目标则瞄准政府(34%),制造业(33%),教育(29%),医疗保健(24%)和其他服务(23%)。 二、主要的勒索软件 Maze、REvil、Sodinokibi 、NetWalker、Ryuk 5种主要的勒索软件家族及变体占所有勒索攻击事件的60%。 三、勒索赎金 勒索赎金的金额总体呈现明显上升趋势,这意味着勒索攻击利润空间增大,将进一步刺激勒索攻击行为的增多,同时对企业造成更大的危害。 在2019年第四季度,勒索软件受害者平均向勒索者支付了4.5万美元。到2020年第二季度,这一数字猛增了4倍,达到18万美元。而在2020年,平均赎金达到176254美元。 从不同勒索软件索要的勒索赎金上来看,Maze(迷宫)、Ryuk、Netwalker的平均赎金为前三,Maze索要的赎金甚至高达42万美金。 参考来源: https://www.msspalert.com/cybersecurity-research/datto-cybersecurity-report-ransomware-top-smb-cyber-threat/ https://privacy.blackfog.com/wp-content/uploads/2020/11/BlackFogRansomwareReport-Oct-2020.pdf

优秀的个人博客,低调大师

工业互联网发展制约因素盘点

1、实时性工业互联网未来发展过程中首先需要解决的瓶颈即是数据传输的实时性,这也是未来工业互联网期望取代传统自动化控制手段的重要标准。 虽然随着5G的全面铺开,无线传输方式的时延大幅度降低,逐步逼近有线传输方式的时延指标。但是生产企业因为惯性原因对于5G在未来的实际应用前景仍然持观望态势。部分企业因为无法承受任何由于传输速率波动而对生产可能造成的损失也会等待直至5G的可靠性真正得到确定后才会在生产过程中采用无线通信方式取代有线通信方式。 此外,工业生产环境的复杂性也带来了无线信号是否会受到复杂环境影响的疑问。相比传统有线通信方式,无线通信显然受周围环境影响较大,生产企业在已经通过有线通信手段确保了数据和信息传输的高可靠性现状下,是否有足够的魄力和开拓性去接受全新的无线通信手段是工业互联网转型和个人移动互联网用户当时终端转型中最本质的区别。 2、终端迭代速度的区别和个人用户终端迭代速度相比,工业互联网终端的迭代速度不会达到以半年为单位的速度。终端迭代速度直接关系到物联网应用层的开发速度和云计算SaaS服务铺开速度,因此各类针对工业互联网的落地场景开发需要重新找到合适的迭代节奏和升级节奏。 移动互联网服务和PC端互联网服务一直以来呈现的是软硬件交叉迭代的模式。软件升级迭代造成硬件配置如手机等终端必须跟上软件升级所需要的更高配置要求,而硬件的持续升级又反过来促进了更多软件的版本升级或创新。由此软硬件的滚动升级形成了迭代周期。工业互联网的迭代周期因为生产工艺的多样化,受众颗粒度更细于移动互联网,因此需要重新评估工业用户的迭代需求。 3、前置技术耦合工业互联网作为一个全新的体系,其发展速度受众多前置技术的发展情况影响,如:云计算、大数据、物联网、移动互联网、人工智能、区块链等。除和各前沿技术体系有强耦合关系外,从硬件角度细分到更为细致的颗粒度则芯片技术、异构服务器乃至CPU、GPU、FPGA等的发展都会影响工业互联网的发展速度。 因此当工业互联网初步体系形成后,落地场景开发完毕,继续从应用场景方向完善则需要依靠各前置技术的发展情况。从目前实际情况分析,云计算、大数据、人工智能的推进速度较快并且产业成熟;移动互联网场景逐步从增量转向存量;区块链作为一个单独的技术领域工业场景落地方向不明;硬件技术特别是芯片是发展工业互联网急需解决的瓶颈。 总结:依据以上分析,本文得出,发展工业互联网过程中需要解决得瓶颈因素有以下几个: 近期:A. 准确评定5G通信指标能适用哪些工业生产场景。 B. 物联网应用层开发、云计算SaaS服务开发迭代周期与工业互联网终端硬件迭代周期的适配性。 C. 落地场景的应用形成模块化,服务渠道化。 D. 形成成熟的工业互联网网络安全体系。 远期:E. 工业互联网发展与大数据、云计算、物联网、移动互联网、区块链的发展形成闭环,协同滚动发展。 F. 解决工业互联网发展在硬件上所受到的限制。 作者个人微信号:xiyoumocao

优秀的个人博客,低调大师

盘点:2019年勒索病毒灾难事件

大家好,我是零日情报局。 网络攻击千千万,勒索病毒占一半。今天我们就来盘一盘,2019年那些令人窒息的勒索病毒攻击。 今年3月份,全球最大铝制品生产商之一的Norsk Hydro遭遇勒索软件攻击,公司被迫关闭多条自动化生产线,震荡全球铝制品交易市场; 5月,国内某网约车平台遭黑客勒索软件定向打击,服务器核心数据惨遭加密,攻击者索要巨额比特币赎金,无奈之下向公安机关报警求助; 同在5月,美国佛罗里达州里维埃拉遭到勒索软件攻击,各项市政工作停摆几周,市政紧急会议决定支付60万美元的赎金。无独有偶,就在该市作出这个决定的短短一周内,佛罗里达另一个遭袭城市湖城也迫于无奈,向黑客支付价值近50万美元的比特币赎金。 6月,全球最大飞机零件供应商ASCO遭遇勒索病毒攻击,生产环境系统瘫痪,大约1000名工人停工,四国工厂被迫停产; 10月初,全球最大的助听器制造商Demant,遭勒索软件入侵,直接经济损失高达9500万美元; 10月中,全球知名航运和电子商务巨头Pitney Bowes遭受勒索软件攻击,攻击者加密公司系统数据,破坏其在线服务系统,超九成财富全球500强合作企业受波及; 10月16日,法国最大商业电视台M6 Group惨遭勒索软件洗劫,公司电话、电子邮件、办公及管理工具全部中断,集体被迫“罢工”; 要命的是,距离2019年结束还有两个多月,但勒索病毒的攻势可能还未触顶。 迫于勒索病毒疫情形势,10月9号,总部设在荷兰海牙的欧洲刑警组织与国际刑警组织发布的《2019互联网有组织犯罪威胁评估》特别指出,勒索软件仍是网络安全最大威胁,全球各界需加强合作,联合打击网络犯罪。 我们总结的五大勒索病毒家族 2019开年至今,异常活跃的勒索软件高达近百种,我们总结出其中几种最为凶猛。 1. GandCrab勒索病毒 在很多人看来,GandCrab勒索病毒绝对是2019年最传奇的角色。2018年GandCrab首次出现,之后经过5次版本迭代,波及罗纳尼亚、巴西、印度等数十国家地区,全球累计超过150万用户受到感染。还被国内安全团队称为“侠盗病毒”,因为他们后期的版本中避开了战火中的叙利亚地区。 今年6月,GandCrab勒索软件团队一条官方消息刷爆了互联网。他们高调宣布,仅一年半的时间里,团队已赚进超过20亿美金,人均年入账1.5亿美金,所以决定停止更新这个恶意程序,从此风光隐退。 (GandCrab勒索病毒团队官方声明,宣告钱赚够了,准备撤退,留下广大群众原地懵逼) 2. Sodinokibi勒索病毒 随着GandCrab退出,它的继任者Sodinokibi勒索病毒接力登场。Sodinokibi又称REvil勒索病毒,与GandCrab有着明显的代码重叠,因此很多人推测,GandCrab的部分成员不愿收手,另起炉灶而运营的Sodinokibi。 Sodinokibi的部分变种会将受害者屏幕变成深蓝色,并且以2500-5000美金不等的赎金全球撒网,在不到半年时间,该勒索病毒已非法获利数百万美元。 3. GlobeImposter勒索病毒 谈起2019的勒索病毒,就必须要提到GlobeImposter。该勒索病毒又称“十二生肖”病毒,因为它攻入计算机内部后,会以“十二生肖英文名+4444”的文件后缀,对文件进行加密。而GlobeImposter自2017年5月首发至今,已经历八个版本迭代,并且后缀也从“十二生肖”,变身希腊“十二主神”。 GlobeImposter病毒主要通过rdp远程桌面弱口令进行攻击,去年山东10市不动产系统遭到它的攻击,今年国内又有多家企业、医院等机构中招。 (GlobeImposter勒索病毒:文件后缀为希腊十二主神 + 666) 4. Stop勒索病毒 Stop勒索病毒,也被称作djvu勒索病毒,是2019年最为活跃的病毒家族之一。相比于动辄百万、千万美金的勒索软件,Stop走薄利多销的敛财路线,解密赎金需要980美元,并且72小时联系软件作者还可享五折优惠。该病毒主要利用木马站点,通过伪装成软件破解工具或捆绑在激活软件进行传播,用户中招率奇高。 5. Phobos勒索病毒 总的来说,Phobos是一款非常棘手的勒索病毒,它采用RDP暴力破解+人工投放双重方式传播,并且可以轻松加密受害者PC上的每个文件,把它们全部变成无法打开的.phobos。 Phobos病毒可能与Dharma病毒(又名CrySis)属于同一组织,并且该病毒在运行过程中会进行自复制,和在注册表添加自启动项,如果没有把系统残留的病毒体清理干净,很可能会遭遇二次加密。 (Phobos病毒的勒索信息) 总体来看,勒索软件种类激增、版本迭代, 但表现形式大体都逃不过数据加密、系统锁定、数据泄漏、诈骗恐吓等几大类,但从勒索软件黑产来看,却足以让人全球震惊,也无怪乎国际刑警组织会站出来发声。 我们所发现的一些攻击趋势 为了从勒索病毒的浪潮中拯救别人,我们还发现了2019年勒索病毒攻击的一些变化。 第一,从To C用户转向To B政企,赎金大幅涨价。 现在的勒索病毒,从广泛而浅层的普通用户,明显转向了中大型政企机构、行业组织。有安全报告表明,自2018年6月以来,全球针对To B的勒索攻击增加了363%。正如我们开篇提到的,全球最大的铝制品生产商、全球最大的助听器制造商、全球最大的飞机零件供应商等“全球最大系列”相继遭到攻击,这一切都是为了获取巨大的经济收益。除此以外,赎金也在疯涨。当年席卷全球的WannaCry,其解密赎金也只是区区300美金; 但如今——Sodinokibi勒索病毒,赎金在3个比特币(大约3万美元)起步;Ryuk勒索病毒, 11个比特币(大约12万美元)起步;至于MegaCortex勒索病毒,最高赎金更高达600个比特币,相当于一次叫价580万美元;而且,或许是受到GandCrab家族一年半内赚了20亿美金的鼓舞,MageCortex勒索病毒还特别在勒索信息中留下奋斗格言:“我们正在为赚钱而努力,这项犯罪活动的核心是获得赎金以后,以最原始形式归还您的宝贵数据。” 总之,看着这届黑客的勒索留言,能明确的感受到他们对于割韭菜的渴望。 第二,从垃圾邮件到利用漏洞传播。 虽然勒索病毒有垃圾邮件、RDP口令爆破、网页挂马等多种传播途径,但万物皆有漏洞,那可能就是勒索病毒进来的地方。 例如Sodinokibi勒索病毒就集成了多个漏洞进行传播,包括Windows内核提权漏洞(CVE-2018-8453)、Confluence漏洞(CVE-2019-3396)、UAF漏洞(CVE-2018-4878)、Weblogic反序列化漏洞(CVE-2019-2725)等;又例如,BitPaymer勒索软件就利用了Apple的0day漏洞;GETCRYPT勒索病毒则利用RIGEK漏洞工具包;别忘了,还有连续利用IE+Flash双重漏洞,假冒Chrome浏览弹窗传播的勒索病毒Spora勒索病毒。总之吧,勒索病毒利用漏洞打出组合拳,不仅中招率骤升,威胁层级也远超以往,从这个角度来讲,勒索病毒对杀软的拦截查杀技术,提出了更具挑战的要求。 (勒索病毒利用Apple的0day漏洞传播) 第三,打着勒索的幌子,实为获取情报或破坏数据。 今年有个案例就与窃取情报有关,9月份 MalwareHunterTeam披露了一次不同寻常的勒索病毒事件。它在感染目标中不断搜寻敏感信息,包括军事机密、银行信息、欺诈/刑事调查文件,行动举止完全不像为了图财。更可疑的是,该“勒索病毒”还会查找Emma、Olivia、Noah、Logan 和 James 等美国社会保障部列出的2018年最常见的婴儿名字。 (该冒牌“勒索病毒”搜索关键词) 除了窃取情报,还有其他更奇怪的攻击案例,有些“勒索病毒”会对文件玩了命似的多次加密,甚至对文件进行无法修复的破坏,完全断了收赎金的后路。而据分析,这很可能是APT黑客组织,在实施渗透、窃取国家企业机密数据之后,而进一步投递的破坏性勒索病毒。为的是以勒索病毒作掩护,毁坏数据,消除入侵痕迹,掩盖真实攻击意图。 第四,手动投毒在变多。 手动投毒的好处是精准定位,黑客可以瞄准高价值定制服务器和系统。 (黑客组织正在手动植入病毒) 所以手动植入病毒在增多,像Ryuk勒索病毒的感染和传播过程都是由攻击者手动执行的;而Globelmposter勒索病毒也不具备主动传播性,是由黑客渗透进入内网后,在目标主机上人工植入; 还有MegaCortex病毒也是攻击者设法获得管理凭据作为“手动闯入”的一部分。除了精准定位目标之外,这种方式还有其他好处:延长“驻留时间”,即从初始感染到安装勒索软件之间的一段时间。 在这种操作下,攻击者有时间对被感染网络进行分析,从而确定网络中最关键的系统,并获取感染这些系统的密码,随后才释放勒索软件,从而最大限度地造成损害。 更多零日反思 递增、扩散、高发的网络安全威胁,让我们开始思索: 高级持续性威胁呈常态化发展趋势的当下,“互联网更安全了”也许只是一种错觉,凶猛且异常活跃的勒索病毒,撕碎了人们沉醉的安全假象。 在网络这个从未有过绝对安全的世界,相对的安全也变得越发可贵。 网络安全最终是一直延续螺旋上升的“攻防”战,还是裂变出全新的终极模式,没有人可以给出确切的答案,我们唯有在攻防中不断探索,才能遇见安全的未来。

优秀的个人博客,低调大师

盘点2018云计算市场,变化大于需求?

今年,看似逐渐成熟,平滑走向落地的云计算的内部其实正发生着“激烈”的变化。2018年,云计算厂商们都在不遗余力的抢占“地盘”,与此同时,云技术也在落地过程中不断的进化以便更好的满足客户需求。 再有一个月,2018年就将成为“过去式”了。这一年,参加了很多场活动,见了很多行业内的朋友,收获颇丰,感慨也颇多,尤其是对今年的云计算市场,又有了重新的认识。 又到年底了,今天我们就来聊聊云计算市场这一年的变化。 云不再仅仅提供水和电的功能 云计算发展之初,对于云这个概念很多人是很难理解的。记得当时被用来解释什么是云计算的例子——云计算就像我们的水和电一样,有了云计算,我们就不再用每家都打井喝水,买柴油机发电,只需要我们从云端直接购买我们需要的计算力就可以了,就能为我们提供源源不断的计算资源。 在早期,这个解释的确让很多像我这样的“初期小白”对云计算有了一个大体的理解。云计算厂商就像自来水公司和发电厂一样,由他们统一的提供计算力,自来水公司的管道,电厂的电线,就像我们今天的网线一样,满足我们的生活需求。 但随着云计算的发展,人们发现,云计算与水和电也有的一些区别,云计算厂商不仅仅需要提供“水”和“电”,还要告诉企业如何将这些“水”和“电”应用到自己的公司。这也就是后来人们将云计算分为三层架构IaaS、PaaS和SaaS,“水”和“电”更多的提供的只是IaaS功能,而PaaS和SaaS功能其实往往成为一个云计算厂商的“成败”关键。 其实,随着云计算技术的发展,厂商之间的IaaS技术差距反而会逐渐缩小,而且云计算市场是个更自由的市场,竞争参与者更多,这样IaaS厂商的盈利空间就会越来越小,所以,如今,PaaS和SaaS往往是决定这家云计算厂商在市场上决定胜负的关键。 云计算服务提供商需要做的事情是帮助企业将应用管理起来,运维起来,而不是向他们讲述这些概念。云计算需要打上行业属性。对于云计算服务提供商来说,聚焦行业是唯一出路。打造典型案例、总结行业特性、形成行业普适解决方案,快速复制,这才是推动中国云计算发展、推动中国企业转型、推动中国经济社会发展的必经之路。 多云已到来,数据是核心 多份关于云计算的调查报告显示,目前越来越多的企业用户已经开始采用或计划采用云计算服务,云服务已经成为大多数企业首选的服务提供方式。 但随着云计算服务在企业中的应用,人们发现,单一的云服务几乎很难满足企业用户的所有需求,一个企业,对计算的需求可能是多样化的,有的需要安全性,有的需要性价比,有的则需要合规性,等等,这样单一属性的云很难在企业用得到广泛应用。 于是,多云”应运而生“。所谓的多云,其实是包含私有云、公有云、混合云、物联网、人工智能、区块链、IoT、边缘计算都在一起的状态,这才是一个企业采用云的真实的现状。企业在采用云的时候,可能包含几项或者全部,但单一的情况几乎满足不了企业的需求。 对大多数IT部门来说,强制采用单一标准并不合理,但选择过多标准会带来不必要的开销。大多数运营正常的企业可以容忍每个类别有2到6个选择。多云的状态已经越来越得到用户的认可,厂商们也看到了这一趋势,亚马逊和谷歌提出了“反向混合云”模式,这是一种以公有云为主,私有云为辅,将公有云技术在企业数据中心中实现的模式,典型行业场景以互联网为主。 在走向多云的道路上,云计算服务提供商各有各的方式。与此同时,传统的IT基础架构提供商们也提出了多云状态下的基础架构服务。一方面搭建自己的私有云平台,另一方面,与全球领先的云计算厂商合作,与AWS、Azure、OpenStack构建混合云解决方案。 多云部署允许组织在不同的云中部署复杂的工作负载,同时仍然单独管理每个云环境。这种系统增加的效率将使其成为未来一年云计算的主导力量。实际上,调研机构IDC公司预测到2018年85%以上的企业IT部门将投资并采用多云架构。 拨开多云的迷雾,数据才是企业的核心资产。多云再复杂,是一个现状,亦是一种手段。云计算服务提供商需要以企业数据为核心,通过对企业IT环境的理解,来有针对性的进行企业IT环境的改造,纳管现有环境,立足企业数据,按需提供云计算服务。 数据是企业的“命脉”,保证数据的自主性和安全性是企业的基本策略,企业的核心数据和非核心数据分别选择私有云和公有云存放。为了保证业务的连续性,或原有的应用架构在短期内无法适应公有云,企业将原有应用保留在传统数据中心,而将新应用部署在公有云上。传统的IT架构不能灵活、快速扩展IT资源,企业将公有云作为IT资源的补充。多云的确可以保证企业数据的需求。 云+IOT+AI未来的云模式? 在前面的文章中我们也提到,云计算已经不是在简简单单提供计算的能力,还需要根据客户的需求提供更多的行业特性的需求,而数据则是每家厂商的核心“资产”,如何让这些资产与云结合,发挥出最大的价值,是未来决定云厂商成败的“关键”。 如今,云计算+AI的概念已经被越来越多的厂商认可,AI的加持将云计算厂商能够更好的去企业数据中心了解到这个公司的特性,从而得到更多的帮助企业成长的源动力。 企业原有数据在云的加持下成为增长的动力,那么企业未来的数据收集同样重要,云+AI+IoT的方式则让云厂商掌握到了企业用户发展的命脉。在云+AI+IoT的架构中,云计算是企业发展的基石,AI+云就相当于一个人的大脑,而物联网就是其眼睛、鼻子、耳朵和四肢等。三者之间相辅相成,合则互利。 根据调研机构Gartner公司的预测,到2020年,全球物联网设备的数量将上升到至少200亿台。知道这意味着什么吗?随着物联网设备数量的增加,人们应该期望云计算具有更重要的作用。 很快,人们将需要一个基于云计算的个人存储驱动器来保存其所有个人移动设备上创建的各种文件。这包括文档、图像和视频。这些和其他一些需求将导致云计算以创新的方式驱动物联网的发展,人们应该期望在2018年看到大量的实际应用。 未来,云+IOT+AI结合的模式将成为更多的企业采用云计算的方式,而云计算服务提供商们也将丰富自己云服务的方式,为云服务加持上更多的发展动力。 原文发布时间为:2018-12-03 本文作者:科技云报道 本文来自云栖社区合作伙伴“科技云报道”,了解相关信息可以关注“科技云报道”。

优秀的个人博客,低调大师

处理大数据的技术大盘点

信息技术蓬勃发展,每天都有新产品问世,同时不断地形成新的趋势。这种不断的变化使得信息技术和软件专业人员、开发人员、科学家以及投资者都不敢怠慢,并引发了新的职业机会和有意义的工作。然而,竞争是激烈的,与最新的技术和趋势保持同步是永恒的要求。 对于专业人士来说,在全球IT行业中,入行、生存和成长都变得日益复杂。 技术的快速发展从根本上改变了数据产生、处理、分析和消耗的方式。组织机构以及互联网捕获和分析的数据量有了巨大的增长,互联网也推动了大型数据来源和有效数据处理的需求。 想在IT这样一个充满活力的行业中高效地学习,就必须做到:对核心技术概念和设计通则有很好的理解;具备适应各种平台和应用的敏捷性;对当前和即将到来的行业趋势和标准有充分的认识。 为了满足这些需求,许多技术创新已经应用于操控、处理和分析我们所谓的“大数据”。大数据相关创新中最受欢迎的领域包括分布式和并行计算、Hadoop、大数据云以及大数据内存计算。如何管理大数据、掌握大数据的核心技术、理解大数据相关的生态系统等,是作为大数据开发者必须学习和熟练掌握的。 ​本系列书以“大数据开发者”应掌握的技术为主线,共分两卷,以7个模块分别介绍如何管理大数据生态系统、如何存储和处理数据、如何利用Hadoop工具、如何利用NoSQL与Hadoop协同工作,以及如何利用Hadoop商业发行版和管理工具。 本系列书涵盖了大数据开发工作的核心内容,全面且详尽地涵盖了大数据开发的各个领域。 本文的核心关注点是带你领略使大数据解决方案成为可能的各种技术的基础知识。 值得注意的是,在所有这些技术中,Hadoop或许是大数据领域最流行的名词。Hadoop是一个用于存储和处理不同类型数据的开源平台。它使数据驱动的企业从可用数据中,快速获得最大的价值。 大数据的分布式和并行计算 分布式计算是一种在网络中连接多个计算资源,将计算任务按资源分布,从而提高计算能力的方法。分布式计算比传统计算更快捷、更高效,可在有限的时间内处理大量的数据,因而具有巨大的价值。 为了进行复杂的计算,独立个人计算机的处理能力也可以通过添加多个处理单元得以增强,它通过将复杂任务分解成子任务、同时执行单独子任务的方法,来执行复杂任务的处理。这样的系统通常被称为并行系统。处理能力越强,计算速度就越快。 这两种方法非常适用于大数据分析。让我们来看看这是为什么。 如果不存在一个大的时间约束,组织会选择将他们的数据移动到外部机构中去进行复杂的数据分析。这种方法是相当高效的,因为这些机构专注于提供巨大的数据源和资源进行数据处理和分析。这种方法也是经济的,因为与组织机构在内部进行这些任务所导致的费用相比,这些机构收取的费用是较低的。 图1-1-1显示了分布式系统和并行系统的比较。 此外,如果组织机构自行分析数据,在大多数情况下,由于成本问题,他们仅仅捕获和分析了可用数据的一个样本,而不是所有的数据。这一分析的结果,几乎等同于分析样品的结果。 今天的市场和企业竞争残酷。同时,可用的数据量、数据多样性和数据速度以天文数字激增。为在市场上获得优势,组织机构觉得需要在很短的时间内分析所能得到的所有数据。这显然导致了对大容量存储和处理能力的需求。 图1-1-1 分布式系统和并行系统的比较 今天的技术发展已经推动和确立了新的复杂数据的存储、处理、分析方法,并创造了更强大的硬件。 为了利用这些强大的硬件执行复杂的数据分析,编写了新的软件,新的软件遵循以下步骤: (1)把工作分解成更小的任务; (2)调查所有手头的计算资源; (3)在网络中高效地分配任务到互联的节点或计算机。 软件也开始被用于防范资源故障。这通过利用虚拟化,将作业委托给另一个资源来完成。 尽管有这些技术上的发展,但是延迟的问题仍然存在。延迟是系统延时的总和,因为涉及大量数据的单个任务会造成延时。如果你使用过无线电话,就可能亲身体验过延迟——你和来电者之间的通信迟滞。 这种延迟会导致组织内部以及和客户及其他外部利益相关者之间的系统执行、数据管理和通信速度的下降。 常规的大数据应用通常会遭受延迟问题的困扰,因此性能水平较低。这对企业来说是一个潜在的问题。只要企业允许在后台从事数据工作,它们就可以处理延迟;然而,只要形势需要在企业和消费者之间快速通信以及快速访问和分析数据,问题就浮出水面了。 作为应对这些问题的措施,分布式和并行处理技术不仅为在一段时间内处理大量数据提供了具体解决方案,还提供了处理延迟的方案。 通过分布式计算的大数据处理流程如图1-1-2所示。 正如你在图1-1-2中看到的那样,节点是包含在一个系统集群或机架内的元素。节点通常包括CPU、内存和某些种类的磁盘;但是,节点也可以是依赖附近存储的刀片CPU和内存。 在大数据环境中,通常聚合这些节点以提供伸缩性;这样,随着数据量的增长,可以添加更多的节点到集群中,这样它可以不断扩展以适应不断增长的需求。分布式计算也使负载平衡和虚拟化成为可能。负载平衡是一种在多台计算机之间分布网络工作负载的技术。虚拟化是指创建一个虚拟环境,包括硬件平台、存储设备和操作系统(OS)。 图1-1-2 大数据分布式计算模型的工作流程 分布式计算的发展帮助组织机构利用了所有的可用数据(而不仅仅是一个样本),在内部分析他们的复杂数据。 并行计算技术 表1-1-1展示了一些当今用于处理每天产生的高速、海量数据的并行计算技术。 表1-1-1 并行计算方法 1.1.2 虚拟化及其对大数据的重要性 实现虚拟化的过程是为了把可用的资源和服务从基础物理环境中隔离开来,使你在单一物理系统中建立多个虚拟系统。公司实施虚拟化,以提高处理不同工作负载组合的性能和效率。 解决大数据的难题通常需要管理大量高度分布的数据存储,使用计算和数据密集型应用程序。虚拟化提供了更高的效能,使大数据平台成为现实。虽然从技术上说虚拟化不是大数据分析的需求,但大数据环境中使用的软件框架(如MapReduce)在虚拟化环境中更有效率。 除了封装、隔离和分区等特性,大数据虚拟化成功的最重要需求之一是具有合适的性能水平,以支持大量不同类型数据的分析。 当用户开始利用如Hadoop和MapReduce这样的环境时,拥有一个可伸缩的支撑基础设施也是至关重要的。虚拟化在IT基础设施的每一层都提高了效率,并提供了大数据分析所需的可伸缩性。Hadoop简介 在处理大数据源时,传统的方法达不到要求。你需要一个设计用于应对大数据所提出的挑战的产品和技术集合。Hadoop是一个开源平台,被设计用于处理数量巨大的结构化和非结构化数据——大数据。处理这样的海量数据,需要深入的分析技术,这需要更强大的计算能力。 这种海量数据分析在传统上已经可以通过分布式计算完成。除此之外,用户还可以选择使用Condor等现有系统进行计算机网格调度;然而Condor没有自动数据分布功能;除了计算集群之外,它还需要一个独立的系统区域网络,同时还需要一个通信系统(如MPI)来实现在多个节点之间的协调。这个编程模型不仅很难,而且增加了错误的风险。 Hadoop引入了简单编程模型,它可以让用户创建和运行分布式的系统,而且速度也相当快。Hadoop利用了CPU核心的并行计算工作原理,能够有效、自动地在机器之间分布数据。 下面是Hadoop的一些显著特征。 Hadoop可以工作在大量不共享任何内存或磁盘的机器上。这解决了高效存储和访问这两个共生的大数据问题。 因为Hadoop将数据分布于不同服务器,所以当数据加载到Hadoop平台上时,存储得到了改善。 因为Hadoop可以跟踪存储于不同服务器上的数据,访问得到了改善。 由于Hadoop使用所有可用处理器并行运行计算任务,改善了处理性能。这样,不管是应对庞大多样的数据还是处理复杂的计算问题,Hadoop都保持了性能。 Hadoop通过保留多份在服务器失效时可用的数据备份,提高了恢复能力。 那么Hadoop是如何使用多个计算资源来执行一个任务的呢? Hadoop的核心部分有如下组件。 Hadoop分布式文件系统:可靠、高带宽、低成本的数据存储集群,便于跨机器的相关文件管理。 Hadoop的MapReduce引擎:高性能的并行/分布式 MapReduce算法数据的处理实现。 Hadoop被设计用来处理大量的结构化和非结构化数据,以Hadoop集群的形式在商业服务器机架上实施。每个服务器独立进行自己的工作并返回它的响应。也可以从集群中动态移除或添加服务器,因为Hadoop能够检测变化(包括失效),并根据这些变化进行调整,持续运行而无须中断。 MapReduce是一种编程模型,可将任务映射到不同的服务器上,并把响应归约为一个结果。如前所述,Hadoop MapReduce是一个由Apache项目开发和维护的MapReduce算法实现。 该算法提供了将数据分解为易于管理的块,在分布式集群上并行处理数据,然后使数据可供用户消费或额外处理的能力。 MapReduce的映射组件将编程问题或任务分布到大量系统中,并用平衡负载和管理失效恢复的方式处理任务的存放。在分布式计算完成之后,另一项功能归约聚合所有的元素,提供一个结果。 当Hadoop接收到一个索引作业时,组织机构的数据首先被加载到Hadoop软件中,然后,Hadoop将数据分为不同的块,把每一块数据发送到不同的服务器。Hadoop通过将作业代码发送到所有存储相关数据块的服务器的方式来跟踪数据。此后,每个服务器将作业代码应用于所存储的部分数据,并返回结果。 最后,Hadoop整合来自所有服务器的结果,并返回结果,如图1-1-3所示。 图1-1-3 MapReduce中作业跟踪流程的展示 下面的例子有助于更好地理解Hadoop是如何工作的。 考虑一个城市里的所有的电话呼叫记录。假设研究人员想要知道在特定事件发生时打电话的大学生数量。索引查询将指定相关的用户信息和事件的时间。每个服务器将搜索它的呼叫记录集合,并返回匹配查询的那些记录。Hadoop将所有这些集合组合成一个结果。 假设,所有的电话呼叫记录都以csv格式存储在服务器上。首先,数据在Hadoop上加载,接着用MapReduce编程模型处理数据。 假设在csv文件中有5列: user_id; user_name; city_name; service_provider_name; call_time。 要找到在特定时间内打电话的用户(学生)数量,学生是由user_id标识的。 最终的输出是在特定时期内(如晚上9~10点)打电话的用户总数。 为了得到最终的输出,数据逐行通过各个映射组件。在映射作业完成之后,Hadoop框架整理或排序并分组这些数据,并将其发送到提供最终输出的归约组件里。 Hadoop平台也有利于在多台机器上的数据存储。这项能力允许一个企业使用多台商业服务器,并在每一台上运行Hadoop,而不是建立一个整合的系统。 云计算和大数据 任何组织机构为了存储和管理大数据,都需要预测硬件和软件的需求。需求可能随着时间的变化而变化,这可能导致资源利用不足或者是过度利用。此外,硬件设置和软件安装都需要组织机构的大量投资,组织机构通常会面临资源、成本和利用率的问题。 云计算是一种提供共享计算资源集合的方法,这些资源包括应用程序、存储、计算、网络、开发、部署平台以及业务流程。云通过提供可水平扩展的、经过优化的、支持大数据实际实施的架构,在大数据世界中扮演着重要的角色。要在现实世界中运营,云必须实现通用的标准流程和自动化。图1-1-4显示了云计算模型。 图1-1-4 云计算模型的工作 基于云的应用平台使应用程序很容易获得计算资源,并根据使用的服务和组件为相应的资源付款。在云计算的背景下,这样的功能被称为弹性——只需点击按钮和支付,就可以动态地调节和访问计算资源;然而,在这样的情况下,组织机构需要监控和控制云计算资源的使用,否则产生的费用会出人意料地大。 在云计算中,所有的数据被收集到数据中心,然后分发给最终用户。而且,自动数据备份和恢复还能够确保业务连贯性。 云与大数据分析互补的主要原因是:和大数据一样,云也使用分布计算。 1.3.1 大数据计算的特性 下面是一些云计算适于大数据分析的特性。 可伸缩性:即使组织机构提高了硬件的处理能力,对于在新硬件上运行的软件,它们也可能需要改变架构和面临新问题。云对此提供了解决方案。它通过使用分布式计算提供了可伸缩性。 弹性:云解决方案允许客户根据需求,付费使用恰当数量的云服务。例如,某企业预计在商店促销时会有更多的数据,可以在这段时间购买更多的处理能力。另外,客户不必事先指定使用量。 资源池:使用类似计算资源的多个组织机构不需要对其单独投资。云可以提供这些资源,而且,因为这些资源被许多组织机构使用,云的成本得以降低。 自助服务:客户可以通过用户界面直接访问云服务,选择他们想要的服务。这是自动的,不需要人为干预。 低成本:企业不需要为了处理大数据分析等大型操作,对计算资源做大规模的初始投资。它们可以注册一个云服务,在使用的时候进行支付。在这个过程中,云供应商享有规模经济的优势。这也有利于客户。 故障容错:如果云的一部分失效了,其他部分可以接管并为客户提供不间断的服务。 1.3.2 云部署模型 云部署模型回答了关于所有权、操作和使用的问题。公共和私有是两种云部署模型。 公共云:公共云是由一个组织机构拥有并运营的,供其他组织机构和个人使用。公共云提供一系列的计算服务。对于每类服务,为特定类型的工作负载进行了专门化。通过专门化,云可以定制硬件和软件以优化性能。定制使得计算过程具备了高度可伸缩性。例如,一个云可以专注于为了YouTube或Vimeo上的视频直播而存储视频,并为处理大流量而优化。 对于企业来讲,公共云提供了经济的存储解决方案,是一种处理复杂数据分析的有效方式。这些因素有时比安全和延迟的问题更为重要,这是公共云的固有特性。 私有云:私有云是组织机构为了自身目的而拥有和运营的。除了员工,组织机构的合作伙伴和客户也能使用私有云。 私有云是专为一个组织机构设计的,并结合了组织机构的系统和流程,包括可以集成到云中的组织机构业务规则、管理政策和合规性检查。因为多个客户提供了不同的规格,有些事情需要在公共云上手工操作,但可以在私有云中自动进行。因此私有云是高度自动化的,也受到了防火墙的保护。这减少了延迟,提高了安全性,使其成为大数据分析的理想选择。 1.3.3 云交付模型 正如前面所讨论的,云将硬件、平台和软件作为服务交付,因此,云服务分为如下几类。 基础设施即服务(IaaS):基础设施是指硬件、存储和网络。当你为了在云端保存假日照片而付费时,使用的就是公共IaaS。当一个员工在组织机构的备份服务器上保存工作报告时,该员工使用了私有IaaS。IaaS将硬件、存储和网络作为服务提供。IaaS的例子有虚拟机、均衡负载器和网络附加存储。 企业通过使用公共云IaaS,可以在物理基础设施上节省投资。企业可以选择操作系统,而且可以利用IaaS建立具有可伸缩存储和处理能力的虚拟机。 平台即服务(PaaS):PaaS提供了一个编写和运行用户应用程序的平台。平台指的是操作系统,它是中间件服务、软件开发和部署工具的一组集合。PaaS的例子有Windows Azure和Google App引擎(GAE)。 当一个组织拥有PaaS私有云时,业务单元的程序员可以按需创建和部署应用。PaaS使得尝试新的应用变得更加容易。 软件即服务(SaaS):SaaS提供可从任意地方访问的软件。客户可以在云上使用软件,而不需要购买和在自己的设备上安装。这些软件应用程序提供月度或年度合同。为了使SaaS正常工作,基础设施(IaaS)和平台(PaaS)必须到位。 组织机构可以在它的私有云中维护定制开发的软件,并将其链接到存储在公共云中的大数据。在一个混合云中,应用程序可以利用私有云和公共云的优势,有效地分析数据。 1.3.4 大数据云 在云中,大数据有许多种部署和交付模式。大数据需要分布式的计算机集群能力,这就是云的架构方式。各种云的特性使其成为大数据系统的重要组成部分,是一个理想的大数据计算环境。 下面是云在大数据领域应用的一些例子。 公共云中的IaaS:使用云提供商的大数据服务基础设施,提供几乎无限的存储和计算能力。 私有云中的PaaS:PaaS供应商开始将大数据技术(如Hadoop和MapReduce)加入其PaaS产品中,这消除了管理单个软件和硬件元素的处理复杂性。 混合云中的SaaS:许多组织机构都认为需要分析客户的呼声,特别是社交媒体上的意见。SaaS供应商提供了分析平台以及社交媒体数据。此外,企业CRM数据可以在私有云中用于这样的分析。 1.3.5 大数据云市场中的供应商 已有和新建的云服务提供商很多,其中一些专门为大数据分析提供资源。我们将讨论其中3个。 Amazon IaaS(称为弹性计算云,即Amazon EC2)的开发是该公司用于自身业务的大规模计算资源基础设施的产物。这些基础设施实际上没有被完全利用,因此,亚马逊决定将其租出去并赚取收入。“弹性”这个词在字面上是有道理的,因为这些资源可以以小时为单位缩放。 除了Amazon EC2,Amazon Web Services(AWS)还提供以下服务。 Amazon MapReduce:利用Amazon EC2和亚马逊简单存储服务(Amazon S3),提供高成本效益的大数据量处理的Web服务。 Amazon DynamoDB:NoSQL数据库服务,可以在固态驱动器(SSD)上存储数据项和复制数据,具有高可用性和耐久性。 Amazon简单存储服务(S3):在互联网上用于存储数据和用于网络规模计算的Web接口。 Amazon高性能计算:具有高带宽和计算能力的低延迟网络,能解决教育和商业领域问题。 Amazon RedShift:PB级规模的数据仓库服务,以高成本效益方式利用现有商业智能工具进行数据分析。 谷歌有下列为大数据设计的云服务。 Google计算引擎:一种安全、灵活的虚拟机计算环境。 Google BigQuery:一种桌面即服务(DaaS)产品,以SQL格式的查询为基础,高速搜索大数据集。Google预测API:在每一次使用中,从数据中识别模式、存储模式并改进模式。 在Windows和SQL抽象的基础上,微软的PaaS产品中已经包含了一套开发工具、虚拟机支持、管理和媒体工具以及移动设备服务。对于具有深厚的.NET、SQL Server和Windows专业知识的客户来说,采用基于Azure的PaaS十分简单。 为了解决将大数据集成到Windows Azure解决方案的新需求,微软还添加了Windows Azure HDInsight。HDInsight基于Hortonworks数据平台(HDP),据微软所说,HDInsight提供了与Apache Hadoop 100%的兼容性,支持与微软Excel和其他商业智能工具的连接。此外,Azure HDInsight还可以部署到Windows Server上。 HDInsight服务使Hadoop可作为云中的一个服务使用。它以更为简单和高成本效益的方式提供了与Hadoop分布式文件系统(HDFS)及MapReduce相关的框架。HDInsight服务的特性之一是高效的数据管理和存储。 HDInsight也使用Sqoop连接器,使用Sqoop连接器可以从Windows Azure SQL数据库将数据导入HDFS,也可以从HDFS导出数据到Windows Azure。 1.3.6 使用云服务所存在的问题 在决定实施云解决方案——或者任何解决方案之前——组织机构必须仔细地检查该解决方案的优势和劣势。我们已经了解了赞成使用云服务的论点。以下是在使用云服务中存在的一些问题,以及组织机构应当采取的预防措施。 数据安全:为了保持组织机构的数据安全,云提供商必须仅允许组织机构的指定人员访问数据。组织机构必须确保它们与云服务提供商的协议涵盖了数据安全。 性能:必须在协议中尽可能量化地规定云性能参数。必须清楚地注明例外情形。大多数云提供商有一份现有的服务水平协议(SLA)。SLA是指规定了服务使用者和服务提供商之间关于服务质量和时效性的所有条款和条件的文件。 合规性:云必须符合业务的合规性需求,特别是企业所在行业的监管合规性。例如,医疗保健机构必须保护患者信息的机密性,而云提供商必须保证所需的安全等级。 法律问题:由于数据存储的位置,可能会出现一些法律问题。组织机构必须确保云的物理资源位置不会带来任何法律问题。 成本:虽然云通常比内部解决方案便宜,但是组织机构应该意识到使用云涉及的所有费用,并以受控的方式使用该服务,持续监控使用情况。 数据传输:组织机构应当确保云提供商接收数据的方法是可行的和经济的。 大数据内存计算技术 现在,我们已经知道,大数据分析的处理能力需求可以通过分布式计算来满足。处理能力和速度还可以通过内存计算(IMC)进一步得到提升。 如果数据以行和列呈现,其处理是简单和快速的。这样的数据被称为结构化数据,它有一组变量,每个变量取得特定的值;然而,今天正在生成的数据中许多都是非结构化的。 大数据分析必须能够处理数据量和占比都不断增长的非结构化数据。IMC为这一能力的实现提供了解决方案。 今天,组织机构希望持续跟踪消费者的活动并立即做出反应。生产过程和质量控制也跟踪了大量的信息,并且需要快速反应。这种实时分析需要大量的处理能力,IMC使之成为可能。 早些时候,数据存储在称为辅助存储器的外部设备上。需要该数据工作的时候,用户必须使用输入/输出通道从外部源访问它。数据被临时移动到主存储器中进行处理。这个过程很耗时,但节省了金钱,因为辅助存储器比主存储器便宜。 IMC使用在主存储器(RAM)中的数据,这使得分析更快。同时,主存储器的成本已经降下来了,因此,它可以用于存储数据。该应用程序驻留在和数据存储同样的地址上,因此分析的速度更快。数据库查询和事务还是像先前工作的方式一样工作,但会更快地返回结果。 结构化数据存储在关系数据库中(RDB),使用SQL查询进行信息检索。非结构化数据包括广泛的文本、图像、视频——网页和博客,商业报告和新闻稿,电子邮件和短信。信息一般通过关键字搜索来检索。 存储这类信息的数据库被称为NoSQL数据库。如果你通过在运营商网站上填写一个表格,查询一个电话号码,访问的就是结构化数据。如果你在Google中输入一个名字,找到该人的网页、博客和生日视频,访问的就是非结构化数据。 IMC处理大数据的数据量,NoSQL数据库处理大数据的多样性。 《大数据技术与编程基础》 Wrox国际IT认证项目组著 大数据”近年成为IT领域的热点话题,人们每天都会通过互联网、移动设备等产生大量数据。如何管理大数据、掌握大数据的核心技术、理解大数据相关的生态系统等,是作为大数据开发者必须学习和熟练掌握的。 本书为第1卷,共4个模块,分别介绍大数据基础知识、大数据生态系统的管理、HDFS和MapReduce以及Hadoop工具(如Hive、Pig和Oozie等)。本书适用于想成为大数据开发者以及所有对大数据开发感兴趣的技术人员和决策者阅读。 《大数据分析与预测建模》 Wrox国际IT认证项目组著 本书首先提供大数据的概览,介绍大数据概念及其在商业中的应用、处理大数据的技术、Hadoop生态系统和MapReduce的相关内容,然后介绍如何理解分析、分析方法与工具,重点讲解流行分析工具R,介绍如何将数据集导入R和从R导出数据、在R中如何操纵和处理数据,之后详细介绍R中的函数和包、R的描述性统计、R中的图形分析、R中的假设检验、R中的线性回归、非线性回归、聚类分析、决策树、R和Hadoop的集成及Hive,通过这些实战内容,使读者掌握R语言在数据分析中的全面应用。通过本书,读者能对大数据概念、重要性及其应用有全面的了解,熟悉各种大数据分析工具。 本书适用于想成为大数据分析师的人员以及所有对大数据分析感兴趣的技术人员和决策者阅读 ​《机器学习、大数据分析和可视化》 Wrox国际IT认证项目组著 本书为第 2卷,首先介绍机器学习的类型和方法,R上的图模型和贝叶斯网络、人工神经网络、使用PCA和因子分析降维法以及支持向量机,并讲解如何用R语言实现各种网络,然后介绍大数据解决方案工程、社交媒体分析和文本分析、移动分析和大数据可视化,**后通过几个实际案例讲解大数据分析在各行业中的应用。 本书适用于想成为大数据分析师的人员以及所有对大数据分析感兴趣的技术人员和决策者阅读。 邀请10名好友关注异步图书10天,即可免费获得异步新书。 点击阅读原文,购买《大数据技术与编程基础》 阅读原文

优秀的个人博客,低调大师

盘点物联网沙场上的各类“武器”

关于低功耗广域网络在物联网通信层的作用,我们可以形象地用战场上的各类武器来做类比。战场上常用的枪械在战斗中发挥着不同的作用,各类枪械配合才能实现全方位的火力打击,而物联网通信层的各种连接方式正好可以和枪械做一些对比,举例来说,手枪、冲锋枪、重机枪、狙击枪可以和蓝牙、WiFi、4G、低功耗广域网络形成类比:工业物联网 (1)手枪和蓝牙:在战场上手枪多用于近战和自卫,一般有效杀伤距离约50米,当然它无法形成高频的火力压制,主要在于近距离低频率但精准杀伤力。这个可以和通信方式中的蓝牙形成类比,因为蓝牙一般有效距离也非常短,且数据传输速率有限,但在近距离中点对点的方式保障了数据传输的有效性,就像手枪近距离点对点射击的杀伤力一样。 (2)冲锋枪和WiFi:冲锋枪是一种单兵近战武器,可以突然开火,射速高,火力猛,适用于近战或冲锋,但由于枪弹威力较小,有效射程较近,一般只有200-300米,有效覆盖范围有限,射击精度也较差。而WiFi可以看做是物联网通信层的“冲锋枪”,能让人们体验较高的网络速率,就像冲锋枪的射速和火力一样,但有效覆盖范围有限,因而只适合局域网络的设备连接。 (3)重机枪和4G:重机枪作为战场上重型武器,有好的远距离射击精度和火力持续性,能较方便地实施超越、间隙、散布射击。主要用于歼灭和压制1000米内的敌集团有生目标、火力点,典型的特点是射程远、火力猛。这就类似于现有的4G高速移动网络,能够实现高速带宽,而且可以实现较远的传输距离,适合于广域、大数据量传输的设备连接。(4)狙击枪和低功耗广域网络:战场上还有一种让人闻风丧胆的武器即狙击步枪,它的射击精度高、距离远、可靠性好,军事上主要用于打击高价值军事目标,如指挥员、车辆驾驶员、机枪手等,有效射程能达到1000米以上,甚至可以摧毁对方2公里的轻型防护目标。不过狙击枪一般只是点对点射击,火力并不是其优势,但平均杀伤力绝对是最高的。低功耗广域网络就和这一武器类似,具有较远的传输距离,而带宽很低,但每次发送的都是设备感知的有效数据,就像狙击步枪少量的射击可以有效打击重要目标一样。

优秀的个人博客,低调大师

物联网开发者安全误区盘点

随着物联网时代到来,智能设备日新月异、层出不穷,智能无线连接的优势也日益凸显,成为企业业务成功的关键。市场的成熟带来众多的开发工具与知识,大幅加快了物联网创新速度,开发者和产品制造商如今能够更加游刃有余地创建新的可穿戴设备或智能家居产品,进而使生活更加便利、更易操控、效率更高。然而,人们对于安全和隐私的担忧也随之而来,蓝牙技术联盟在与包括新创企业和知名大品牌在内的27,000多家成员公司的合作中发现,在新产品开发及其安全策略等方面,有5大错误始终存在。希望这篇文稿可以为开发者解释这些误解,让他们更加明确地进行蓝牙(Bluetooth?)开发。 错误1:认为安全等同于麻烦 早期的安全程序往往给开发者和消费者带来“麻烦”的感觉,这也导致一些最新实践未能及时被采用。比如,开发者们常常错误地认为蓝牙技术配对太难操作,会让消费者很难招架。但事实上这种情况自2004年早已改观,蓝牙规格的更新让设备连接过程更简易,包括加密、信任、数据完整性、以及用户数据隐私保护在内的安全功能可以提供更加完备的安全保障。蓝牙还能根据用户的要求和设备的能力,提供多个选项,让连接更易操作、更安全。 如今,开发者们可以根据产品情况和消费者需求灵活地整合安全功能,无论从技术本身和用户体验都有很大的改进。最新版本的蓝牙4.2安全功能达到了政府级美国联邦信息处理标准(Federal Information Processing Standard,简称FIPS),提供AES加密、椭圆曲线Diffie Hellman(Elliptic Curve Diffie Hellman,简称ECDH)密码体制、以及全新的低功耗安全连接。或许很多功能的实现并不要求ECDH密钥生成或128-位AES加密,但只要开发者欲选择更安全的连接方式,蓝牙是具备能力实现高水平加密的标准。 错误2:缺乏无线技术基本知识 关于无线设备的诸多困惑源于缺乏基本的相关知识,科幻和间谍电影中种种关于无线数据传输、追踪能力、设备智能程度的夸张描写,使得人们常常误认为Beacon的功能是用来追踪他人或用户,但Beacon的作用只是发送广播信号。依据设备是否有收到信息,智能设备上的APP能够估算用户的在店内的相对位置,用户只有下载并激活APP之后,才可能连接至这些信息,而Beacon自身是无法采集任何数据的。 开发者们需要与消费者沟通的不只是设备的功能,还有APP的功能,包括互动性、到位的安全因素、以及消费者应如何进行安全控制,这样才能有效消除大众对于设备安全常见的恐惧和误解。例如,蓝牙配对不仅仅是建立设备连接的一种方法,更是用户手中强有力的安全措施保障。 错误3:忽略消费者访问权限 如果消费者对于设备安全设置拥有简单、充分的访问权限,就会让他们感觉自己拥有控制权,也能让他们对设备互动的安全更有信心。提供用户对每个APP基于位置的服务进行开关控制,就给了他们直接的控制权,让用户能够控制APP的功能。在设计下一代智能产品时,开发者应该更加注重给予用户对设备和APP的控制权限。开发者要如何在设备互动中给予用户更多的对蓝牙智能设备的控制权,或是让他们拥有更多对无线连接开关的访问权限呢? 蓝牙已经包含了一些功能,能够将配对控制权交回消费者手中。最新的蓝牙4.2规格中的一项新功能让窃听者难以通过蓝牙连接追踪设备。这一功能让广播数据包中的MAC地址每隔一段时间(时间间隔由制造商设定)就自动更新,确保设备及其用户无法通过广播出的地址而被追踪。 错误4:功能与安全难两全 在创建智能设备时,总是存在着安全性与用户体验的权衡取舍问题。开发者和产品制造商必须持续基于客户需要和特定功能间作出取舍。这就需要在绝对的安全和传输的数据之间进行仔细的审视并进行权衡。这在很大程度上取决于所创建的产品类型及其功能。举例而言,计步器与智能锁的安全需求就不尽相同,消费者购买计步器是用于监测步数,由于个人信息与计步数据没有任何关联,记步数据的广播就无需过度保护。然而对于智能锁,安全性对于其功能来说就至关重要。很多情况下,可能由于附加的安全保护排除了所有类型的连接而使设备的功能受限。在任何应用场景中,开发者都必须审慎评估其所创建设备的安全需求,以及安全的实施会如何影响设备功能的互动。 错误5:回到安全本身 事关安全就绝不能掉以轻心,必须从始至终仔细考虑。开发者必须审视消费者与设备互动的方式,以及安全实施会如何影响设备功能和用户体验。先从所有可能的安全解决方案开始,设想产品或服务可能出现的问题,并且汲取其他开发者安全实施的成功和失败经验,了解所有可能的安全实施方案。 开发者的世界已经是开源的环境了,有了像Bluetooth Developer Studio这样的工具和资源,开发者可以在社区里相互分享和学习,让创新更快更完善,并能消除消费者对于安全性和隐私权限的担忧。在考虑产品安全选项时,需要权衡诸多因素后为消费者做出正确选择。否则失去的不仅是消费者的信任,还有消费者对品牌的良好印象和再次购买的意向。 作者:何妍 来源:51CTO

优秀的个人博客,低调大师

中国车联网产业的发展优势盘点

车联网的基本概念 (一)基本定义 车联网(InternetofVehicles)的概念是国内基于物联网提出的,在国外尚无完全对应的描述,近似的概念有V2X、ConnectedVehicle等。根据中国车联网产业技术创新战略联盟的定义,车联网是以车内网、车际网和车载移动互联网为基础,按照约定的通信协议和数据交互标准,在车-X(X:车、路、行人及互联网等)之间进行无线通讯和信息交换的大系统网络,是能够实现智能化交通管理、智能动态信息服务和车辆智能化控制的一体化网络,是物联网技术在交通系统领域的典型应用。但是从更广泛的意义上看,车联网应该包括车辆在全生命周期内产生的全部信息交换,涵盖车辆研发、生产、销售、使用、回收等各个环节。因此,除了支持车辆与交通三要素--人、车、路互联,实现在智能交通领域的应用以外,车联网还将与移动互联网、通讯网、智能工厂、智能电网、智能家居等外部网络互联,形成自车与人、车、路、网相互连接及信息交互的有效平台。车联网信息交换的对象与内容如下图所示: (二)车联网与物联网之间的关系 国际电信联盟(ITU)给物联网的定义是:物联网主要解决物品到物品(thingtothing,T2T),人到物品(humantothing,H2T),人到人(humantoHuman,H2H)之间的互连。定义中特别指出,H2T和H2H中的H(human)指的是通过通用装置而非个人计算机实现互连的人。通过物联网,可以构建无处不在的网络,实现任何时间、任何地点,互连任何物品的需求。 由此可见,车联网是物联网络的一部分。当物联网中互连的对象都是车辆以及一些道路基础设施的时候,物联网就成为了车联网。物联网的范畴要比车联网大的多,车联网只是物联网的-种特定应用。然而,要真正全面实现物联网,尚存在一些困难,比如全球标准不统一、部署成本过高、技术尚不够完善、安全性等问题。相比之下,车联网的实现就具有更高的可行性了。车联网的研究过程中需要借鉴物联网的研究成果和研究思路,同时,车联网的研究成果也将丰富发展物联网的研究工作。 与物联网相比,车联网有一些自己的特点: 1、中投顾问发布的《2017-2021年中国车联网行业深度调研及投资前景预测报告》指出,车联网当中的网络结点以车辆为主,这就决定了车联网的高动态特性。与一般的物联网相比,车联网当中的汽车节点移动速度更快、拓扑变化更频繁、路径的寿命更短; 2、与一般的物联网相比,车联网当中的车辆结点间的通信受到的干扰因素更多,包括路边的建筑物、天气状况、道路交通状况、车辆的相对行驶速度等; 3、车联网当中受到车辆运动情况、道路分布状况等因素的影响,网络的连通性不稳定,这在一定程度上限制了车联网的推广使用; 4、车辆当中有稳定的电源供电,网络工作时一般没有能量方面的限制;车辆当中有较大的承载空间,可以装备较高性能的车载计算机以及一些必要的外部辅助设备,如GPS、GIS等; 5、车联网对网络的安全性、可靠性以及稳定性要求更高。车联网的应用过程中,不能够像互联网一样出现一些不安全、不可靠的事件,否则可能会造成巨大的生命财产损失,引起车辆行驶的混乱。 中国车联网产业的发展优势 应当看到,相比于主要发达国家,中国在发展车联网产业方面具有一定的特殊优势,可为实现该领域的战略突破提供良好条件。 (一)本土大市场优势 目前中国汽车市场规模全球第一,同时网民数量也位居全球第一。中投顾问发布的《2017-2021年中国车联网行业深度调研及投资前景预测报告》表示,随着智能手机的快速普及,中国消费者已经形成了使用移动互联网的习惯。同时,中国消费者对汽车尤其是网联及智能服务的要求也在逐渐提高,并具有鲜明的中国特色。中国消费者对汽车联网导航、信息娱乐服务、驾驶支持系统的使用和需求程度明显高于平均水平。巨大的消费群体和强烈的使用需求为我国车联网产业的规模化发展提供了机遇,而掌握了大部分互联网用户的本土企业在车联网产业中有望获得先天优势。 (二)本土文化优势 中国独特而复杂的文化背景和地域差别对于外国企业形成了一定的天然障碍,例如车联网产品中语音识别与控制是重要的交互技术,但各地不同的方言习惯和汉语的歧义性造成了技术瓶颈,在这方面本土企业显然更有优势。此外,车联网涉及与政府交通管理、通信管理、地理信息采集等多个部门的合作,而国家政策通常会向本土企业有所倾斜。 (三)互联网及通信产业优势 在政策保护、人口红利等因素的作用下,中国互联网行业发展迅速,已经有4家互联网企业市值进入全球前10名,在电子商务、网络社交、数据处理等方面积累了一定经验和技术。从世界范围来看,除美国以外,再无其它国家具备类似优势。同时,中国通信产业也已实现突破,代表企业华为和中兴进入世界五大通信设备商行列,在市场占有率、研发投入、专利布局等方面均具备较强实力。本土互联网和通信行业的技术能力和服务经验为我国车联网普及奠定了坚实的基础,特别是在开放共赢的互联网时代,相关企业切入并推动车联网产业加快发展的前景乐观。 本文转自d1net(转载)

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册