首页 文章 精选 留言 我的

精选列表

搜索[多渠道营销],共6115篇文章
优秀的个人博客,低调大师

【AI 智能运维再进阶】—— Chatflow 多渠道触发、系统管理增强、节点优化上线

Blueking Lite 是一个AI First的轻量版运维产品,具有部署资源要求低、使用成本低、渐进式体验等特点,为运维管理员提供日常运维中的必备工具。 本周更新如下 ✨ 【OpsPilot】 ⚙️ Chatflow 新增触发器类型:支持 企业微信、钉钉、微信公众号 等多种触发方式,灵活接入 Chatflow,拓展更多自动化使用场景。 🛠️ 【系统管理】 👑 新增超级管理员功能:集中化管理权限与配置,提升运维效率。 👥 新增虚拟团队功能:支持灵活的团队组织与协作管理。 📊 【节点管理】 🧩 探针管理优化:采集器与控制器拆分管理,结构更清晰、维护更高效。 💡 云区域优化:节点与配置管理页面交互升级,前端展示更美观。 🔗 体验环境:https://bklite.canway.net/ 🏠 官方网站:https://bklite.ai/

优秀的个人博客,低调大师

用户已经完成购买,营销策略为什么还会继续触发

一条会员召回策略上线后,运营团队发现部分已经完成购买的用户仍然收到促销消息。触达系统按照既定规则正常执行,订单数据也已经写入业务系统,但用户状态没有及时反映到正在运行的策略中。这类问题通常不是某一个发送通道造成的,而是事件、身份、人群和策略之间的更新节奏没有对齐。要找到原因,需要沿着整条数据链路逐段检查。

优秀的个人博客,低调大师

,互联网营销

核心提示:我们以谢尔盖·布林的一段话来展望Google 与互联网时代的未来。他说:“当我还是个小孩子的时候,想学点什么东西,要跑很远去当地的图书馆,如果运气好,才能找到一本感兴趣的书。在不久的将来,人们可以在数秒之内协作完成专业研究。当今世界经济还是乌云笼罩,对我们所有人来说都是一段相当困难的时期。但等到今天的孩子们长大时,这次衰退只不过是历史上的一个脚印,而我们一直以来所创造的技术将决定未来。” 刚刚过去的情人节那天,生活在硅谷的华裔软件工程师赵先生邀请妻子来到屋后的花园里,他一手牵着她的手,另一只手中握着手机。夜空中挂满窃窃私语的星斗,赵先生对准星空拍了几张照片,只见手机屏幕上显示出相应的星座名称。 “我太太当时吃惊得说不出话来!”人们虽然已经习惯了手机应用越来越智能化,但很少有人想象得到——Google的一项创新性应用能使手机拥有一只具有识别信息能力的“魔眼”。 2009年12月7日,Google公司发布了手机搜索应用“Google Goggles”,即“视觉搜索”,用户使用Android操作系统的手机拍摄照片即可搜索相关信息,这让搜索引擎向真正的智能化迈上了一个新台阶。 现在Google Goggles已经能够实现:如果被拍摄的主体是风景,用户会得到相关的旅游和建筑信息;如果被拍摄的是书籍,用户将会搜到基本信息、价格比较和书评信息;如果对准某一件商品的条形码或是商标一拍,就可以找到与该产品相关的信息;如果用户想要收录某张名片上的所有资料,也只需按下拍摄键就可以轻松搞定。在拍下照片的一刹那,这款软件会将照片与数据库里的10亿张带有有效信息的图片进行比对,并迅速给出答案。而本次摄下的图像也会成为Google庞大的数字储备中的一部分。 听起来像是神话,但还有更神奇的。对于商业网点的识别,则连拍照都省略了。采用类似“增强现实”技术的方式,将摄像头指向该店铺,Android系统即可利用GPS、电子罗盘信息,给出该店铺名称和更多信息。Google还表示,未来会给Goggles增加更多识别能力,比如识别植物、更大范围内的天体等。 尽管Goggles的技术还处于起步阶段,但是它传递出一个明确的声音——Google睁开眼睛了! 让Internet变成Outernet 中国移动总裁王建宙早在一年前就曾说过:“中国移动如果不创新,不进入Google 的地盘,迟早会被对方干掉的。” 2010年2月,业界传言王建宙欲收购腾讯的消息,他在接受采访时,说:“以前一说到手机,马上想到的是著名的电信设备的制造商、电信终端的制造商。现在人们第一个想到是会是苹果、谷歌。原来的IT企业、互联网业,大举地进入了移动通信领域。在不长的时间之内,利用手机来上网的人数会超过用电脑上网的人。互联网跟移动通信融合,新的移动互联网时代真正来到了。” 王建宙道出了Google未来发展的一个大方向:移动通信领域的全能搜索。GPS功能让手机成为一个个“神经元”,我们所处的世界将成为一个庞大又精细的“神经系统”。现在各商家的竞争就在于抢先进入这个系统。 这为手机上网的人们提供方便的同时,Google 也为自身创造了两个优势:它知道用户身处何处并且可以利用一切机会提供符合他们需求的广告:最近的加油站在哪里、街角有一家新开的红酒商店、某家超市的商品正在大幅折扣。这里也蕴含了Google一贯的企业经营之道——互联网企业必须首先尽可能满足用户的信息需要,人们才愿意为它搜集更多的信息,进而也有可能借着庞大的用户群体获得收益。 Google鼓励团队不断研发的语音识别和图像识别正是配合了智能手机的各项功能。谷歌中国手机地图团队的工程师杨帆说:“在整个手机地图项目的开发中,中国工程师与美国总部和伦敦的工程师合作,全程参与开发,并向全球推出。” 比如在地图中搜索公交路线的功能就是杨帆与他的同事们完成的。 Google创始人之一谢尔盖·布林说:“今天世界上有一半的人们通过计算机和手机上网,在接下来的10年上网人数将达到数10亿。我希望通过使用简单而又功能强大的计算服务,每个人的生产力都能得到提高。这些工具使得个人、小团体、小企业能够做从前只有大公司才能做的事情,不管是制作和推出电影、从事商品活动,或者报道战争。” 让信息流动超越机器限制和地理局限,甚至时间消逝,2008 年Google提出的“云计算”概念更是为人们展开未来网络应用和协作的美好前景。谷歌中国的第一位女工程师、技术总监谷雪梅目前正负责这一项目,她引用了一个比喻来描述“云时代”的互联网,就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着Google标志性的计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。 当Internet成为Outernet,我们应该更好地理解赛博空间的先驱威廉·吉布森说过的一句话:“将来,我们的子孙会为我们这一代人非要在数字和真实之间划一条线而感到怪异万分。什么是虚拟空间,什么又是真实的,两者之间有什么区别?” 信息王国的经济基础 1998年,拉里·佩奇和谢尔盖·布林拿到了他们的第一笔投资10万美元。如今,这家互联网公司在全球范围内的雇员多达20000人,股票价值高于百年老牌戴姆勒汽车和德意志银行。2008年,Google的收入为218亿美元,其中97%来自于广告收入。 谢尔盖·布林在2009年5月发布的上一年度报告中总结Google走过的十年,其中谈到了他们的广告机制:“我们始终相信它不仅仅给我们自己带来价值,也会为搜索结果页面的质量带来价值。我们不散发华而不实的广告,而是把一些有关联度的、简单明了的文本广告,放在搜索结果的右侧。” 2000 年,Google推出第一个自我服务的广告系统AdWords,一开始有350个广告客户。尽管这种广告比传统网站的横幅广告赚得少,每次点击可能只能带来几美分的收入,但是一些真正受欢迎的条目每点一次就会带来近十美元的广告费。在网络泡沫破灭的时候,这套系统成了Google的生命线。现在,AdWords已经成为了一个庞大的生态系统,提供了有价值的广告信息流量,促成成千上万的生意。正如谢尔盖·布林所说:“它帮助大家能在一个公平民主的开放市场里面做广告,在这个开放市场里小企业、创业公司可以和资金雄厚的大公司一较高低。” 除搜索页面广告外,Google不遗余力地免费发布各种工具,其实也有着广告方面的考虑。比如他们的邮件系统Gmail,就会根据用户的邮件内容投放相关度更高的广告。对于Google来说,“相关度”意味着“会给我们带来更多钱的广告”。 对此,《世界博览》杂志邮件采访了Google现任北欧和中欧区域CEO菲利普·辛德勒,他2005 年加入Google,掌管公司在英国、爱尔兰、比荷卢经济联盟、德国、瑞士、奥地利、瑞典、丹麦、挪威和芬兰等国家/地区的运营工作。 菲利普·辛德勒表示:“事实上,鼠标永远在用户自己手中,人们可以自主选择要不要点击Google提供的与他们搜索内容密切相关的广告或资讯。比如,一个用户在Google账户登录的情况下搜索‘高尔夫’,我们的机器算法可能会指向高尔夫运动装备、一款汽车或是墨西哥的一个高尔夫球场,相关信息又多又杂,但是如果你在半年前曾经搜索过‘高尔夫球训练班’,好的,Google能够最快地提供给你最准确的搜索结果。” 2008 年,面向出版商提供的AdSense程序为Google的出版合作伙伴产生了50亿美元的收入。同年,Google收购Doubleclick,开始涉足其他广告模式,比如在YouTube里面插入视频广告,在游戏网站插入动态广告。“我们的目标是去匹配广告商和出版商的想法,采用最符合他们目标和受众的广告模和广告媒质。” 谢尔盖·布林也雄心勃勃地宣布:“在接下来的10年里,我希望我们能更有效地整合来自世界各地成千上万的商品,把这些商品展示给客户,告诉客户这些商品何时何地最有用处。” Google是谁的敌人? Google宣称自己的使命是“整合信息,使信息流动,让所有人受益”,先不说这个目标是否过于宏大或理想化,仅从字面来看,就对那些自主控制并配置产品的产业巨头或试图阻碍信息自由流动的力量形成挑战。 最担心Google 强大的莫过于全世界最强大的技术公司——微软。微软公司实体销售的Office软件不仅是全球通用的办公工具,最重要的是它的利润高达70%。 Google推出了自己的文字处理、电子制表、文稿演示、日历等工具,不同之处在于它们都是在线使用并且完全免费的。这些统称为“云计算”,每个人将资料存储在“云”里,无论任何时间和地点,只要连上网络就可以找回所有的材料。 2006 年10月,Google收购全球最有影响力的在线视频网站YouTube,引起好莱坞电影和媒体公司的集体围攻,他们担心观众被分流;2007年3月,媒体巨头维亚康姆集团以侵犯版权为由向Google提出索赔高达10亿美元的诉讼;2009年12月,中国作家棉棉指控谷歌中国的数码图书馆中擅自收录了她的作品,扫描作品片段并展示其内容。 这些官司看起来与信息搜索无关,而是Google不停地对其他行业插一脚,它的优势就在于已经积聚起了一个世界上最大的数据库——这个资源使他们可以进入任何一个行业。Google首席执行官埃里克·施密特就曾说过:“我们是最好的广告公司。” Google如今已经包揽了全世界大约60%的网络搜索业务,其力量也来自人们通过搜索行为而提供给Google的数据和信息。当人们每使用一次搜索,就会留下一个“ 指纹”,它会将你正在寻找、正在阅读或仅仅是你感兴趣的东西记录在案。这些信息会被保留9~18个月不等,Google可以通过这些搜集来的数据将精准的用户分析提供给广告客户。2009年,Google的广告收入高达160亿美元,接近美国四大广播电视网全部广告收入的总和。这进一步增强了竞争对手们对于Google不断膨胀的焦虑。 为了不招来势力更大的敌人——国家,Google 在华盛顿设立了一个30人的办公室,其中包括自己的政治行动委员会(NETPAC),另外还雇用三个专门的外部游说机构为Google的利益展开游说。这些改变缘于创始人之一的谢尔盖·布林遭遇的闭门羹。2006年6月,他为了“网络中立”问题拜访美参议院商业委员会主席特德·史蒂文斯,参议员并没有接待这位互联网公司的老板,可是谢尔盖·布林却越来越清晰地认识到,必须要与政府进行有效公关。Google公司发展事务高级副总裁大卫·德鲁蒙德说:“我们已经处于政府和某些行业的雷达之下,必须强调我们的魅力。” 但是在美国之外的国家,Google还是不可避免地遇到了国家级别的对手。 2010年1月6日,萨科齐钦定的一个调查小组向法国文化部部长密特朗提交了一份长达69页的调查报告,其中最重要的是建议政府向欧盟境内的互联网搜索引擎巨头Google及其他互联网企业的广告收入征税。1月7日,萨科齐强调了互联网巨头在法国网络广告市场“发财”的同时,不应逃避这里的税收。据法国媒体报道,仅Google一家每年在法国的互联网广告收入就高达12.5亿美元。 互联网专家克雷格·巴克莱认为,“这是法国政府提出的又一项无知且在技术上可操作性极低的提议。”他质疑称,尽管政府为即将到手的金钱“沾沾自喜”,如果网络服务供应商被迫安装链接监视软件,这将是一大笔支出。此外,政府如何判断每个链接带来了多少收益?如果不能判断,如何确定征税额度? 在Google看来,现有的知识产权保护事实上正在阻碍创新。Google知识产权方面的首席法律顾问巴特利反击说:“目前的现实是知识产权的有效期太长,对发明者的奖励太慷慨,这严重削减了他们再次创新的动力。解决方法是建立一套理性的奖励标准、知识产权的保障机制和合理有效期。”巴特利在他名为《道德恐慌和版权战争》的新书中指责:知识产权保护者夸大互联网的威胁,企图营造“道德恐慌”,最终目的只是为了保护停顿并维持旧有的商业模式。 另外,由于不同国家对于隐私的保护程度不同,Google在美国深受用户欢迎的“街景”功能在瑞士遭到了官司。“街景”会显示当前位置周围的建筑、装置、汽车、行人等等。虽然Google表示已经做出技术处理,但是汽车牌照号码及人脸并不足够模糊,这意味着依然可以从照片中认出具体某个人。 瑞士联邦数据保护和信息委员会将Google告上法庭。该委员会的托马斯·特尔先生反复强调,尤其不该在“敏感地点”出现这种情况,比如在医院、学校或监狱门口。他还担忧Google装备特殊的街景采集车辆,其安装在车顶的360度相机的高度能使它们拍摄到围栏、树篱以及围墙以内的东西。“这意味着,诸如后院这样的私人区域的隐私将不再得到保证。” 但是Google拒绝采纳该委员会提议的保护公民隐私权的安全措施,同时表示街景视图功能在瑞士“毫无疑问”是合乎法律的。 而2010 年年初,谷歌中国与中国政府的矛盾更是吸引了全球关注。1月13日凌晨,Google高级副总裁、首席法律顾问德拉蒙德在Google官方博客上表达了“ 重新评估中国市场”、可能“关闭谷歌中国”的博文。很快,Google官方就澄清了不实传闻,但是首席执行官埃里克·施密特还是表明了个人的态度。 他在回答记者提问时说:“在中国的运营一直让我们觉得很复杂。我们必须接受一个让人感到非常不舒服的监管系统。我们的公司理念是不会仅出于商业目的而做决定。我想知道基于全球价值观,做什么样的决定更好。在一个可以自由思考、创造、与他人交流的系统里,人们才能获得更高的收益。越多的人可以独立思考,情况就会越好。人与人之间交往越多,信息流通才能更顺畅。” 透明的时代必将是宽恕的时代 由于人脸识别较为复杂,Google Goggles暂时还不支持此项功能,但是不难想象,一旦技术成熟,人们可以拿着刚拍下的照片与数据库里的信息比照,立刻知道眼前这个人是谁、做过些什么。 你我可能都有这样的经验,曾经用Google搜索过恋人或同事好友的名字,希望寻找一些不为我们所知的信息或秘密。最近一项调查显示,多数人对于自己传到网上的照片并不在意,根本不去想到自己的照片会被谁看到。 某跨国人力资源公司调查研究了美国、英国、德国和法国的大量雇主,许多HR 表示在进入最后一轮面试之前,他们会上网搜索一下应征者的信息。美国有70%的雇主表示,他们曾因为某些人在网上的行为而拒绝对方的工作申请,比如上传一些醉酒之后的狂欢照、留有不良购物记录、前女友大骂这个人品行不端等。60%的网友承认他们在网上的行为可能会影响自己的职业生涯或个人生活。仅有15% 的人说他们每次在网上发表任何内容的时候都会思索后果。当然,事情要看正反两面,网络名声有时也会给人带来好处。86%的美国HR说职位申请者如果网上的名声很好,他们会在心中加分,有一半HR甚至说这是一个重大的优势。 当技术迷们为Google Goggles的发布欢欣雀跃时,19岁的日本女孩坂井却陷入极度恐惧之中,她在少年时受到过性侵犯,被对方拍下大量照片并上传到网上。她的一家为此不得不搬到一个没有人认识他们的小城市生活。坂井很担心:“这样的情况将不复存在。任何一个陌生人都可以通过手机来实现自动人脸识别,从而把我和我的过去联系起来。我们可以隐姓埋名,难道要我去整容吗?”通过人脸识别,每个人都将和自己的过去不可分割地联系起来。 与坂井同样烦恼的还有各路明星和名人们,他们有能力和金钱去整容,但是人们通过照片比对一眼就能认出来了。另外,如果素颜朝天的明星们上街被人偷拍,Google根本无法将她与数据库里浓妆艳抹、过度PS的定妆照联系在一起,岂不也很尴尬? 一直以来,Google推出的各种创新软件让明星们的隐私无处可藏。2007年推出的全球卫星地图集成软件Google Earth,可以经计算得出三维地图,其精度也相当于在5000米空中俯瞰地面,相当于将近乎军用级别的卫星地图向民间开放,另外用户可以上传实景图片,通过GPS还可以锁定某个目标的移动。 好奇心驱使一些网民搜索并爆料了一些国内明星的千万豪宅。以陈道明在北京的豪宅为例,将网络上的截图放大之后,可以清楚地看到附近的立交桥、干道走向、标志性建筑,以及小区大门、停在路边的汽车、小区里的绿化都一清二楚。追星族或娱乐新闻记者将会毫不费劲地找到明星家门口。 好莱坞电影明星卡梅隆·迪亚兹对此看得很开,她说:“在我看来,网络这东西就像是民意调查,完全取决于你个人的生活方式,千万别看得太重,否则无异于把自己扔进垃圾桶。” 普通人没有大明星的烦恼,却有着更深一层的忧虑——Google对我们的思想也不陌生。Google的成功基于不断革新的机器算法,它是否已经从人们的浏览网页、阅读书籍、邮件来往、电子商务中获取了足够多的个人信息,终有一日,会成为英国作家奥威尔在政治小说《1984》中提到的、时时刻刻监视着人们的“老大哥”?“从没有哪个政府可以了解那么多的公民个人信息和所思所想,即使是东德的秘密警察也不能。”德国石荷州州立数据保护中心专家蒂欧·魏谢尔特不无担忧地说。 Google北欧和中欧区域CEO菲利普·辛德勒表示:Google搜集数据并不是为了实现权力或是控制人们,也不会向第三方出售用户数据,而是希望利用这些数据为用户创造更多价值。Google的终极目标是使信息在世界范围流动并且可用。 “我们并不像看待一个真实存在的人那样看待用户信息。姓名、住址、隐私、电子邮件、银行账户,这些对于Google毫无用处。只有你的网络接入商才知道你的真实姓名。对于我们的电脑来说,你永远是匿名的,对我们的广告客户,你也将一直保持这样的匿名状态。除了过滤病毒之外,Google对用户邮件里的内容丝毫不感兴趣。而且每九个月,我们会更新一次搜索结果,所存下的用户IP地址等信息都会更改。” 菲利普·辛德勒巧妙地转换了话题,解释Google记录用户IP的其他用途,他说:“比如在‘Google流感趋势’这项功能里,我们能够通过用户在一定时间内搜索流感症状的频率和人数,尽早锁定流感可能爆发的区域,给更多的人和医疗机构提供帮助。” 为公共利益而存在的“国家” 正如我们在图表中分场景所呈现的那样,Google对于我们日常生活方方面面的影响早已不可忽视。而这个企业所尊重和遵循的创新精神,也在为实现公众利益创造了更多可能性。 通过Google 健康,一个乡村医院的医生可以通过互联网传送三维医学成像,并与世界各地的名医一起讨论特殊病例。即使年轻人遭遇高考失利或家庭条件无法满足孩子的留学愿望,他们也可以通过YouTube浏览3D教学视频或是利用Google图书阅览到剑桥大学图书馆里的典藏书籍。对于一些因政治原因而屏蔽国外网站的国家,比如土耳其,网民们可以通过一个网络共享界面走到一起,展开一场有趣的、非暴力的、并有望取得效果的可视化游行。互联网的精神是参与和共享,认同这一理念的人们自然会参与进来。 2010年2月11日,Google 正式宣布在美国部分实验地区建造并测试超高速宽带网络,它将提供比现在美国大多数地区快100倍的速度——每秒钟1Gb。这一计划还将以非常有竞争力的价格至少服务五万名用户,并让50万人成为潜在的受益者。活跃在华盛顿的游说集团已经督促联邦通信委员会检视这种新网络的服务成效,计划向全美国推广。 Google将测试用新方法建立光纤网络,并宣传、帮助和支持世界上其他地方的开发,正如它一直以来倡导的那样:开放、公平和透明地管理互联网。 最后,让我们以谢尔盖·布林的一段话来展望Google 与互联网时代的未来。他说:“当我还是个小孩子的时候,想学点什么东西,要跑很远去当地的图书馆,如果运气好,才能找到一本感兴趣的书。在不久的将来,人们可以在数秒之内协作完成专业研究。当今世界经济还是乌云笼罩,对我们所有人来说都是一段相当困难的时期。但等到今天的孩子们长大时,这次衰退只不过是历史上的一个脚印,而我们一直以来所创造的技术将决定未来。”

优秀的个人博客,低调大师

Google的十个核心技术,互联网营销

曾任职于IBM中国研究院,从事与云计算相关研究的CSDN博客专家吴朱华曾写过一篇文章《探索Google App Engine背后的奥秘(1)--Google的核心技术》,对Google的核心技术和其整体架构进行详细的分析。 本篇将主要介绍Google的十个核心技术,而且可以分为四大类: 1.分布式基础设施:GFS,Chubby和Protocol Buffer。 2.分布式大规模数据处理:MapReduce和Sawzall。 3.分布式数据库技术:BigTable和数据库Sharding。 4.数据中心优化技术:数据中心高温化,12V电池和服务器整合。 分布式基础设施 GFS 由于搜索引擎需要处理海量的数据,所以Google的两位创始人Larry Page和Sergey Brin在创业初期设计一套名为“BigFiles”的文件系统,而GFS(全称为“Google File System”)这套分布式文件系统则是“BigFiles”的延续。 首先,介绍它的架构,GFS主要分为两类节点: 1.Master节点:主要存储与数据文件相关的元数据,而不是Chunk(数据块)。元数据包括一个能将64位标签映射到数据块的位置及其组成文件的表格,数据块副本位置和哪个进程正在读写特定的数据块等。还有Master节点会周期性地接收从每个Chunk节点来的更新(”Heart- beat”)来让元数据保持最新状态。 2.Chunk节点:顾名思义,肯定用来存储Chunk,数据文件通过被分割为每个默认大小为64MB的Chunk的方式存储,而且每个Chunk有唯一一个64位标签,并且每个Chunk都会在整个分布式系统被复制多次,默认为3次。 下图就是GFS的架构图: 图1. GFS的架构图 接着,在设计上,GFS主要有八个特点: 1.大文件和大数据块:数据文件的大小普遍在GB级别,而且其每个数据块默认大小为64MB,这样做的好处是减少了元数据的大小,能使Master节点能够非常方便地将元数据放置在内存中以提升访问效率。 2.操作以添加为主:因为文件很少被删减或者覆盖,通常只是进行添加或者读取操作,这样能充分考虑到硬盘线性吞吐量大和随机读写慢的特点。 3.支持容错:首先,虽然当时为了设计方便,采用了单Master的方案,但是整个系统会保证每个Master都会有其相对应的复制品,以便于在 Master节点出现问题时进行切换。其次,在Chunk层,GFS已经在设计上将节点失败视为常态,所以能非常好地处理Chunk节点失效的问题。 4.高吞吐量:虽然其单个节点的性能无论是从吞吐量还是延迟都很普通,但因为其支持上千的节点,所以总的数据吞吐量是非常惊人的。 5.保护数据:首先,文件被分割成固定尺寸的数据块以便于保存,而且每个数据块都会被系统复制三份。 6.扩展能力强:因为元数据偏小,使得一个Master节点能控制上千个存数据的Chunk节点。 7.支持压缩:对于那些稍旧的文件,可以通过对它进行压缩,来节省硬盘空间,并且压缩率非常惊人,有时甚至接近90%。 8.用户空间:虽然在用户空间运行在运行效率方面稍差,但是更便于开发和测试,还有能更好利用Linux的自带的一些POSIX API。 现在Google内部至少运行着200多个GFS集群,最大的集群有几千台服务器,并且服务于多个Google服务,比如 Google搜索。但由于GFS主要为搜索而设计,所以不是很适合新的一些Google产品,比YouTube、Gmail和更强调大规模索引和实时性的 Caffeine搜索引擎等,所以Google已经在开发下一代GFS,代号为“Colossus”,并且在设计方面有许多不同,比如:支持分布式 Master节点来提升高可用性并能支撑更多文件,chunk节点能支持1MB大小的chunk以支撑低延迟应用的需要。 Chubby 简单的来说,Chubby属于分布式锁服务,通过Chubby,一个分布式系统中的上千个client都能够对于某项资源进行“加锁”或者“解锁”,常用于BigTable的协作工作,在实现方面是通过对文件的创建操作来实现“加锁”,并基于著名科学家Leslie Lamport的Paxos算法。 Protocol Buffer Protocol Buffer,是Google内部使用一种语言中立,平台中立和可扩展的序列化结构化数据的方式,并提供java、c++和python这三种语言的实现,每一种实现都包含了相应语言的编译器以及库文件,而且它是一种二进制的格式,所以其速度是使用xml进行数据交换的10 倍左右。它主要用于两个方面:其一是RPC通信,它可用于分布式应用之间或者异构环境下的通信。其二是数据存储方面,因为它自描述,而且压缩很方便,所以可用于对数据进行持久化,比如存储日志信息,并可被Map Reduce程序处理。与Protocol Buffer比较类似的产品还有Facebook的Thrift,而且Facebook号称Thrift在速度上还有一定的优势。 分布式大规模数据处理 MapReduce 首先,在Google数据中心会有大规模数据需要处理,比如被网络爬虫(Web Crawler)抓取的大量网页等。由于这些数据很多都是PB级别,导致处理工作不得不尽可能的并行化,而Google为了解决这个问题,引入了 MapReduce这个编程模型,MapReduce是源自函数式语言,主要通过"Map(映射)"和"Reduce(化简)"这两个步骤来并行处理大规模的数据集。Map会先对由很多独立元素组成的逻辑列表中的每一个元素进行指定的操作,且原始列表不会被更改,会创建多个新的列表来保存Map的处理结果。也就意味着,Map操作是高度并行的。当Map工作完成之后,系统会先对新生成的多个列表进行清理(Shuffle)和排序,之后会这些新创建的列表进行Reduce操作,也就是对一个列表中的元素根据Key值进行适当的合并。 下图为MapReduce的运行机制: 图2. MapReduce的运行机制 接下来,将根据上图来举一个MapReduce的例子:比如,通过搜索Spider将海量的Web页面抓取到本地的GFS 集群中,然后Index系统将会对这个GFS集群中多个数据Chunk进行平行的Map处理,生成多个Key为URL,value为html页面的键值对(Key-Value Map),接着系统会对这些刚生成的键值对进行Shuffle(清理),之后系统会通过Reduce操作来根据相同的key值(也就是URL)合并这些键值对。 最后,通过MapReduce这么简单的编程模型,不仅能用于处理大规模数据,而且能将很多繁琐的细节隐藏起来,比如自动并行化,负载均衡和机器宕机处理等,这样将极大地简化程序员的开发工作。MapReduce可用于包括“分布grep,分布排序,web访问日志分析,反向索引构建,文档聚类,机器学习,基于统计的机器翻译,生成Google的整个搜索的索引“等大规模数据处理工作。Yahoo也推出MapReduce的开源版本Hadoop,而且Hadoop在业界也已经被大规模使用。 Sawzall Sawzall可以被认为是构建在MapReduce之上的采用类似Java语法的DSL(Domain-Specific Language),也可以认为它是分布式的AWK。它主要用于对大规模分布式数据进行筛选和聚合等高级数据处理操作,在实现方面,是通过解释器将其转化为相对应的MapReduce任务。除了Google的Sawzall之外,yahoo推出了相似的Pig语言,但其语法类似于SQL。 分布式数据库技术 BigTable 由于在Google的数据中心存储PB级以上的非关系型数据时候,比如网页和地理数据等,为了更好地存储和利用这些数据,Google开发了一套数据库系统,名为“BigTable”。BigTable不是一个关系型的数据库,它也不支持关联(join)等高级SQL操作,取而代之的是多级映射的数据结构,并是一种面向大规模处理、容错性强的自我管理系统,拥有TB级的内存和PB级的存储能力,使用结构化的文件来存储数据,并每秒可以处理数百万的读写操作。 什么是多级映射的数据结构呢?就是一个稀疏的,多维的,排序的Map,每个Cell由行关键字,列关键字和时间戳三维定位.Cell的内容是一个不解释的字符串,比如下表存储每个网站的内容与被其他网站的反向连接的文本。反向的URL com.cnn.www是这行的关键字;contents列存储网页内容,每个内容有一个时间戳,因为有两个反向连接,所以archor的Column Family有两列:anchor: cnnsi.com和anchhor:my.look.ca。Column Family这个概念,使得表可以轻松地横向扩展。 下面是它具体的数据模型图: 图3. BigTable数据模型图 在结构上,首先,BigTable基于GFS分布式文件系统和Chubby分布式锁服务。其次BigTable也分为两部分:其一是Master节点,用来处理元数据相关的操作并支持负载均衡。其二是tablet节点,主要用于存储数据库的分片tablet,并提供相应的数据访问,同时tablet 是基于名为SSTable的格式,对压缩有很好的支持。 图4. BigTable架构图 BigTable正在为Google六十多种产品和项目提供存储和获取结构化数据的支撑平台,其中包括有Google Print, Orkut,Google Maps,Google Earth和Blogger等,而且Google至少运行着500个BigTable集群。 随着Google内部服务对需求的不断提高和技术的不断地发展,导致原先的BigTable已经无法满足用户的需求,而 Google也正在开发下一代BigTable,名为“Spanner(扳手)”,它主要有下面这些BigTable所无法支持的特性: 1.支持多种数据结构,比如table,familie,group和coprocessor等。 2.基于分层目录和行的细粒度的复制和权限管理。 3.支持跨数据中心的强一致性和弱一致性控制。 4.基于Paxos算法的强一致性副本同步,并支持分布式事务。 5.提供许多自动化操作。 6.强大的扩展能力,能支持百万台服务器级别的集群。 7.用户可以自定义诸如延迟和复制次数等重要参数以适应不同的需求。 数据库Sharding Sharding就是分片的意思,虽然非关系型数据库比如BigTable在Google的世界中占有非常重要的地位,但是面对传统OLTP应用,比如广告系统,Google还是采用传统的关系型数据库技术,也就是MySQL,同时由于Google所需要面对流量非常巨大,所以Google在数据库层采用了分片(Sharding)的水平扩展(Scale Out)解决方案,分片是在传统垂直扩展(Scale Up)的分区模式上的一种提升,主要通过时间,范围和面向服务等方式来将一个大型的数据库分成多片,并且这些数据片可以跨越多个数据库和服务器来实现水平扩展。 Google整套数据库分片技术主要有下面这些优点: 1.扩展性强:在Google生产环境中,已经有支持上千台服务器的MySQL分片集群。 2.吞吐量惊人:通过巨大的MySQL分片集群能满足巨量的查询请求。 3.全球备份:不仅在一个数据中心还是在全球的范围,Google都会对MySQL的分片数据进行备份,这样不仅能保护数据,而且方便扩展。 在实现方面,主要可分为两块:其一是在MySQL InnoDB基础上添加了数据库分片的技术。其二是在ORM层的Hibernate的基础上也添加了相关的分片技术,并支持虚拟分片(Virtual Shard)来便于开发和管理。同时Google也已经将这两方面的代码提交给相关组织。 数据中心优化技术 数据中心高温化 大中型数据中心的PUE(Power Usage Effectiveness)普遍在2左右,也就是在服务器等计算设备上耗1度电,在空调等辅助设备上也要消耗一度电。对一些非常出色的数据中心,最多也就能达到1.7,但是Google通过一些有效的设计使部分数据中心到达了业界领先的1.2,在这些设计当中,其中最有特色的莫过于数据中心高温化,也就是让数据中心内的计算设备运行在偏高的温度下,Google的能源方面的总监Erik Teetzel在谈到这点的时候说:“普通的数据中心在70华氏度(21摄氏度)下面工作,而我们则推荐80华氏度(27摄氏度)“。但是在提高数据中心的温度方面会有两个常见的限制条件:其一是服务器设备的崩溃点,其二是精确的温度控制。如果做好这两点,数据中心就能够在高温下工作,因为假设数据中心的管理员能对数据中心的温度进行正负1/2度的调节,这将使服务器设备能在崩溃点5度之内工作,而不是常见的20度之内,这样既经济,又安全。还有,业界传言Intel为Google提供抗高温设计的定制芯片,但云计算界的顶级专家James Hamilton认为不太可能,因为虽然处理器也非常惧怕热量,但是与内存和硬盘相比还是强很多,所以处理器在抗高温设计中并不是一个核心因素。同时他也非常支持使数据中心高温化这个想法,而且期望将来数据中心甚至能运行在40摄氏度下,这样不仅能节省空调方面的成本,而且对环境也很有利。 12V电池 由于传统的UPS在资源方面比较浪费,所以Google在这方面另辟蹊径,采用了给每台服务器配一个专用的12V电池的做法来替换了常用的UPS,如果主电源系统出现故障,将由该电池负责对服务器供电。虽然大型UPS可以达到92%到95%的效率,但是比起内置电池的 99.99%而言是非常捉襟见肘的,而且由于能量守恒的原因,导致那么未被UPS充分利用的电力会被转化成热能,这将导致用于空调的能耗相应地攀升,从而走入一个恶性循环。同时在电源方面也有类似的“神来之笔”,普通的服务器电源会同时提供5V和12V的直流电。但是Google设计的服务器电源只输出 12V直流电,必要的转换在主板上进行,虽然这种设计会使主板的成本增加1美元到2美元,但是它不仅能使电源能在接近其峰值容量的情况下运行,而且在铜线上传输电流时效率更高。 服务器整合 谈到虚拟化的杀手锏时,第一个让人想到肯定是服务器整合,而且普遍能实现1:8的整合率来降低各方面的成本。有趣的是,Google在硬件方面也引入类似服务器整合的想法,它的做法是在一个机箱大小的空间内放置两台服务器,这些做的好处有很多,首先,减小了占地面积。其次,通过让两台服务器共享诸如电源等设备,来降低设备和能源等方面的投入。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册