搜索[MSA技术]结果-低调大师优秀个人博客

精选列表

搜索[MSA技术]，共10000篇文章

智能交通背后的物联网技术应用

而且，每个国家的城市交通系统越来越差，因此，如果没有更智能的技术的帮助，就很难思考如何解决这个问题。像物联网这样的智能技术的效用正在慢慢地从提高生活质量的移动应用转向解决人们日常生活中遇到的常见问题。

2018-07-18

后端技术杂谈5：云计算的前世今生

在产品设计上，私有云厂商往往会对客户强调其几乎不会使用的计算、网络、存储的技术参数，因为这些参数可以在和友商对标的过程中占尽优势。

2018-07-10

阿里技术战略部招人啦！

在技术战场上狂奔的你，是否也在期待加入这样一个团队：和一群有情有义的人，用有价值的数据和内容做一些有意义的事。比如阿里巴巴技术战略部（嘿嘿，你猜得没错，就是阿里妹所在的团队）。

2018-07-09

后端技术杂谈3：Lucene基础原理与实践

首先看一个公司，有很多人组成，如总经理，经理，首席技术官，普通员工，保安，门卫等。

2018-07-09

后端技术杂谈4：Elasticsearch与solr入门实践

Elasticsearch 入门教程阅读 1093 收藏 76 2017-08-23 原文链接： www.ruanyifeng.com 9月7日-8日北京，与 Google Twitch 等团队技术大咖面对面

2018-07-09

【阿里云技术】PostgreSQL的20+种玩法

PostgreSQL中有两个技术(gin, bloom索引)，可以完美的解决这类业务场景的问题。

2018-07-08

音视频技术开发周刊 55期

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第55期内容，祝您阅读愉快。

2018-06-24

自然语言处理技术及行业应用案例

本文简单介绍了阿里云NLP技术平台中几个关键的点，如阿里目前正在做国际化，目前包含的语种从东南亚语种，西班牙语种，正扩展到欧洲语种。

2018-06-24

自底向上——知识图谱构建技术初探

知识图谱的构建技术主要有自顶向下和自底向上两种。其中自顶向下构建是指借助百科类网站等结构化数据源，从高质量数据中提取本体和模式信息，加入到知识库里。

2018-06-21

优质技术文章征集、评选和资源推广

亲爱的同学们，为了增强阿里云数据库技术的影响力，将技术人的技术实力得以沉淀，同时使自己的个人品牌也有效得以提升，特提供技术文章征集平台，我们将对技术文章进行月度、季度、年度评选。

2018-06-20

音视频技术开发周刊 54期

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第54期内容，祝您阅读愉快。

2018-06-18

1、分层分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。在网站的分层架构中，常见的为3层，即应用层、服务层、数据层。应用层具体负责业务和视图的展示；服务层为应用层提供服务支持；数据库提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问。所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。 2、冗余网站需要7×24小时连续运行，那么就得有相应的冗余机制，以防某台机器宕掉时无法访问，而冗余则可以通过部署至少两台服务器构成一个集群实现服务高可用。数据库除了定期备份还需要实现冷热备份。甚至可以在全球范围内部署灾备数据中心。 3、分隔如果说分层是将软件在横向方面进行切分，那么分隔就是在纵向方面对软件进行切分。网站越大，功能越复杂，服务和数据处理的种类也越多，将这些不同的功能和服务分隔开来，包装成高内聚低耦合的模块单元，不仅有助于软件的开发维护也便于不同模块的分布式部署，提高网站的并发处理能力和功能扩展能力。大型网站分隔的粒度可能会很小。比如在应用层，将不同业务进行分隔，例如将购物、论坛、搜索、广告分隔成不同的应用，有对立的团队负责，部署在不同的服务器上。 4、异步使用异步，业务之间的消息传递不是同步调用，而是将一个业务操作分成多个阶段，每个阶段之间通过共享数据的方法异步执行进行协作。具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理；在分布式系统中可用通过分布式消息队列来实现异步。异步架构的典型就是生产者消费者方式，两者不存在直接调用。 5、分布式对于大型网站，分层和分隔的一个主要目的是为了切分后的模块便于分布式部署，即将不同模块部署在不同的服务器上，通过远程调用协同工作。分布式意味着可以使用更多的计算机完同样的工作，计算机越多，CPU、内存、存储资源就越多，能过处理的并发访问和数据量就越大，进而能够为更多的用户提供服务。在网站应用中，常用的分布式方案有一下几种. 分布式应用和服务：将分层和分隔后的应用和服务模块分布式部署，可以改善网站性能和并发性、加快开发和发布速度、减少数据库连接资源消耗。分布式静态资源：网站的静态资源如JS、CSS、Logo图片等资源对立分布式部署，并采用独立的域名，即人们常说的动静分离。静态资源分布式部署可以减轻应用服务器的负载压力；通过使用独立域名加快浏览器并发加载的速度。分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据库需要分布式存储。分布式计算：目前网站普遍使用Hadoop和MapReduce分布式计算框架进行此类批处理计算，其特点是移动计算而不是移动数据，将计算程序分发到数据所在的位置以加速计算和分布式计算。 6、安全网站在安全架构方面有许多模式：通过密码和手机校验码进行身份认证；登录、交易需要对网络通信进行加密；为了防止机器人程序滥用资源，需要使用验证码进行识别；对常见的XSS攻击、SQL注入需要编码转换；垃圾信息需要过滤等。 7、自动化具体有自动化发布过程，自动化代码管理、自动化测试、自动化安全检测、自动化部署、自动化监控、自动化报警、自动化失效转移、自动化失效恢复等。 8、集群对于用户访问集中的模块需要将独立部署的服务器集群化，即多台服务器部署相同的应用构成一个集群，通过负载均衡设备共同对外提供服务。服务器集群能够为相同的服务提供更多的并发支持，因此当有更多的用户访问时，只需要向集群中加入新的机器即可；另外可以实现当其中的某台服务器发生故障时，可以通过负载均衡的失效转移机制将请求转移至集群中其他的服务器上，因此可以提高系统的可用性。 9、缓存缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。使用缓存有两个条件：访问数据热点不均衡，即某些频繁访问的数据需要放在缓存中；数据在某个时间段内有效，不过很快过期，否在会因为数据过期而脏读，影响数据的正确性。 -END- 不错，转发分享一下吧欢迎工作一到五年的Java程序员朋友们加入Java架构开发：744677563 本群提供免费的学习指导架构资料以及免费的解答不懂得问题都可以在本群提出来之后还会有职业生涯规划以及面试指导

2018-06-13

技术大牛论道HBase 3.0 可能的新特性

本文中，技术大牛将论道HBase 3.0那些可能的新特性。本文内容根据演讲视频以及PPT整理而成。 PPT下载地址，请戳这里！

2018-06-11

音视频技术开发周刊 53期

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览本期内容，祝您阅读愉快。

2018-06-10

Apache Spark 技术团队开源机器学习平台 MLflow

Matei Zaharia 是 Apache Spark 和 Apache Mesos 的核心作者，也是Databrick 的首席技术专家。

2018-06-08

阿里巴巴开源语音识别声学建模技术

编者按：本文作者阿里巴巴机器智能技术实验室高级算法工程师张仕良。

2018-06-06

老司机带你学爬虫——Python爬虫技术分享

什么是“爬虫”？简单来说，写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫；爬虫理论上步骤很简单，第一步获取html源码，第二步分析html并拿到数据。但实际操作，老麻烦了~ 用Python写“爬虫”有哪些方便的库常用网络请求库：requests、urllib、urllib2、 urllib和urllib2是Python自带模块，requests是第三方库常用解析库和爬虫框架：BeautifulSoup、lxml、HTMLParser、selenium、Scrapy HTMLParser是Python自带模块； BeautifulSoup可以将html解析成Python语法对象，直接操作对象会非常方便； lxml可以解析xml和html标签语言，优点是速度快； selenium调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码； Scrapy很强大且有名的爬虫框架，可以轻松满足简单网站的爬取；这个python学习(q-u-n)：二二七，四三五，四五零期待大家一起交流讨论，讲实话还是一个非常适合学习的地方的。软件各种入门资料 “爬虫”需要掌握哪些知识 1）超文本传输协议HTTP：HTTP协议定义了浏览器怎样向万维网服务器请求万维网文档，以及服务器怎样把文档传送给浏览器。常用的HTTP方法有GET、POST、PUT、DELETE。【插曲:某站长做了一个网站，奇葩的他把删除的操作绑定在GET请求上。百度或者谷歌爬虫爬取网站链接，都是用的GET请求，而且一般用浏览器访问网页都是GET请求。在谷歌爬虫爬取他网站的信息时，该网站自动删除了数据库的全部数据】 2）统一资源定位符URL： URL是用来表示从因特网上得到的资源位置和访问这些资源的方法。URL给资源的位置提供一种抽象的识别方法，并用这种方法给资源定位。只要能够对资源定位，系统就可以对资源进行各种操作，如存取、更新、替换和查找其属性。URL相当于一个文件名在网络范围的扩展。 3）超文本标记语言HTTP：HTML指的是超文本标记语言，是使用标记标签来描述网页的。HTML文档包含HTML标签和纯文本，也称为网页。Web 浏览器的作用是读取 HTML 文档，并以网页的形式显示出它们。浏览器不会显示 HTML 标签，而是使用标签来解释页面的内容。简而言之就是你要懂点前端语言，这样描述更直观贴切。 4）浏览器调试功能：学爬虫就是抓包，对请求和响应进行分析，用代码来模拟进阶爬虫熟练了基本爬虫之后，你会想着获取更多的数据，抓取更难的网站，然后你就会发现获取数据并不简单，而且现在反爬机制也非常的多。 a.爬取知乎、简书，需要登录并将下次的请求时将sessions带上，保持登录姿态； b.爬取亚马逊、京东、天猫等商品信息，由于信息量大、反爬机制完善，需要分布式【这里就难了】爬取，以及不断切换USER_AGENT和代理IP； c.滑动或下拉加载和同一url加载不同数据时，涉及ajax的异步加载。这里可以有简单的返回html代码、或者json数据，也可能有更变态的返回js代码然后用浏览器执行，逻辑上挺简单、但是写代码那叫一个苦哇； d.还有点是需要面对的，验证码识别。这个有专门解析验证码的平台.....不属于爬虫范畴了，自己处理需要更多的数据分析知识。 e.数据储存，关系数据库和非关系数据库的选择和使用，设计防冗余数据库表格，去重。大量数据存储数据库，会变得很头疼， f.编码解码问题，数据的存储涉及一个格式的问题，python2或者3也都会涉及编码问题。另外网页结构的不规范性，编码格式的不同很容易触发编码异常问题。下图一个简单的转码规则一些常见的限制方式 a.Basic Auth：一般会有用户授权的限制，会在headers的Autheration字段里要求加入； b.Referer：通常是在访问链接时，必须要带上Referer字段，服务器会进行验证，例如抓取京东的评论； c.User-Agent：会要求真是的设备，如果不加会用编程语言包里自有User-Agent，可以被辨别出来； d.Cookie：一般在用户登录或者某些操作后，服务端会在返回包中包含Cookie信息要求浏览器设置Cookie，没有Cookie会很容易被辨别出来是伪造请求；也有本地通过JS，根据服务端返回的某个信息进行处理生成的加密信息，设置在Cookie里面； e.Gzip：请求headers里面带了gzip，返回有时候会是gzip压缩，需要解压； f.JavaScript加密操作：一般都是在请求的数据包内容里面会包含一些被javascript进行加密限制的信息，例如新浪微博会进行SHA1和RSA加密，之前是两次SHA1加密，然后发送的密码和用户名都会被加密； g.网站自定义其他字段：因为http的headers可以自定义地段，所以第三方可能会加入了一些自定义的字段名称或者字段值，这也是需要注意的。真实的请求过程中，其实不止上面某一种限制，可能是几种限制组合在一次，比如如果是类似RSA加密的话，可能先请求服务器得到Cookie，然后再带着Cookie去请求服务器拿到公钥，然后再用js进行加密，再发送数据到服务器。所以弄清楚这其中的原理，并且耐心分析很重要。总结爬虫入门不难，但是需要知识面更广和更多的耐心

2018-06-03

微服务定义及.Net Core中用的技术

3.轻量级通信：首先是通信的语言非常的轻量，第二，该通信方式需要是跨语言、跨平台的，之所以要跨平台、跨语言就是为了让每个微服务都有足够的独立性，可以不受技术的钳制。

2018-06-02

Docker镜像进阶：了解其背后的技术原理

在挂载完毕之后，利用联合挂载(union mount)技术在已有的只读 rootfs 上再挂载一个读写层。

2018-05-29

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

智能交通背后的物联网技术应用

音视频技术开发周刊 58期

后端技术杂谈5：云计算的前世今生

阿里技术战略部招人啦！

后端技术杂谈3：Lucene基础原理与实践

后端技术杂谈4：Elasticsearch与solr入门实践

【阿里云技术】PostgreSQL的20+种玩法

音视频技术开发周刊 55期

自然语言处理技术及行业应用案例

自底向上——知识图谱构建技术初探

优质技术文章征集、评选和资源推广

音视频技术开发周刊 54期

高可用高并发的 9 种技术架构！

技术大牛论道HBase 3.0 可能的新特性

音视频技术开发周刊 53期

Apache Spark 技术团队开源机器学习平台 MLflow

阿里巴巴开源语音识别声学建模技术

老司机带你学爬虫——Python爬虫技术分享

微服务定义及.Net Core中用的技术

Docker镜像进阶：了解其背后的技术原理

资源下载

腾讯云软件源

Nacos

Sublime Text

WebStorm

欢迎您来访！