搜索[思考模型]结果-低调大师优秀个人博客

精选列表

搜索[思考模型]，共10004篇文章

NLP技术的应用及思考

云栖TechDay第33期，阿里巴巴iDST 自然语言处理部总监上乘带来题为“NLP技术的应用及思考”的演讲。

2017-05-03

首先kafka的throughput 很牛逼，参考：http://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines 接着主要谈一下，Kafka的可靠性问题，有哪些机会可能丢数据？从producer，broker，consumer的角度，分别看看 a. Producer到broker 把request.required.acks设为1，丢会重发，丢的概率很小 b. Broker b.1 对于broker，落盘的数据，除非磁盘坏了，不会丢的 b.2 对于内存中没有flush的数据，broker重启会丢可以通过log.flush.interval.messages和log.flush.interval.ms来配置flush间隔，interval大丢的数据多些，小会影响性能但在0.8版本，可以通过replica机制保证数据不丢，代价就是需要更多资源，尤其是磁盘资源，kafka当前支持GZip和Snappy压缩，来缓解这个问题是否使用replica取决于在可靠性和资源代价之间的balance c. Consumer 和其他的平台不同的是，其实Kafka真正比较复杂的是consumer，Kafka有两种consumer c.1 High-level consumer 这个使用比较简单，已经封装了对partition和offset的管理，默认是会定期自动commit offset，这样可能会丢数据的，因为consumer可能拿到数据没有处理完crash 之前我们在0.7上是使用这个接口的，为了保证不丢数据，把自动commit关掉，consumer处理完所有数据，再手动commit，这样丢数据的概率比较小对于storm，没法这样做，因为spout是会预读大量数据的，当然只要spout线程不crash，也是可以保证这些数据基本不会丢失（通过storm的acker机制）但如果spout线程crash，就会丢数据所以High-level接口的特点，就是简单，但是对kafka的控制不够灵活 c.2 Simple consumer，low-level 这套接口比较复杂的，你必须要考虑很多事情，优点就是对Kafka可以有完全的控制 You must keep track of the offsets in your application to know where you left off consuming. You must figure out which Broker is the lead Broker for a topic and partition You must handle Broker leader changes 在考虑如何将storm和kafka结合的时候，有一些开源的库，基于high-level和low-level接口的都有我比较了一下，还是kafka官方列的storm-kafka-0.8-plus比较靠谱些这个库是基于simple consumer接口实现的，看着挺复杂，所以我先读了遍源码，收获挺大，除了发现我自己代码的问题，还学到些写storm应用的技巧呵呵这个库会自己管理spout线程和partition之间的对应关系和每个partition上的已消费的offset(定期写到zk) 并且只有当这个offset被storm ack后，即成功处理后，才会被更新到zk，所以基本是可以保证数据不丢的即使spout线程crash，重启后还是可以从zk中读到对应的offset So, 结论就是kafka和storm的结合可靠性还是可以的，你真心不想丢数据，还是可以做到的 Kafka只是能保证at-least once逻辑，即数据是可能重复的，这个在应用上需要可以容忍当然通过Storm transaction也是可以保证only once逻辑的，但是代价比较大，后面如果有这样的需求可以继续深入调研一下对于kafka consumer，一般情况下推荐使用high-level接口，最好不要直接使用low-level，太麻烦当前其实Kafka对consumer的设计不太到位，high-level太不灵活，low-level又太难用，缺乏一个medium-level 所以在0.9中consumer会被重新design，https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Client+Re-Design 本文章摘自博客园，原文发布日期：2014-06-26

2017-05-01

关于PWA落地问题的思考

曾经打破浏览器格局的WebKit(Safari)已显然要成为移动时代的IE6了，主要着眼于其封闭的生态思考！但是，iOS支持的问题不应该阻碍了PWA技术选型！

2017-03-28

关于Android MVP模式的思考

from network mView.stopLoading(); mView.showDataList(Arrays.asList("a","b","c")); } } 上述代码中有很多可以好好思考的地方

2017-03-11

国产操作系统发展思考

关于发展国产Linux操作系统产业链的思考当前国产Linux操作系统还不能完全达到Wintel的水平，根本原因在于:基础研发成本投入不足，如微软Windows系统的研发投入5万工程师200亿美元;核心技术掌握和创新需要时间与积累

2016-08-10

关于分享的一些思考

近期，团队组织了一场客服系统的技术分享，主讲人是系统核心设计者，受众是团队的技术骨干。我对这个系统的背景和设计有所了解，本身也带着想法去听，所以全程还能和分享者进行交流讨论。

2026-07-22

关于编程模式的总结与思考

淘宝创新业务的优化迭代是非常高频且迅速的，在这过程中要求技术也必须是快且稳的，而为了适应这种快速变化的节奏，我们在项目开发过程中采用了一些面向拓展以及敏捷开发的设计，本文旨在总结并思考其中一些通用的编程模式

2023-12-29

Trino容错模式深度测评与思考

本文分享自华为云社区《走向批处理-交互式分析一体化： Trino容错模式深度测评与思考》，作者：HetuEngine九级代言。

2023-10-13

近期对流媒体技术的思考

从年初到现在跟各领域的朋友们交流后对几个大伙频繁聊起的方向做了一些思考，主要分享的信息内容如下：音视频流媒体技术对计算机技术新人不友好？开源技术商业化前景如何？

2021-08-24

对容器镜像的思考和讨论

本文将围绕着容器镜像这一核心，分享它的相关知识和业界的思考与实践。

2021-01-20

对于项目实践的思考与所得

统一管理项目提供的服务接口，不应依赖model模块将本项目内部的模型暴露出去，应维护自己的接口model模型，并对外暴露。 4．model模块此模块下不应有任何的main入口方法。

2021-01-04

一篇关于 SaaS 的思考

与其说是一篇针对SaaS的思考，不如说是读两本书后的思考。SaaS的知名度要比 PaaS \ IaaS更高，大概是其技术门槛低，从业者众多，更容易与商业活动在一起而出名。

2020-09-01

金融科技的碎片化思考(上)

- END - 往期精彩回顾 -一文看懂风控模型(超完整) - 架构师那些不能碰的禁忌 -智者观势 | 2020的十大技术趋势 -一个价值10亿的教训 - 我也曾对架构师的力量一无所知 - 技术的尽头，

2020-07-20

我对独立思考的理解

关于独立思考，我分为五个部分来讨论何为独立思考——群体与思考、价值观与思考、信息与思考、辩证与思考、读书与思考。我只是写出我的想法，希望对阅读的您有启发作用。

2020-05-15

火热新基建下的“冷思考”

我们要做的不仅仅是新基建的推进和落地，如何让新型基础设施运营者理解、重视过去基础设施所面临的安全威胁，又如何从过去基础设施面临的安全状态中抽离，去探索、正视新基建环境下新的安全挑战，这一定是所有基础设施运营者及相关安全人员必须思考的问题

2020-05-12

关于亿级流量问题的思考

下午做技术的朋友找我问了一个问题，回答之后觉得差点意思，重新考思考过后很有收获。

2020-03-03

暖通空调系统的IoT思考

首先，重新思考如何定义"产品"和"服务"之间的界限。物联网不是一般的商业模式。要想在物联网上取得成功，你必须利用自己作为制造商的既有优势，以全新的眼光来看待这个过程。

2018-11-30

思考gRPC ：为什么是HTTP/2

前文：思考gRPC ：为什么是protobuf 背景 gRPC是google开源的高性能跨语言的RPC方案。gRPC的设计目标是在任何环境下运行，支持可插拔的负载均衡，跟踪，运行状况检查和身份验证。

2018-10-22

围绕区块链重新思考云计算

如今，全球各地的初创公司都在围绕区块链重新思考云计算，并表明这是一种从根本上分散托管、管理以及访问计算、存储和其他资源的新方法。

2018-08-05

如何释放TEE价值的几点思考？

基于生物特征识别的移动智能终端身份鉴别技术框架国标：基于可信环境的生物特征识别身份鉴别协议框架国标：密码模块安全检测要求国标：密码模块安全要求国标：虹膜识别系统技术要求国标：指纹识别系统技术要求最后，安智客想从技术、安全、产品三个维度去总结思考

2018-07-02

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。