-
flume 单机问题解决与架构更改
[TOC] 引言 今天针对线上生产环境下单机 flume 拉取kafka数据并存储数据入Hdfs 出现大批量数据延迟. 在网上官网各种搜索数据,并结合官网数据,现进行以下总结 1. 线上单机存在问题简述 当前flume拉取kafa数据量并不大 ,根据flume客户端日志 ,每半分钟hdfs文件写入一次数据生成文件 发现问题: **拉取kafka数据过慢** ...
时间:2018-11-01点击:179收藏
-
资源消耗降低2/3,Flink在唯品会实时平台的应用
本文主要内容包括以下几个方面: ●唯品会实时平台现状; ●Flink在唯品会的实践; ●Flink On K8S; ●最新项目进展。 一、唯品会实时平台现状 目前在唯品会,实时平台并不是一个统一的计算框架,而是包括Storm、Spark、Flink在内的三个主要计算框架。由于历史原因,当前在Storm平台上的job数量是最多的,但是从去年开始,业务重心逐渐切...
时间:2018-11-01点击:199收藏
-
开源大数据周刊-第105期
资讯 340亿美元收购红帽,IBM在拥挤的云市场另辟蹊径10月29日消息,IBM和Red Hat(红帽)共同宣布,两家公司已达成最终协议,根据该协议,IBM将收购Red Hat所有已发行的普通股。每股190.00美元现金,总企业价值约340亿美元。 这意味着,Red Hat将被IBM正式收购。收购完成后,Red Hat将被并入IBM的混合云部门。 Hadoo...
时间:2018-11-01点击:156收藏
-
阿里云MaxCompute 2018-10月刊
2018年10月大数据计算服务 MaxCompute 又发布哪些新功能?快来一起看看吧。 【体验优化】Python UDF开启全面公测 参考文档 优化功能MaxCompute默认支持Python UDF,无需单独申请。客户不需再单独申请Python UDF开通。 【价格调整】MaxCompute 外表功能正式收费 参考文档 价格调整内容 外表功能采用的计费标...
时间:2018-11-01点击:271收藏
-
自然语言处理入门基础之hanlp详解
自然语言处理定义: 自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非常独特的一部分。这个星球上有许多生物拥有超过人类的视觉系统,但只有人类才拥有这么高级的语言。 自然语言处理的目标是让计算机处理或说“理解”自然语言,以完成有意义的任务,比如订机票购物或QA等。完全理解和表达语言是...
时间:2018-11-01点击:277收藏
-
11月2日科技联播:销量不及预期苹果市值跌破万亿美元;腾讯表示封杀抖音因微信规则
财报亮眼但销量稍逊,苹果跌破万亿市值,库克称中国销售成绩表现优异;腾讯表示封杀抖音因微信有规则;谷歌CEO回应全球罢工:我们也会犯错,但将做的更好;苹果新服务上线,iPhone 5等“古董”设备也能获得维修,一起来看今天的科技快讯: 苹果市值跌破万亿美元,将不再公布硬件售卖数据 苹果公司发布了截至9月29日的2018财年第四季度报告,季度营收达到629亿美元...
时间:2018-11-01点击:196收藏
-
车联网也需要“走对路”,用户需求“导航”小度车载OS持续领先
车联网在无人驾驶浪潮下越来越成为新科技热门领域,百度小度车载OS、阿里斑马智行、腾讯“AI in Car”等大佬级产品纷纷入局,车载OS的竞争也越来越激烈。 这其中,在无人驾驶上最为积极的百度动作频频,其小度车载OS在今年7月发布以来不断迭代,此次11月1日百度世界大会上又宣布进行了“全新升级”。 在AI这个赛道上,由于某种默认的、且被中央部委定位过的分工,...
时间:2018-11-01点击:214收藏
-
Keras文本分类实战(下)
在上一节Keras文本分类实战(上),讲述了关于NLP的基本知识。这部分,将学会以不同方式将单词表示为向量。 词嵌入(word embedding)是什么 文本也被视为一种序列化的数据形式,类似于天气数据或财务数据中的时间序列数据。在之前的BOW模型中,了解了如何将整个单词序列表示为单个特征向量。下面将看到如何将每个单词表示为向量。这里有多种方法可以对文本进...
时间:2018-11-01点击:211收藏
-
怎么读 Tomcat 源码?
上次分享了一篇关于 Tomcat 的文章《 写一款 Tomcat 也没有那么难》,真有读者去下载了 Tomcat 的源码来研读,但搞了很久也没有把它在 IDEA 的开发环境给成功跑起来。 因此,我写这篇文章来解答一下,也希望本文能达到抛砖引玉的作用。 要读 Tomcat 的源码,必须要提一个大神,那就是 James Duncan Davidson,这个老头不...
时间:2018-11-01点击:239收藏
-
使用的ssm框架 Java 上传图片到专有云OSS
测试上传图片到阿里云
时间:2018-11-01点击:291收藏
-
HTTP 502: Whoops, GitLab is taking too much time to respond.
这次排错过程主要是思路,视野打开后会觉得豁然开朗,原来这其实是个小问题[尴尬]。 1、没注重应用启动的各服务及其用途,只会简单查看 status; 2、看到错误第一时间想到的是 Baidu(没其他意思),找找 logpath 先看日志不好吗? 3、未认识到服务之间的关联关系(比如 postgresql 与 unicorn 之间),前面一直知道 unicorn...
时间:2018-11-01点击:520收藏
-
牛逼哄哄的 RPC 框架,底层到底什么原理?
1. RPC框架的概念 RPC(Remote Procedure Call)–远程过程调用,通过网络通信调用不同的服务,共同支撑一个软件系统,微服务实现的基石技术。 使用RPC可以解耦系统,方便维护,同时增加系统处理请求的能力。 上面是一个简单的软件系统结构,我们拆分出来用户系统和订单系统做为服务存在,让不同的站点去调用。 只需要引入各个服务的接口包,在代码...
时间:2018-11-01点击:210收藏
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7设置SWAP分区,小内存服务器的救世主
- Red5直播服务器,属于Java语言的直播服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Linux系统CentOS6、CentOS7手动修改IP地址