文章列表-低调大师优秀的个人博客

您现在的位置是：首页>文章列表

文章列表

Spring Boot 多数据源，整合 Atomikos 实现分布式事务

前言由于最近的项目需要整合两个数据库，有些业务逻辑也涉及到两个数据库同时插入、更新的操作；所以就涉及到跨数据库的数据一致性问题。于是基于 Spring Boot 整合了 Atomikos 的一个项目 demo。项目源码地址：https://github.com/WongMinHo/spring-boot-api-starter 介绍分布式事务：分布式事...
2019-10-19 56热度收藏
《数据安全架构设计与实战》新书推荐

《数据安全架构设计与实战》一书融入作者十余年安全架构实践经验，系统性地介绍数据安全架构设计与治理实践，主要包括：产品安全架构（从源头开始保障数据/隐私安全）、安全技术体系架构（构建统一的安全能力中心）、数据安全与隐私保护治理（建立全局视野并保障数据安全落地）。专家评论数据安全问题其实一直存在，只是在大数据、基于大数据的人工智能时代变得更加重要，郑云文的这...
2019-10-19 27热度收藏
架构设计文档提纲简描

提纲很简单的：一、概述二、目的三、项目背景四、系统建设目标五、参考资料六、架构设计 6.1 架构分析 6.2 设计思想 6.3 架构体系 6.4 系统视图 6.5 模块划分 6.5.1 模块描述 6.5.2 模块接口
2019-10-19 38热度收藏
IT职业技能谱十三张

1 程序开发语言综述 2 iOS开发工程师必备技能 3 运维工程师必备技能 4 前端工程师必备技能 5 大数据工程师必备技能 6 云计算工程师必备技能 7 安全工程师必备技能 8 移动无线测试工程师必备技能 9 嵌入式开发必备技能 10 微服务架构技能图谱 11 Hadoop家族技能图谱 12 OpenResty技能图谱 13 Co...
2019-10-19 55热度收藏
云时代的安全解读：云安全≠云计算安全

什么是云计算？要说起云计算，至今业界都没有一个非常标准的定义。每个企业都有自己定义的云计算。主要有两类，一个是跑在Map/Reduce框架下的计算平台，以此为代表的有hadoop，还有一些海量存储的，比如google的 bigtable等。另一类就是虚拟机平台，以此为代表是Amazon、VMware。云计算的另一个特征应该就是有“数据中心”，用土话来说就...
2019-10-19 24热度收藏
带你玩转 Big Data

Big Data（大数据）技术简析 Big Data是近来的一个技术热点，但从名字就能判断它并不是什么新词。毕竟，大是一个相对概念。历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。然而，Big Data作为一个专有...
2019-10-19 25热度收藏
世界杯项目案例:HDFS分布式文件系统

项目案例：HDFS分布式文件系统 Hadoop的简介：Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作；DataNode...
2019-10-19 34热度收藏
13个在企业中持上升势头的开源编程工具

在企业使用的编程工具，开源工具到处可见，常处于统治地位。原因很简单：开源协议被设计来允许用户修改、修复、拓展代码，并且具有社区的持续贡献力，开源力量在企业中蔓延... 来自“开源编程工具越来越受到欢迎”的消息，InfoWorld选出了13个在企业中持上升势头的开源编程工具。列表如下： 1.Rhomobile Rhodes Rhodes是一个新的开源解决方案...
2019-10-19 23热度收藏
卸载CDH5.10.0

集群中每个节点都要执行：停止服务 service cloudera-scm-server stop servicecloudera-scm-agent stop 卸载安装包 yum remove -y cloudera* yum clean all 或者： for f in `rpm -qa | grep cloudera`; do rpm -e ${f}...
2019-10-19 31热度收藏
部署Mahout

一、Mahout简介 Mahout是ApacheSoftwareFoundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。ApacheMahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。此...
2019-10-19 16热度收藏
深入 Facebook 消息应用服务器，互联网营销

要点： Facebook 统一消息系统（邮件、短信、聊天、消息等）；用HBase作为后端存储设施，每个用户数据存储在 HBase 的单独一行里，每个实体（文件夹、主题、消息等等）都存储在自己的HBase列中；涉及 HayStack 图片处理基础设施；使用Apache Lucene维护反向索引列表；镜像了大约 10% 用户的实时聊天和收件箱中的信息到测...
2019-10-19 28热度收藏
Elastic stack--ES/kibana/filebeat/metricbeat

背景：这篇文章主要是本人结合公司有关监控，详细介绍一下Elastic stack的几个组件：Elasticsearch/kibana/filebeat/metricbeat，通过安装配置部署，以及具体的case来介绍这四个组件，有关一些基本概念，直接从官方网站上copy,毕竟还是一首资料权威，本文英文水平有限，就不误人子弟了, 个人认为最核心的应该是ES;...
2019-10-19 53热度收藏
大数据实战之spark安装部署

楔子我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员，我都非常推荐这个项目。今天，Spark已经被很多巨头...
2019-10-19 38热度收藏
CDH: unable to create new native thread

发现问题 CDH-4.7.1 NameNode is down 启动NameNode报错如下，无法创建新的线程，可能是使用的线程数超过max user processes设定的阈值 2018-08-2608:44:00,532INFOorg.apache.hadoop.http.HttpServer:Jettyboundtoport50070 2018-08...
2019-10-19 34热度收藏
spark 运维实战简介

Spark大数据计算框架、架构、计算模型和数据管理策略及 Spark在工业界的应用。围绕 Spark的 BDAS项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目，本章只进行简要介绍，后续章节再详细阐述。 1.1Spa...
2019-10-19 28热度收藏
CDH:cloudera-scm-server dead but pid file exists

报错 CM HDFS管理界面的报错（由于CM down这个信息是无法通过管理界面查看的，这里是从日志中获得的）： The health test result for HDFS_CANARY_HEALTH has become bad: Canary test failed to create parent directory for /opt/tmp/.c...
2019-10-19 47热度收藏
一键部署 spark

前言 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC...
2019-10-19 136热度收藏
Hive 基本环境部署

一、Hive 运行模式与Hadoop类似，Hive也有 3 种运行模式： 1. 内嵌模式将元数据保存在本地内嵌的 Derby数据库中，这是使用hive最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式这种模式是将元数据保存在本地独立的数据库中（一般是My...
2019-10-19 16热度收藏
Hive 工作原理详解

什么是Hive？ Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的...
2019-10-19 8热度收藏
Hive安装和配置

Hive简介 (1) hive不支持OLTP处理 (2)Hive 1.2 及之后需要java1.7或更新版本 Hive安装 (1)hive可以安装在任何一个机器上，前提是这个机器必须要有hadoop软件（可以不启动hdfs,yarn等进程），因为Hive需要用到hadoop软件下的一些jar包 (2)hive1.x默认在哪个目录下启动就会在该目录下创建一个目...
2019-10-19 9热度收藏

« 上页 242/5295 下页 »

文章筛选

文章列表