搜索[主数据平台]结果-低调大师优秀个人博客

精选列表

搜索[主数据平台]，共10000篇文章

大数据平台网站日志分析系统

1：大数据平台网站日志分析系统，项目技术架构图： 2：大数据平台网站日志分析系统，流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统

2017-12-08

视频网站数据平台变迁之路（一）

一.数据系统架构V1 _ 优酷早在2007年便采用php语言自主开发了一套数据系统。系统分为数据采集、数据存储、数据分析、报表平台，四个模块。

2017-12-02

VMWARE是如何打造数据中心平台

我们要对虚拟化发展要有清楚的认识，虚拟化是一个平台，需要网络、存储、安全、服务器等硬件资源的支撑，企业是逐步把应用迁移到虚拟化的平台上，这就要靠技术和管理去实施。

2017-11-25

1，在HDFS文件系统上创建test目录 hadoop fs -mkdir /user/biadmin/test 2，将文件copy到test目录下 hadoop fs -put /var/adm/ibmvmcoc-postinstall/BIlicense_en.txt /user/biadmin/test 3，查看test目录下是否多了这个文件 biadmin@bivm:/etc/ibmvmcoc-postinstall> hadoop fs -ls /user/biadmin/test Found 1 items -rw-r--r-- 1 biadmin biadmin 62949 2016-01-01 22:34 /user/biadmin/test/BIlicense_en.txt 4，运行一个简单的MapReduce程序 WordCount是用JAVA写的针对Hadoop MapReduce的一个小程序，用于统计文本中每个单词的出现次数，关于WordCount更多内容请参考-http://wiki.apache.org/hadoop/WordCount 执行程序是hadoop-example.jar，内容是在刚刚创建的test目录下，输出到WordCount_outpt子目录中。如果没有此目录，会自动创建。 biadmin@bivm:/etc/ibmvmcoc-postinstall>hadoop jar /opt/ibm/biginsights/IHC/hadoop-example.jar wordcount /user/biadmin/test WordCount_output 16/01/01 22:36:08 INFO input.FileInputFormat: Total input paths to process : 1 16/01/01 22:36:18 INFO mapred.JobClient: Running job: job_201601012120_0001 16/01/01 22:36:19 INFO mapred.JobClient: map 0% reduce 0% 16/01/01 22:37:58 INFO mapred.JobClient: map 100% reduce 0% 16/01/01 22:39:07 INFO mapred.JobClient: map 100% reduce 100% 16/01/01 22:39:14 INFO mapred.JobClient: Job complete: job_201601012120_0001 16/01/01 22:39:15 INFO mapred.JobClient: Counters: 29 16/01/01 22:39:15 INFO mapred.JobClient: File System Counters 16/01/01 22:39:15 INFO mapred.JobClient: FILE: BYTES_READ=33219 16/01/01 22:39:15 INFO mapred.JobClient: FILE: BYTES_WRITTEN=419738 16/01/01 22:39:15 INFO mapred.JobClient: HDFS: BYTES_READ=63073 16/01/01 22:39:15 INFO mapred.JobClient: HDFS: BYTES_WRITTEN=24073 16/01/01 22:39:15 INFO mapred.JobClient: org.apache.hadoop.mapreduce.JobCounter 16/01/01 22:39:15 INFO mapred.JobClient: TOTAL_LAUNCHED_MAPS=1 16/01/01 22:39:15 INFO mapred.JobClient: TOTAL_LAUNCHED_REDUCES=1 16/01/01 22:39:15 INFO mapred.JobClient: DATA_LOCAL_MAPS=1 16/01/01 22:39:15 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=95300 16/01/01 22:39:15 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=50249 16/01/01 22:39:15 INFO mapred.JobClient: FALLOW_SLOTS_MILLIS_MAPS=0 16/01/01 22:39:15 INFO mapred.JobClient: FALLOW_SLOTS_MILLIS_REDUCES=0 16/01/01 22:39:15 INFO mapred.JobClient: org.apache.hadoop.mapreduce.TaskCounter 16/01/01 22:39:15 INFO mapred.JobClient: MAP_INPUT_RECORDS=755 16/01/01 22:39:15 INFO mapred.JobClient: MAP_OUTPUT_RECORDS=9865 16/01/01 22:39:15 INFO mapred.JobClient: MAP_OUTPUT_BYTES=102036 16/01/01 22:39:15 INFO mapred.JobClient: MAP_OUTPUT_MATERIALIZED_BYTES=33219 16/01/01 22:39:15 INFO mapred.JobClient: SPLIT_RAW_BYTES=124 16/01/01 22:39:15 INFO mapred.JobClient: COMBINE_INPUT_RECORDS=9865 16/01/01 22:39:15 INFO mapred.JobClient: COMBINE_OUTPUT_RECORDS=2322 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_INPUT_GROUPS=2322 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_SHUFFLE_BYTES=33219 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_INPUT_RECORDS=2322 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_OUTPUT_RECORDS=2322 16/01/01 22:39:15 INFO mapred.JobClient: SPILLED_RECORDS=4644 16/01/01 22:39:15 INFO mapred.JobClient: CPU_MILLISECONDS=22130 16/01/01 22:39:15 INFO mapred.JobClient: PHYSICAL_MEMORY_BYTES=538050560 16/01/01 22:39:15 INFO mapred.JobClient: VIRTUAL_MEMORY_BYTES=3549384704 16/01/01 22:39:15 INFO mapred.JobClient: COMMITTED_HEAP_BYTES=2097152000 16/01/01 22:39:15 INFO mapred.JobClient: File Input Format Counters 16/01/01 22:39:15 INFO mapred.JobClient: Bytes Read=62949 16/01/01 22:39:15 INFO mapred.JobClient: org.apache.hadoop.mapreduce.lib.output.FileOutputFormat$Counter 16/01/01 22:39:15 INFO mapred.JobClient: BYTES_WRITTEN=24073 会自动创建WordCount_output目录 biadmin@bivm:/etc/ibmvmcoc-postinstall> hadoop fs -ls WordCount_output Found 3 items -rw-r--r-- 1 biadmin biadmin 0 2016-01-01 22:39 WordCount_output/_SUCCESS drwx--x--x - biadmin biadmin 0 2016-01-01 22:36 WordCount_output/_logs -rw-r--r-- 1 biadmin biadmin 24073 2016-01-01 22:39 WordCount_output/part-r-00000 biadmin@bivm:~> hadoop fs -cat WordCount_output/*00 names, 1 national 1 nature 1 necessary 4 negligence 5 negligence, 4 negligence. 1 negligence; 2 neither 3 net 1 上面是用命令行方式来MapReduce，除此之外，IBM BigInsights还提供了基于Web界面的方式，打开Applications子选项，切换到Manage，可以看到预先定义的一些应用。在Test下面，有个WordCount应用，点开后选择“Deploy” 然切换到Run，可以看到已经有了WordCount这个应用，选中WordCount，输入要统计文件所在的目录及输出目录，点击Run开始运行同样地，也可以通过Web界面来操作HDFS文件系统，包括创建、删除、修改目录或者文件用浏览器打开JobTracker（http://192.168.133.135:50030/jobtracker.jsp），显示出最近运行的MapReduce任务，点开JobID能看到更多详细信息。所谓的JobTracker是一个master服务，Hadoop启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。本文转自 taojin1240 51CTO博客，原文链接：http://blog.51cto.com/taotao1240/1735420，如需转载请自行联系原作者

2017-11-21

开放大数据平台强化“软”实力

ZDNet至顶网服务器频道 12月10日新闻消息：为推动中国大数据技术和解决方案的开发进程及应用普及度，并帮助本地企业通过大数据处理和分析加速业务洞察的获取效率，全球计算力创新的引领者英特尔公司携手企业数据分析管理软件的领导者

2017-09-10

构建物联网云平台 “搞活”数据价值

因此，需要一家在物联网技术上有深厚功底，并在大数据分析和人工智能上有积累的云平台，才能满足生态链闭环的需求。

2017-09-03

流数据平台的5个核心属性

流数据平台的集成、流数据的采集以及流媒体应用的分析，有五个核心属性是必不可少的。低延迟：流数据平台需要从流中获得数据，并匹配合适的数据源。

2017-08-31

打造“苏州工业大数据众智平台”

运用阿里技术、平台、品牌优势资源，打造“苏州工业大数据众智平台”，把工业大数据的应用与服务普惠到更多工业企业。

2017-07-05

搭建“智慧芭田”大数据综合平台

“智慧芭田”大数据综合平台 “智慧芭田”大数据综合平台，主要是通过对高品质农作物生长环境、生长阶段所需的土壤、天气等因素通过大数据建模分析形成标准化的解决方案数据库。

2017-07-02

开建全国首个“健康城市大数据平台”

日前，全国首个“健康城市大数据运营管理平台”花落平度，由平度市人民政府、海尔电器集团日日顺物联网有限公司、深圳和而泰智能控制股份有限公司合作，共建健康大数据产业园。

2017-07-02

【干货】大数据平台建设实践与探讨

微店大数据架构师王锋，将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。马云说“人类正从IT时代走向DT时代”。这个观念提法很快就被广泛传播开来，并被人们所接受。

2017-05-01

美团大数据平台架构实践

谢语宸是来自美团的大数据构建平台的架构师。

2017-02-21

浅谈开源大数据平台的演变

Hadoop解决了大数据平台的有无问题，随着业务和需求的精细化发展，在一些细分领域人们对大数据平台提出了更高的期望和要求，因此诞生了一批在不同领域下的更高效更有针对性的平台。

2015-04-19

混合云平台打破数据壁垒，人工智能激活数据价值

实际上，在信息化、数字化浪潮席卷之下，企业并不缺少数据，而是缺少完善数据治理、激活数据价值的工具、能力与方法。

2021-08-16

机器学习时代的“大数据+”：数据平台的设计与搭建

在近期举办的2018 ArchSummit全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与搭建》。

2019-04-29

etcd实现故障时主备秒级切换高可用架构

从简单的Web应用程序到Kubernetes，任何复杂的应用程序都可以读取数据并将数据写入etcd。

2019-07-23

在VPC环境中利用keepalived实现主备双机高可用

1. 测试资源准备 VPC环境内 a) ECS HA1： 172.16.0.224 b) ECS HA2： 172.16.0.225 c) EIP： 139.196.75.13 d) HAVIP： 172.16.0.222 2．Nginx安装分别在两台ECS中安装Nginx，安装过程不再赘述。更改相应的nginx index.html，以便测试时方便识别主机。 3．keepalived安装 3.1安装依赖包 yum -y install gcc gcc+ gcc-c++ yum install popt-devel openssl openssl-devel libssl-dev libnl-devel popt-devel 3.2 建立kernel的软连接 ln -s /usr/src/kernels/2.6.32-431.23.3.el6.

2018-02-06

企业内部DNS主服务器架构的步骤

#yum install bind -y,安装完成之后，#vim /etc/named.conf，建立一个主配置文件。

2017-11-11

Android项目Tab类型主界面大总结 Fragment+TabPageIndicator+ViewPager

2、FragmentManager+Fragment实现主要利用了Fragment在主内容界面对Fragment的add,hide等事务操作。

2017-11-09

阿里云栖大会开幕主论坛核心干货！

智东西10月11日消息，今天，2017年阿里云栖大会在杭州云栖小镇正式开幕，这是阿里云一年一度最盛大的会议，为期四天（11-14日），由2个主论坛，超过120场分论坛组成，参会人数达到了4万人。

2017-10-10

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。