搜索[数据协作平台]结果-低调大师优秀个人博客

精选列表

搜索[数据协作平台]，共10000篇文章

大数据平台网站日志分析系统

1：大数据平台网站日志分析系统，项目技术架构图： 2：大数据平台网站日志分析系统，流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统

2017-12-08

视频网站数据平台变迁之路（一）

一.数据系统架构V1 _ 优酷早在2007年便采用php语言自主开发了一套数据系统。系统分为数据采集、数据存储、数据分析、报表平台，四个模块。

2017-12-02

VMWARE是如何打造数据中心平台

我们要对虚拟化发展要有清楚的认识，虚拟化是一个平台，需要网络、存储、安全、服务器等硬件资源的支撑，企业是逐步把应用迁移到虚拟化的平台上，这就要靠技术和管理去实施。

2017-11-25

1，在HDFS文件系统上创建test目录 hadoop fs -mkdir /user/biadmin/test 2，将文件copy到test目录下 hadoop fs -put /var/adm/ibmvmcoc-postinstall/BIlicense_en.txt /user/biadmin/test 3，查看test目录下是否多了这个文件 biadmin@bivm:/etc/ibmvmcoc-postinstall> hadoop fs -ls /user/biadmin/test Found 1 items -rw-r--r-- 1 biadmin biadmin 62949 2016-01-01 22:34 /user/biadmin/test/BIlicense_en.txt 4，运行一个简单的MapReduce程序 WordCount是用JAVA写的针对Hadoop MapReduce的一个小程序，用于统计文本中每个单词的出现次数，关于WordCount更多内容请参考-http://wiki.apache.org/hadoop/WordCount 执行程序是hadoop-example.jar，内容是在刚刚创建的test目录下，输出到WordCount_outpt子目录中。如果没有此目录，会自动创建。 biadmin@bivm:/etc/ibmvmcoc-postinstall>hadoop jar /opt/ibm/biginsights/IHC/hadoop-example.jar wordcount /user/biadmin/test WordCount_output 16/01/01 22:36:08 INFO input.FileInputFormat: Total input paths to process : 1 16/01/01 22:36:18 INFO mapred.JobClient: Running job: job_201601012120_0001 16/01/01 22:36:19 INFO mapred.JobClient: map 0% reduce 0% 16/01/01 22:37:58 INFO mapred.JobClient: map 100% reduce 0% 16/01/01 22:39:07 INFO mapred.JobClient: map 100% reduce 100% 16/01/01 22:39:14 INFO mapred.JobClient: Job complete: job_201601012120_0001 16/01/01 22:39:15 INFO mapred.JobClient: Counters: 29 16/01/01 22:39:15 INFO mapred.JobClient: File System Counters 16/01/01 22:39:15 INFO mapred.JobClient: FILE: BYTES_READ=33219 16/01/01 22:39:15 INFO mapred.JobClient: FILE: BYTES_WRITTEN=419738 16/01/01 22:39:15 INFO mapred.JobClient: HDFS: BYTES_READ=63073 16/01/01 22:39:15 INFO mapred.JobClient: HDFS: BYTES_WRITTEN=24073 16/01/01 22:39:15 INFO mapred.JobClient: org.apache.hadoop.mapreduce.JobCounter 16/01/01 22:39:15 INFO mapred.JobClient: TOTAL_LAUNCHED_MAPS=1 16/01/01 22:39:15 INFO mapred.JobClient: TOTAL_LAUNCHED_REDUCES=1 16/01/01 22:39:15 INFO mapred.JobClient: DATA_LOCAL_MAPS=1 16/01/01 22:39:15 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=95300 16/01/01 22:39:15 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=50249 16/01/01 22:39:15 INFO mapred.JobClient: FALLOW_SLOTS_MILLIS_MAPS=0 16/01/01 22:39:15 INFO mapred.JobClient: FALLOW_SLOTS_MILLIS_REDUCES=0 16/01/01 22:39:15 INFO mapred.JobClient: org.apache.hadoop.mapreduce.TaskCounter 16/01/01 22:39:15 INFO mapred.JobClient: MAP_INPUT_RECORDS=755 16/01/01 22:39:15 INFO mapred.JobClient: MAP_OUTPUT_RECORDS=9865 16/01/01 22:39:15 INFO mapred.JobClient: MAP_OUTPUT_BYTES=102036 16/01/01 22:39:15 INFO mapred.JobClient: MAP_OUTPUT_MATERIALIZED_BYTES=33219 16/01/01 22:39:15 INFO mapred.JobClient: SPLIT_RAW_BYTES=124 16/01/01 22:39:15 INFO mapred.JobClient: COMBINE_INPUT_RECORDS=9865 16/01/01 22:39:15 INFO mapred.JobClient: COMBINE_OUTPUT_RECORDS=2322 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_INPUT_GROUPS=2322 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_SHUFFLE_BYTES=33219 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_INPUT_RECORDS=2322 16/01/01 22:39:15 INFO mapred.JobClient: REDUCE_OUTPUT_RECORDS=2322 16/01/01 22:39:15 INFO mapred.JobClient: SPILLED_RECORDS=4644 16/01/01 22:39:15 INFO mapred.JobClient: CPU_MILLISECONDS=22130 16/01/01 22:39:15 INFO mapred.JobClient: PHYSICAL_MEMORY_BYTES=538050560 16/01/01 22:39:15 INFO mapred.JobClient: VIRTUAL_MEMORY_BYTES=3549384704 16/01/01 22:39:15 INFO mapred.JobClient: COMMITTED_HEAP_BYTES=2097152000 16/01/01 22:39:15 INFO mapred.JobClient: File Input Format Counters 16/01/01 22:39:15 INFO mapred.JobClient: Bytes Read=62949 16/01/01 22:39:15 INFO mapred.JobClient: org.apache.hadoop.mapreduce.lib.output.FileOutputFormat$Counter 16/01/01 22:39:15 INFO mapred.JobClient: BYTES_WRITTEN=24073 会自动创建WordCount_output目录 biadmin@bivm:/etc/ibmvmcoc-postinstall> hadoop fs -ls WordCount_output Found 3 items -rw-r--r-- 1 biadmin biadmin 0 2016-01-01 22:39 WordCount_output/_SUCCESS drwx--x--x - biadmin biadmin 0 2016-01-01 22:36 WordCount_output/_logs -rw-r--r-- 1 biadmin biadmin 24073 2016-01-01 22:39 WordCount_output/part-r-00000 biadmin@bivm:~> hadoop fs -cat WordCount_output/*00 names, 1 national 1 nature 1 necessary 4 negligence 5 negligence, 4 negligence. 1 negligence; 2 neither 3 net 1 上面是用命令行方式来MapReduce，除此之外，IBM BigInsights还提供了基于Web界面的方式，打开Applications子选项，切换到Manage，可以看到预先定义的一些应用。在Test下面，有个WordCount应用，点开后选择“Deploy” 然切换到Run，可以看到已经有了WordCount这个应用，选中WordCount，输入要统计文件所在的目录及输出目录，点击Run开始运行同样地，也可以通过Web界面来操作HDFS文件系统，包括创建、删除、修改目录或者文件用浏览器打开JobTracker（http://192.168.133.135:50030/jobtracker.jsp），显示出最近运行的MapReduce任务，点开JobID能看到更多详细信息。所谓的JobTracker是一个master服务，Hadoop启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。本文转自 taojin1240 51CTO博客，原文链接：http://blog.51cto.com/taotao1240/1735420，如需转载请自行联系原作者

2017-11-21

开放大数据平台强化“软”实力

在庆祝肯睿（上海）软件有限公司正式登陆中国市场的同时，英特尔阐释了其对大数据技术、应用和市场方面的最新洞察，而Cloudera也介绍了其基于英特尔架构大数据平台的技术创新和市场推广策略。

2017-09-10

构建物联网云平台 “搞活”数据价值

因此，需要一家在物联网技术上有深厚功底，并在大数据分析和人工智能上有积累的云平台，才能满足生态链闭环的需求。

2017-09-03

流数据平台的5个核心属性

流数据平台的集成、流数据的采集以及流媒体应用的分析，有五个核心属性是必不可少的。低延迟：流数据平台需要从流中获得数据，并匹配合适的数据源。

2017-08-31

打造“苏州工业大数据众智平台”

运用阿里技术、平台、品牌优势资源，打造“苏州工业大数据众智平台”，把工业大数据的应用与服务普惠到更多工业企业。

2017-07-05

搭建“智慧芭田”大数据综合平台

“智慧芭田”大数据综合平台 “智慧芭田”大数据综合平台，主要是通过对高品质农作物生长环境、生长阶段所需的土壤、天气等因素通过大数据建模分析形成标准化的解决方案数据库。

2017-07-02

开建全国首个“健康城市大数据平台”

日前，全国首个“健康城市大数据运营管理平台”花落平度，由平度市人民政府、海尔电器集团日日顺物联网有限公司、深圳和而泰智能控制股份有限公司合作，共建健康大数据产业园。

2017-07-02

【干货】大数据平台建设实践与探讨

微店大数据架构师王锋，将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。马云说“人类正从IT时代走向DT时代”。这个观念提法很快就被广泛传播开来，并被人们所接受。

2017-05-01

美团大数据平台架构实践

谢语宸是来自美团的大数据构建平台的架构师。

2017-02-21

浅谈开源大数据平台的演变

Hadoop解决了大数据平台的有无问题，随着业务和需求的精细化发展，在一些细分领域人们对大数据平台提出了更高的期望和要求，因此诞生了一批在不同领域下的更高效更有针对性的平台。

2015-04-19

混合云平台打破数据壁垒，人工智能激活数据价值

实际上，在信息化、数字化浪潮席卷之下，企业并不缺少数据，而是缺少完善数据治理、激活数据价值的工具、能力与方法。

2021-08-16

机器学习时代的“大数据+”：数据平台的设计与搭建

在近期举办的2018 ArchSummit全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与搭建》。

2019-04-29

多Agent协作做大宗交易折溢价识别从成交数据到主力意图 IG50免费开源股票数据API接口

大宗交易折溢价在 A 股是一个很特殊的数据维度。它不像 K 线那样是大众共识，而是机构资金之间的"暗语"。

2026-09-01

团队编程协作技巧：如何减少返工与合并冲突

2026年8月，我带一个三人小队开发内部代码审查服务：后端负责接收 Git 平台的 PR 事件，前端负责展示风险标签，我负责规则设计和合并验收。

2026-09-03

以智能体为中心，集成企业人机协作系统

这是绝大多数企业每天的常态，也是数据孤岛最直白的画面。

2026-08-15

Buzz：Block 开源的 Agent 协作记忆工作台

从私有 Agent 会话，到人、Agent、仓库、审批和历史共处的 signed event workspace。

2026-07-27

AI Coding正在从能力竞争转向协作效率竞争

AI Coding 正在从能力竞争转向协作效率竞争。谁能让多个 Agent 更好地协作，谁就拿到了下一阶段的入场券。

2026-07-16

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。