首页 文章 精选 留言 我的

精选列表

搜索[农业大模型],共10004篇文章
优秀的个人博客,低调大师

盘点:全球工业大数据战略众生相

2015年,人工智能、物联网迅猛发展,几乎所有人的目光都瞄准了“数据”产生的价值,大数据市场一触即发。2016年,全球大数据技术和服务市场将在未来几年保持高增长率,值得期待。如此,不妨一览全球大数据战略众生相。 第一站:中国 发展优势得天独厚 今年11月,党的十八届五中全会公报提出要实施“国家大数据战略”,这是大数据第一次写入党的全会决议,标志着大数据战略正式上升为国家战略。五中全会,开启了大数据建设的新篇章。 事实上,在2015年,“大数据”议题是国务院常务会议的座上客,“大数据”战略早露端倪。1月14日,部署加快发展服务贸易,以结构优化拓展发展空间,提出要创新模式,利用大数据、物联网等新技术打造服务贸易新型网络平台;2月6日,确定运用互联网和大数据技术,加快建设投资项目在线审批监管平台,横向联通发展改革,城乡规划,国土资源,环境保护等部门,纵向贯通各级政府,推进网上受理、办理、监管“一条龙”服务,做到全透明,可核查,让信息多跑路,群众少跑腿;7月,国务院办公厅印发的《关于运用大数据加强对市场主体服务和监管的若干意见》提出,要提高对市场主体服务水平;加强和改进市场监管;推进政府和社会信息资源开放共享;提高政府运用大数据的能力;积极培育和发展社会化征信服务;9月国务院印发《促进大数据发展行动纲要》,系统部署大数据发展工作,要求加强顶层设计和统筹协调,大力推动政府信息系统和公共数据互联开放共享,加快政府信息平台整合,消除信息孤岛,推进数据资源向社会开放,增强政府公信力,引导社会发展,服务公众企业。 值得注意的是,中国大数据发展优势独天独厚。中国信息消费市场规模量级巨大,增长迅速。在网络能力的提升、居民消费升级和四化加快融合发展的背景下,新技术、新产品、新内容、新服务、新业态不断激发新的消费需求,而作为提升信息消费体验的重要手段,大数据将在行业领域获得广泛应用。 第二站:韩国 从基础设施起步踏实推进 笔者对韩国大数据产业发展的有着较深影响的是2014年7月,韩国政府宣布了一项新的战略—未来增长引擎执行计划,列出了13个韩国未来增长引擎的领域,其中就包括大数据。韩国计划通过项目推动,达到扩大国内大数据市场规模和扩展国际市场占有率目标,到2020年,使大数据的国内和国际市场规模均超过10亿美元。同时还有在2011年首尔提出的“智慧首尔2015”计划,目标是到2015年成为世界上最方便使用智能技术的城市,建立与市民沟通的智能行政服务,建成适应未来生活的基础设施和成为有创造力的智慧经济都市。“智慧首尔2015”计划指出,公共数据已成为具有社会和经济价值的重要国家资产,首尔市将努力打造“首尔开放数据广场”,以促进信息技术和公共服务产业的进步和发展。 如今,韩国大数据发展也是非常地迅速。2015年韩国大数据行业市场规模已达13万亿韩元(约合人民币722亿元)。自2012年市场规模突破12万亿韩元后,韩国大数据行业以9%的年平均增长率不断发展壮大。目前,韩国大数据行业仍以提供数据的数据服务及数据库构建服务为主,数据咨询及大数据解决方案市场规模呈增长态势。根据韩国数据化振兴院发布的《2015韩国数据行业白皮书》,数据服务市场规模占总行业市场规模的47%,位列第一;数据库构建服务以41.8%的占有率紧随其后。 韩国大数据行业不断发展,企业对大数据的依赖度不断增加,数据专业人才需求也越来越大。韩国数据化振兴院的数据显示,目前韩国数据产业从业人员达30万人,但其中与数据直接相关的从业人员仅为7万人,人才缺口依然较大。根据《2015韩国数据行业白皮书》的统计数据显示,目前能够利用数据赋予产业附加价值的“数据科学家”人才最为紧俏,此外数据挖掘及分析相关的高级人才也颇受雇主欢迎。 第三站:美国 形成全体动员格局 美国是率先将大数据从商业概念上升到国家战略的国家。2012年3月,美国政府公布了2亿美元的《大数据研究发展计划》,提出通过提高美国从大型复杂数据中提取知识和观点的能力,加快科学与工程研究步伐,加强国家安全。同年11月公布的具体研发计划涉及各级政府、私企及科研机构的多个大数据研究项目。 作为大数据的策源地和创新引领者,美国大数据发展一直走在全球最前面。2014年5月美国发布《大数据:把握机遇,守护价值》白皮书,对美国大数据应用与管理的现状、政策框架和改进建议进行了集中阐述。该白皮书表示,在大数据发挥正面价值的同时,应该警惕大数据应用对隐私、公平等长远价值带来的负面影响。从《白皮书》所代表的价值判断来看,美国政府更为看重大数据为经济社会发展所带来的创新动力,对于可能与隐私权产生的冲突,则以解决问题的态度来处理。报告最后提出六点建议:推进消费者隐私法案;通过全国数据泄露立法;将隐私保护对象扩展到非美国公民;对在校学生的数据采集仅应用于教育目的;在反歧视方面投入更多专家资源;修订电子通信隐私法案。 如今,大数据发展战略在美国已经形成了全体动员的格局,大数据已成为美国国家创新战略、国家安全战略、国家ICT产业发展战略以及国家网络安全战略的跨界领域,美国实际上已经确立了基于大数据的信息网络安全战略,目的在于解决当前的大数据核心技术挑战,全面强化未来的信息网络安全战略优势。 第四站:英国 大数据的积极拥抱者 可以说,英国是大数据的积极拥抱者。无论是政府、研究机构,还是企业,都已经开始行动,抢占“数据革命”先机。早在2011年11月,英国政府就发布了对公开数据进行研究的战略政策。英国将大数据列为战略性技术,给予高度关注。英国政府紧随美国之后,推出一系列支持大数据发展举措。 首先是给予研发资金支持。英国政府通过利用和挖掘公开数据的商业潜力,为英国公共部门、学术机构等方面的创新发展提供“孵化环境”,同时为国家可持续发展政策提供进一步的帮助。2013年1月,英国政府向航天、医药等8类高新技术领域注资6亿英镑研发,其中大数据技术获得1.89亿英镑的资金,是获得资金最多的领域。 其次是促进政府和公共领域的大数据应用。为了便于公众理解和判断,英国政府专门建立了“数据英国”网站,将公众关心的政府开支、财务报告等数据整理汇总并发布在互联网上,并对其中的热点议题和重要开支进行进一步阐释,并对公众意见进行反馈。其效果也是明显的。据测算,通过合理、高效使用大数据技术,英国政府每年可节省约330亿英镑,相当于英国每人每年节省约500英镑。 第五站:澳大利亚 理念与行动同时践行 在南半球的澳大利亚自2009年开始积极应用开放数据的理念和行动践行开放政府的愿景和目标。Data.gov.au是政府信息目录的开放数据平台,用户可以在该网站上简便地搜索、浏览和利用澳政府国家、地区政府的公共数据,政府鼓励所有用户通过更新工具和应用从信息中得到实惠。澳大利亚政府数据开放通过5个阶段将数据开放流程化,这5个阶段依次是:发现数据——过程处理——授权许可——数据发布——数据完善。 2010年,澳大利亚联邦政府通过了超级国家宽带网工程,该工程的目标是将光纤电缆通向各家各户,让每个家庭享受每秒钟1G的速度。部分海外测试显示,全国宽带网络将覆盖全澳93%的用户,剩余的7%可使用速度相对较慢的无线和卫星网络。这项计划在2013年底结束。 2013年8月澳大利亚政府信息管理办公室发布了《公共服务大数据战略》,旨在推动公共行业利用大数据分析进行服务改革,制定更好的公共政策,保护公民隐私,使澳大利亚在该领域跻身全球领先水平。 【结语】 大数据释放出的巨大价值,几乎给每个行业都带来了颠覆:大数据很忠诚,它真实记录人们的每个足迹,深藏功与名;大数据很任性,它的分析有根有据,拒绝流言蜚语;大数据很友好,它提供各种权威参考,它创造绿色经济,让我们的生活更美好。世界已经进入由数据主导的“大时代”。 产业革命4.0由大数据引领,这不是预言,而是各国布局国家乃至地区发展的重要国家战略。最近发布的报告显示,全球大数据技术及服务市场复合年增长率(CAGR)将达31.7%,2016年收入将达238亿美元,其增速约为信息通信技术(ICT)市场整体增速的七倍之多。在广大现有和新兴细分市场中,大数据市场融合技术与服务,正形成迅猛的发展势头。 本文转自d1net(转载)

优秀的个人博客,低调大师

企业大数据平台下数仓建设思路

免费开通大数据服务:https://www.aliyun.com/product/odps 介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历,对系统架构、数据架构拥有丰富的实战经验,曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的基础架构。2008年加入阿里进入淘宝数据平台部后,他开始接触分布式计算平台Hadoop。 初始时在Hadoop平台上构建数仓主要解决企业内部数据分析的需求,在2010年公司决定对外开放数据后,开始于2011年利用自建的数仓体系支持对外数据产品数据魔方、淘宝指数。后续在平台和产品上不停的丰富数据内容,同时离线和流式两套数据体系支持数据产品。 从2012年开始,之

优秀的个人博客,低调大师

对志愿从事IT行业大学生的忠告

作为今年2012年刚毕业的大学生,我很想发表一下本科毕业生应该如何提高自己,如何让自己屹立于IT之林的观点。其实所有人都知道,只要你有能力,IT一林就有你的一席之地。如何让自己有很好的能力,如何让自己舒舒服服成长确实是令多数新人头疼的事。 我觉得一个IT新人能够舒舒服服的成长非常非常重要,因为要知道不是所有新人都能承受各种高手代码带来的厌烦。所以如果一个新人到处学习却碰的满身伤,我想这个新人继续前进的动力会大大削减。我很高兴,我自己找到一个快乐成长的方法,一路走来,虽然有点漫长,但却十分满足。因为在很多大师的教导下,让我一路走过的风景都十分优美,而且也有点心旷神怡地喜悦。 我非常非常建议,IT新人们去看看国外著作,有能力的最好看原著,不过不建议没有任何基础就看原著,因为英文不是很容易理解,如果因此让自己基本知识不正确就很不值了。这些著作可是大师们的精华,要知道学会知识不难,但是能将知识系统地条理出来,将来龙去脉,知识重点,全面而精细的讲解出来,真的很不容易。所以这些著作绝对是精华中的精华,绝对是一个事半功倍的法宝。 另外我提前说明一点,希望那些不喜欢看书的人能早点了解我的观点。我认为看每本著作,一定要完全地理解里面所有(几乎是所有的)的案例,并脱离著作来编写。对于富有创新精神的新人,如果能在空闲之余弄点自己的东西出来,并灵活的运用这些刚学到的知识就更不错了。所以我所说的不是书呆子。而是懂得学习之道的IT新生代。 其实这里面说的总结为一句话就是吸取大师的精华,通过理解每个案例,并动手编程实践,最大程度的消化知识。但是这样做也还不能保证舒舒服服的成长,要想做到舒舒服服成长,必须要有一套循序渐进的著作集。所以能找到一套通往每个新人目的地的大师著作集是非常非常关键的。 我是做3d游戏的,我这里讲我学习之路列下来,以时间先后顺序排列: 《C程序设计》 《C++Primier》 《Windows程序设计》 《深入浅出MFC》 《Windows核心编程》 《Windows游戏编程大师技巧》 《3D游戏编程大师技巧》 《Introducetion to 3D Game Programming With DirectX9.0》 《Direct3D ShaderX Vertex Shader and Pixel Shader Tips and Tricks》(未看完) 《Real-time Rendering》 DX8SDK的部分案例 DX9SDK的多数案例 其中伴随着看《Effective C++》。 在学习并练习这些著作和SDK Demo的时候,也随便写了一些东西,把比较重要列一下: DOS版的贪吃蛇(双线程) DOS版-网络对战的俄罗斯方块(4线程) 聊天程序 Win32-网络对战的五子棋(没有人工智能的电脑) 2D荷叶游戏 2D的超级玛丽 3D智能旅游咨询员(虚拟3d人物,通过语音识别,通过3d口型发音,以及肢体动作来回答游客的各类问题) 3D的仿cs小游戏(只把场景和一些3d技术实现以下,如Shadow Volume, Shadow Map, Skinned mesh, DOF, PostProcess等) 请进入作品链接【http://xujiezhige.ys168.com/】->【打开后,点击放弃认证】->【点击原创游戏】->【选择对应作品下载】。 最后的3D Demo是为了进公司才写的,因为近第一家公司后我才发现,公司不会把你往高处衡量,只有你有自己的作品,才能让自己有底气让他们知道自己的能力。 学习是永无止境的,凡是都求个明明白白也是IT新生代应该具备的品质。 最后希望中国IT届人才辈出,创造中国IT新风气(团结,真实力,敢创造,精益求精)。让我们不输给印度,不输给韩国,不输给日本,不输给美国。

优秀的个人博客,低调大师

码农的区块链:搭建一个私有区块链环境

最近在研究区块链。打算先搭建一个测试环境开始运行。这里记录整个搭建过程,供后来人参考。 整体上,分为三个步骤,安装相关软件,初始化系统,建立集群,以及最后一步,挖矿。 我们采用的是以太坊,相对其他区块链,这是一个成熟的环境。 虽然近期有硬分支的事件,对企业应用来说,功能上还算是比较完善的。 安装部署 1.安装 Go 环境 如果机器无法上外网,还得配置一下代理。 Ubuntu配置代理的方式网上很多,这里不介绍。 curl-Ohttps://storage.googleapis.com/golang/go1.5.1.linux-amd64.tar.gz tar-C/usr/local-xzfgo1.5.1.linux-amd64.tar.gz mkdir-p~/go;echo"exportGOPATH=$HOME/go">>~/.bashrc echo"exportPATH=$PATH:$HOME/go/bin:/usr/local/go/bin">>~/.bashrc source~/.bashrc 2.安装 ethereum sudoapt-getinstallsoftware-properties-common sudoadd-apt-repository-yppa:ethereum/ethereum sudoadd-apt-repository-yppa:ethereum/ethereum-dev sudoapt-getupdate sudoapt-getinstallethereum 在执行sudo add-apt-repository -y ppa:ethereum/ethereum的时候碰到这个问题: root@ubuntu-KVM:~#sudoadd-apt-repository-yppa:ethereum/ethereum CannotaddPPA:'ppa:ethereum/ethereum'. PleasecheckthatthePPAnameorformatiscorrect. 按照Ask Ubuntu的意见,修改为: sudoapt-getinstallsoftware-properties-common sudo-Eadd-apt-repository-yppa:ethereum/ethereum sudo-Eadd-apt-repository-yppa:ethereum/ethereum-dev sudoapt-getupdate sudoapt-getinstallethereum 3.安装 solc 编译器 sudoadd-apt-repositoryppa:ethereum/ethereum-qt sudoadd-apt-repositoryppa:ethereum/ethereum sudoapt-getupdate sudoapt-getinstallcpp-ethereum 同样的,如果碰到PPA Name错误的警示,则执行如下操作: sudo-Eadd-apt-repositoryppa:ethereum/ethereum-qt sudo-Eadd-apt-repositoryppa:ethereum/ethereum sudoapt-getupdate sudoapt-getinstallcpp-ethereum 这样相关软件已经安装完毕。 搭建私链 1.启动geth服务 geth--datadir"/root/chain"console 其中 datadir用于指定数据目录。这个目录不能够预先创建,否则命令会失败。 执行结果如下: 2.创建账号 执行之后,进入geth的交互模式。 接着建立一个账号,然后退出。 这个账号用于执行创世操作。 然后exit退出 >personal.newAccount("密码"); "0xea5c99831c2e4a0e094facdbac1befcf6c92e543" >exit 3.创建创世区块 编译创建创世区块所需要的脚本, 注意alloc下的key需要和上述的账号保持一致。 { "alloc":{ "0xea5c99831c2e4a0e094facdbac1befcf6c92e543":{ "balance":"1000" } }, "nonce":"0x0000000000000042", "difficulty":"0x020000", "mixhash":"0x0000000000000000000000000000000000000000000000000000000000000000", "coinbase":"0x0000000000000000000000000000000000000000", "timestamp":"0x00", "parentHash":"0x0000000000000000000000000000000000000000000000000000000000000000", "extraData":"CNNMoneyJackMainterview:Warsstartwhentradestops,20160902", "gasLimit":"0xffffffff" } 各个参数的含义如下: mixhash:与nonce配合用于挖矿,由上一个区块的一部分生成的hash。注意他和nonce的设置需要满足以太坊的Yellow paper, 4.3.4. Block Header Validity, (44)章节所描述的条件。. nonce: nonce就是一个64位随机数,用于挖矿,注意他和mixhash的设置需要满足以太坊的Yellow paper, 4.3.4. Block Header Validity, (44)章节所描述的条件。 difficulty: 设置当前区块的难度,如果难度过大,cpu挖矿就很难,这里设置较小难度 alloc: 用来预置账号以及账号的以太币数量,因为私有链挖矿比较容易,所以我们不需要预置有币的账号,需要的时候自己创建即可以。 coinbase: 矿工的账号,随便填 timestamp: 设置创世块的时间戳 parentHash: 上一个区块的hash值,因为是创世块,所以这个值是0 extraData: 附加信息,随便填,可以填你的个性信息 gasLimit: 该值设置对GAS的消耗总量限制,用来限制区块能包含的交易信息总和,因为我们是私有链,所以填最大。 创建数据存放地址并初始化创世块 geth--datadir"/root/chain"initgenesis.json 执行结果如下: 4.启动私链 执行如下脚本 geth--identity"phoenix"--rpc--rpccorsdomain"*"--datadir"/root/chain"--port"30303"--rpcapi"db,eth,net,web3"--networkid98888console 各参数说明如下: identity:区块链的标示,随便填写,用于标示目前网络的名字 init:指定创世块文件的位置,并创建初始块 datadir:设置当前区块链网络数据存放的位置 port:网络监听端口,默认是8080 rpc:启动rpc通信,可以进行智能合约的部署和调试。它在geth中通常被默认激活。 rpcapi: 设置允许连接的rpc的客户端,一般为db,eth,net,web3 networkid: 设置当前区块链的网络ID,用于区分不同的网络,是一个数字 console:启动命令行模式,可以在Geth中执行命令 此外,还可以使用如下参数: nodiscover: 使用这个命令可以确保你的节点不会被非手动添加你的人发现。否则,你的节点可能被陌生人的区块链无意添加,如果他和你有相同的初始文件和网络ID。 maxpeers: 如果你不希望其他人连接到你的测试链,可以使用maxpeers 0。反之,如果你确切知道希望多少人连接到你的节点,你也可以通过调整数字来实现。 rpcapi: 这个命令可以决定允许什么API通过RPC进入。在默认情况下,geth可以在RPC激活web3界面。请注意在RPC/IPC界面提供API,会使每个可以进入这个界面(例如dapp’s)的人都有权限访问这个API。注意你激活的是哪个API。Geth会默认激活IPC界面上所有的API,以及RPC界面上的db,eth,net和web3 API。 rpccorsdomain: 这个可以指示什么URL能连接到你的节点来执行RPC定制端任务。务必谨慎,输入一个特定的URL而不是wildcard ( * ),后者会使所有的URL都能连接到你的RPC实例。 启动后界面如下,光标停留在最后的命令行上,可以执行以太坊命令。 可以看到Listening on [::]:30303和Welcome to the Geth JavaScript console!的提示,说明已经启动成功 注意:如果想将Ubuntu作为永久区块链节点使用,当使用nohup命令时,Geth启动参数console必须去掉,否则Geth会自动停止。 执行结果如下: 5.查看节点信息 常用命令: net.listening:查看网络是否在监听; admin.peers: 查看当前连接的节点。 目前还是空的。 admin.nodeInfo:查看当前节点的信息。 执行: >admin.nodeInfo 得到当前节点信息如下: { enode:"enode://dfd047d64a3d8c9d9c2834bc8c3bbf41a79e6797956fa99469b872d97a7978e4e7a6d9605ec6e77164515f6f09d979999ca3ef91eebcd2a6c91ebdfe167de094@[::]:30303", id:"dfd047d64a3d8c9d9c2834bc8c3bbf41a79e6797956fa99469b872d97a7978e4e7a6d9605ec6e77164515f6f09d979999ca3ef91eebcd2a6c91ebdfe167de094", ip:"::", listenAddr:"[::]:30303", name:"Geth/v1.5.0-unstable/linux/go1.5.1/phoenix", ports:{ discovery:30303, listener:30303 }, protocols:{ eth:{ difficulty:131072, genesis:"0xaab381212b8108c488c8d21c06042a9081b94bfb87665110520d3c295626e79b", head:"0xaab381212b8108c488c8d21c06042a9081b94bfb87665110520d3c295626e79b", network:98888 } } } 注意enode节点,这是当前节点的标识。 后续会用到这个值。 6.查看账户信息 在创建创世节点时,我们创建了个默认账户。可以通过如下命令查看账户余额。 >eth.accounts ["0x4b691e86c622127ed8e1d49899ad8c1d19834327"] >primary=eth.accounts[0] "0x4b691e86c622127ed8e1d49899ad8c1d19834327" >balance=web3.fromWei(eth.getBalance(primary),"ether"); 20 配置第二台私链服务器 第二台私链服务器,需要把第一台的步骤基本都要重复一遍。两台服务器配置一样才可以通讯。 需要改变的地方是: 第三步创建genesis.json的时候,完全使用第一台服务器的配置,不要用新建的account来创建。 需要将第一台服务器添加到静态节点列表中。 7.添加静态节点列表 在{datadir}下添加文件 static-nodes.json,内容如下: [ "enode://dfd047d64a3d8c9d9c2834bc8c3bbf41a79e6797956fa99469b872d97a7978e4e7a6d9605ec6e77164515f6f09d979999ca3ef91eebcd2a6c91ebdfe167de094@第一个节点的IP地址:30303" ] 执行如下脚本启动节点: geth--identity"phoenix"--rpc--rpccorsdomain"*"--datadir"/root/chain"--port"30303"--rpcapi"db,eth,net,web3"--networkid98888console 启动成功后,查看当前连接的节点: >admin.peers [{ caps:["eth/62","eth/63"], id:"dfd047d64a3d8c9d9c2834bc8c3bbf41a79e6797956fa99469b872d97a7978e4e7a6d9605ec6e77164515f6f09d979999ca3ef91eebcd2a6c91ebdfe167de094", name:"Geth/v1.5.0-unstable/linux/go1.5.1/phoenix", network:{ localAddress:"10.15.244.204:56808", remoteAddress:"10.15.244.203:30303" }, protocols:{ eth:{ difficulty:131072, head:"0xaab381212b8108c488c8d21c06042a9081b94bfb87665110520d3c295626e79b", version:63 } } }] 挖矿 激动人心的时刻到了。 作为一个伪金融圈人士,最大的梦想,古时候叫拥有一个聚宝盆,现在叫拥有一个印钞权,在数字货币时代,叫拥有一个挖矿机。 自己搭建的区块链,想怎么挖就怎么挖吧。 私链启动起来之后,挖矿其实很简单了。 首先必须保证的有一个账号: >eth.accounts ["0x1b39aa2446de648dd6928a759c542690cc32757b"] >eth.getBalance(eth.accounts[0]).toNumber(); 0 账号里没钱。 那就开始挖吧。挖矿其实很简单,一个命令就开始了。默认的,挖到的钱,都放在当前账号中。如果有多个账号,默认的放到第一个账号中。 在geth环境下,运行: >miner.start(); 或者运行命令行: geth--mine--minerthreads=4 minerthreads用来指定运行的线程数。默认为当前CPU的核数。 如果有多个账号,可以指定挖矿收入放到第几个账号,注意编号是从0开始的: miner.setEtherbase(eth.accounts[0]) 或者命令行执行: geth--etherbase0--mine2>>geth.log//0isindex:firstaccountbycreationorderOR geth--etherbase'0x1b39aa2446de648dd6928a759c542690cc32757b'--mine2>>geth.log 半小时后,查看下账户余额: >eth.getBalance(eth.accounts[0]).toNumber(); 1.5971875e+21 话说, e+21,那是多大的数字啊??一辈子还没见过这么多钱。 头条的同学们,记得帮忙点赞啊。 本文来自 微信公众号“凤凰牌老熊”

优秀的个人博客,低调大师

XL-LightHouse 1.0.9 发布,企业大数据运营系统

升级内容: 1、增加单机部署模式,降低程序部署门槛;2、优化程序结构;3、优化项目文档; 一键部署,一行代码接入,无需大数据研发运维经验,轻松实现海量数据实时统计,使用 XL-LightHouse 后: 1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了; 2、再也不需要疲于应付对个人价值提升没有多大益处的数据统计需求了,能够帮助您从琐碎反复的数据统计需求中抽身出来,从而专注于对个人提升、对企业发展更有价值的事情; 3、轻松帮您实现任意细粒度的监控指标,是您监控服务运行状况,排查各类业务数据波动、指标异常类问题的好帮手; 4、培养数据思维,辅助您将所从事的工作建立数据指标体系,量化工作产出,做专业严谨的职场人,创造更大的个人价值; 概述 XL-LightHouse 是针对互联网领域繁杂的流式数据统计需求而开发的一套集成了数据写入、数据运算、数据存储和数据可视化等一系列功能,支持超大数据量,支持超高并发的【通用型流式大数据统计平台】。 XL-LightHouse 目前已基本涵盖了常见的流式数据统计场景,包括 count、sum、max、min、avg、distinct、topN/lastN 等多种运算,支持多维度计算,支持分钟级、小时级、天级多个时间粒度的统计,支持自定义统计周期的配置。 XL-LightHouse 内置丰富的转化类函数、支持表达式解析,可以满足各种复杂的条件筛选和逻辑判断。 XL-LightHouse 是一套功能完备的流式大数据统计领域的数据治理解决方案,它提供了比较友好和完善的可视化查询功能,并对外提供 API 查询接口,此外还包括数据指标管理、权限管理、统计限流等多种功能。 XL-LightHouse 支持时序性数据的存储和查询。 产品优势 XL-LightHouse 面向企业繁杂的流式数据统计需求,可以帮助企业在极短时间内快速实现数以万计、数十万计的数据指标,而这是 Flink、ClickHouse 之类技术所远不能比拟的,XL-LightHouse 帮助企业低成本实现数据化运营,数据指标体系可遍布企业运转的方方面面; 对单个流式统计场景的数据量无限制,可以非常庞大,也可以非常稀少,您既可以使用它完成十亿级用户量 APP 的 DAU 统计、十几万台服务器的运维监控、一线互联网大厂数据量级的日志统计、也可以用它来统计一天只有零星几次的接口调用量、耗时状况; 支持高并发查询统计结果; 一键部署、一行代码接入,无需专业的大数据研发人员,普通工程人员就可以轻松驾驭; 有完善的数据指标可视化以及数据指标管理维护等功能; 收益 XL-LightHouse 可以帮助企业更快速的搭建起一套较为完善的、稳定可靠的数据化运营体系,节省企业在数据化运营方面的投入,主要体现在以下几个方面: 减少企业在流式大数据统计方面的研发成本和数据维护成本。 帮助企业节省时间成本,辅助互联网产品的快速迭代。 为企业节省较为可观的服务器运算资源。 便于数据在企业内部的共享和互通。 此外,XL-LightHouse 对中小企业友好,它大大降低了中小企业使用流式大数据统计的技术门槛,通过简单的页面配置和数据接入即可应对繁杂的流式数据统计需求。 项目地址 https://github.com/xl-xueling/xl-lighthouse.git https://gitee.com/mirrors/XL-LightHouse.gi

优秀的个人博客,低调大师

中钢李红:传统企业大数据实施路径思考

大数据是什么?数据、技术、思维、资源、财富、能力。 在中钢集团信息管理部总经理李红多年的信息化经验看来,制造业之前都在解决流程、管理等效率问题。而现如今大数据不仅在数字化转型的过程中发挥着重要作用,同时也在重塑企业的发展竞争格局。 中钢集团信息管理部总经理李红 大数据成为转型升级的新动能 大数据是新一代信息技术、网络技术、管理技术和应用技术等综合发展的产物,具有鲜明的技术驱动特征。大数据已经在各大行业得到应用,在金融、通信、政府、零售、制造行业应用更为深入。 传统制造业正结合“十三五”规划,积极研究制定贯彻落实“中国制造2025”、“互联网+”和“大数据”的战略措施。 在中国制造2025战略与大数据战略的融合发展下,大数据作为转型的动力,已经成为企业新资源、新资产、新财富、新的竞争力。 推进数字化转型的途径和挑战 互联网公司是最先从IT进入到DT时代,传统企业则希望运用大数据进行数字化转型,实现创新发展,这个过程带来了5方面变化: “数据”被重新定义:从信息——知识——资产企业形态和概念的转变:许多企业都想变成“数字企业”数字价值的转变:成为企业的新资源、新财富、新的核心竞争力信息化使命的变化:从“建设系统改善管理”到“完善数据挖掘价值”CIO职能的变化:从“首席信息官”到“首席数据官” 同时企业数字化转型还面临了一些挑战,企业信息化基础薄弱,信息系统少、技术落后,管理停留在手工式录入,业务靠线下式运营;企业数据结构不合理,“烟囱式”系统、“孤岛式”数据较为普遍;企业发展定位不明、管理目标不清,对“数据转型”缺乏明确需求;企业发展观念落后,经营混乱,管理粗放,不具备数字化转型的基础条件。 发掘大数据价值需要融合创新 企业需要认识到数据的价值,但结构化数据分析和利用对数据质量要求较高,需要做到准确、及时和完整,但实际上达到这种要求难度很大。 而大数据不再是传统意义的数据,其带来了全新的价值提升,优化和改善传统企业的管理模式、业务模式和技术结构。 大数据同时也在重塑企业发展模式和竞争格局,在应用层面促使企业经营管理的触角向全产业链延伸,重构企业的供应链和价值链,在未来物联网将是大数据价值新发力点。 画外音: 在我邀约李总参加成都大数据应用大会时,他就和我说之前一直在分享智能制造的话题,其实制造业最应该关注的还是大数据。 在会上,李总和前央视主播,现找钢网高级副总裁兼首席战略官郎永淳寒暄了很久。这也让我深深感受到钢铁行业早已不是原来的“傻大黑粗”,他们怀抱着开放的态度,运用云计算、大数据等新技术正在实现互联网化的轻巧转身。 原文发布时间为:2016-7-14 本文作者:王聪彬 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册