搜索[数据接入平台]结果-低调大师优秀个人博客

精选列表

搜索[数据接入平台]，共10000篇文章

C# 获取QQ群数据的实现

一,分析 1,群数据获取当访问http://qun.qq.com/air/#mygroup我们通过Fiddler可以查看到QQ群列表是从http://qun.qq.com/air/group/mine

2018-03-07

再见Hadoop之父，大数据应用新认知

而且我们看到在大数据领域，采用最多的还是开源的系统。尽管在亚马逊、微软和谷歌的云平台之上会有一些用户，他们的大数据应用使用的是专有的商用软件服务。

2018-03-06

如何用Python爬数据？（一）网页抓取

之前提过，目前主流而合法的网络数据收集方法，主要分为3类：开放数据集下载； API读取；爬虫。前两种方法，我都已经做过一些介绍，这次说说爬虫。概念许多读者对爬虫的定义，有些混淆。

2018-03-02

现代汽车在华设立大数据中心

现代汽车在中国建立的大数据中心，为其构筑中国车辆云端平台(China-focused Car Cloud)奠定了基础。

2018-03-01

算法学习之路|数据结构--堆

堆（英语：heap)是计算机科学中一类特殊的数据结构的统称。堆通常是一个可以被看做一棵树的数组对象。堆总是满足下列性质：堆中某个节点的值总是不大于或不小于其父节点的值；堆总是一棵完全二叉树。

2018-02-23

大数据||hadoop分布式集群安装

集群前先计划虚拟机，看文章大数据||Hadoop分布式部署虚拟机基于伪分布式环境安装进行展开规划机器与服务（） HDFS 文件系统 YARN “云操作系统” JobHistoryServer 历史服务监控

2018-02-21

基于阿里云MaxCompute实现游戏数据运营

一、总览一个游戏/系统的业务数据分析，总体可以分为图示的几个关键步骤： 1、数据采集：通过SDK埋点或者服务端的方式获取业务数据，并通过分布式日志收集系统，将各个服务器中的数据收集起来并送到指定的地方去

2018-02-11

大数据||MapReduce之wordcount处理过程

image.png reduce处理 Reducer先对从Mapper接收的数据进行排序、分组，再交由用户自定义的reduce方法进行处理，得到新的<key,value>对，并作为WordCount

2018-02-11

一文带你暴力拆解大数据

在写这篇文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据和你有什么关系?估计很少能说出一二三来。

2018-02-08

1：创建一个可以上传到hdfs文件系统的文件（wc.input） 2：编写java代码调用api完成附件的上传相当于执行-put命令 3：查看执行结果全部代码 package com.lizh.hadoop.hdfs; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; public class HdfsApp { public static FileSystem getFileSystem() throws IOException{ Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); return fs; } public static void readFile(String path1) { try { FileSystem fs = getFileSystem(); Path path = new Path(path1); FSDataInputStream in = fs.open(path); IOUtils.copyBytes(in, System.out, 4000, false); } catch (Exception e) { // TODO: handle exception e.printStackTrace(); } } public static void main(String[] args) throws Exception{ //String path ="/user/beifeng/mapreduce/wordcount/input/wc.input"; //readFile(path); //把/opt/modules/hadoop-2.5.0/wc.input 内容写入到 /user/beifeng/put-wc.input //write file FileInputStream fisin =null; FSDataOutputStream fsoutstream =null; try { String filename="/user/beifeng/put-wc.input";//文件系统目录 Path inputpath = new Path(filename); FileSystem fs = getFileSystem(); fsoutstream = fs.create(inputpath); fisin = new FileInputStream(new File("/opt/modules/hadoop-2.5.0/wc.input"));//本地系统目录文件 IOUtils.copyBytes(fisin, fsoutstream, 4000, false); } catch (Exception e) { // TODO: handle exception e.printStackTrace(); }finally{ IOUtils.closeStream(fsoutstream); IOUtils.closeStream(fisin); } } } 写文件流程图

2018-02-07

用fastp对转录组数据做QC

这不就是我这个初入门的小白所梦寐以求的神器嘛~ fastp软件的十大功能对数据自动进行全方位质控，生成人性化的报告；过滤功能(低质量,太短,太多N......)；对每一个序列的头部或尾部，计算滑动窗内的质量均值

2018-02-05

Python pandas数据分析中常用方法

（便于后面填充空值）、各列数据类型、及数据类型统计（一般object表示字符串对象数量）。

2018-02-01

Faker：Python的伪造数据生成器

Faker是一个可以让你生成伪造数据的Python包。当你需要初始化数据库，创建美观的XML文档，不断产生数据来进行压力测试或者想从生产服务器上拉取匿名数据的时候，Faker将是你最棒的选择。

2018-01-28

数据库的七种武器

第一种武器：MySQL数据库 1、定位：开源、多平台、关系型数据库目前使用最广泛、流行度最高的的开源数据库。

2018-01-24

H3C大数据产品介绍

1 产品简介 H3C 大数据平台（Data Engine）采用开源社区 Apache Hadoop2.0 和 MPP 分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、

2018-01-15

SpringMVC使用@Valid注解进行数据验证

我们在做Form表单提交的时候，只在前端做数据校验是不够安全的，所以有时候我们需要在后端同样做数据的校验。好在SpringMVC在后台验证给我们提供了一个比较好的支持。

2018-01-14

深度学习CV中常用的数据集

介绍一些深度学习中CV方面的一些常用的数据集：（一）mnist手写字体数据集： mnist数据是由Google实验室的Corinna Cortes和纽约大学柯朗研究所的YannLeCun建立的一个手写字体数据集

2018-01-12

说说框架的数据库迁移功能

laravel中有个数据库迁移功能，migration。

2018-01-06

java后台创建url连接，获取接口数据

本篇博客不讲述接口如何开发，而是简单地介绍，如何通过java创建url连接，获取接口返回来的json数据；项目实践 /** * 获取接口数据,返回json格式字符串,方法1 * @param url

2018-01-04

数据挖掘敲门砖--Python爬虫入门

数据挖掘的职业方向通常有三个，顺便概要地提一下所需的技能（不仅于此）数据分析方向：需要数理知识支撑，比如概率论，统计学等数据挖掘方向：需要懂得主流算法的原理及应用，数据库的原理和操作科学研究方向：

2018-01-01

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。