DC学院数据分析学习笔记（一）：获取数据

2018-02-05 614

在DC学院上买了个数据分析的课程，OK！说干就干，记录下学习的笔记，希望能有所收获（￣︶￣）↗

数据获取的方式

开放数据集
网站爬虫

开放数据集

科研数据共享
数据算法竞赛:DC学院,天池,kaggle
政府公司分享
个人分享

这个没什么好说的,科学上网,国外网站多的是!

网站爬虫

建立网站连接
爬取网页/API
分析返回结果
抽取所需信息

爬虫分两大类:

基于网站API的爬取:一般返回格式是JSON,这个和阿里云API返回的格式是一样的
基于网页的爬取:这个就比较难了,用过API的都明白(/▽＼)

OK,刚学习了简单的网站API的爬取,下面实践一下!

这里是豆瓣API快速入门网址:https://developers.douban.com/wiki/?title=guide

我们可以访问请求的url来获取想要的信息

但这样显然太麻烦了，我们也可以通过python的urllib包来解决问题

返回的格式是JSON

稍微介绍一下JSON：

JSON 指的是 JavaScript 对象表示法（JavaScript Object Notation）
JSON 是轻量级的文本数据交换格式
JSON 独立于语言，JSON 使用 JavaScript 语法来描述数据对象，但是 JSON 仍然独立于语言和平台。JSON 解析器和 JSON 库支持许多不同的编程语言。
JSON 具有自我描述性，更易理解
数据在名称/值对中（如："Day" : "Sunday"），数据由逗号，分隔花括号保存对象，方括号保存数组

然后我们用python解析JSON,假设我们要获取的是上文（如图）“rating”中“average"键所对应的值

来和浏览网站的时候所看到的对比一下

如果需要将获得的数据存到本地，同样可以用python轻松解决

在本地看一下

获取多部电影

这样是不是还不够便捷？

能不能输入一些电影名字，然后直接返回我们需要的信息，如评分呢？

OK，还是用到API，不过这里用到了”电影搜索“的API：

很OK!

下面看代码！

今天数据分析就学习了这么多，OK！希望能有所收获（￣︶￣）↗

微信关注我们

原文链接：https://yq.aliyun.com/articles/437529

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

java基础学习_基础语法(上)03_day04总结

========================================================================================================================================================== 涉及到的知识点有：1：switch语句(掌握)2：循环语句(掌握)3：循环结构(循环嵌套使用)4：控制跳转语句(掌握) ==========================================================================================================================================================1：switch语句(掌握) (1)格式： switch(表达式) { case 值1: 语句体1; break; case 值2: 语句体2; break; ...... ...... case 值n: 语句体n; break; default: 语句体n+1...

2018-02-06

618

为了更方便的实现弹性的资源创建，方便用户一次运行多台ECS按量实例来完成应用的开发和部署，阿里云开放了ECS的批量创建实例接口RunInstances，可以单次最多创建100台实例，避免重复调用和创建。创建成功后可以自动启动、提供公网访问能力、自动分配公网带宽以及可以预约自动释放。功能特性 RunInstances 批量创建实例接口可以帮助用户一次创建多台 ECS 按量付费实例来完成应用的开发和部署，方便实现弹性的资源创建。和目前提供的CreateInstance接口相比，RunInstances接口有下面的优点： 1. 单次可以最多创建 100 台实例，避免重复调用； 2. 实例创建之后，实例会自动变成 Starting 状态，然后变成 Running 状态，无需用户调用 StartInstance 的操作； 3. 创建实例的时候指定了 InternetMaxBandwidthOut ，自动为用户分配公网 IP，不需要再调用分配 IP 的额外操作； 4. 用户可以一次创建 100 台竞价实例，充分满足业务的弹性需求； 5. 创建的参数保持和 CreateInstance...

2018-02-07

628

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。