AWS 大数据实战 Lab3 - 数据可视化(四)

2021-03-25 515

本实验演示通过 Athena 和 Glue 构建数据表的过程。

构建数据表

准备数据库和表

登录并打开 Glue 控制台，点击左侧菜单栏“数据库”

点击“添加数据库”按钮，名称为：athenadb

创建完毕后，点击 athenadb 数据库，并选择“athenadb中的表”

点击“使用爬网程序添加表”，名称为athenadbcrawler

在“包含路径”里面，选择 Lab2 的 EMR 输出目录

选择对应 IAM Role

选择数据库“athenadb”，添加表前缀：athena_,点击下一步

点击完成后运行爬网程序，点击“表”查看确认，athena_output已经在里面（如果上一个实验的设置不一样，那么也许这个名字略微有点区别）

构建表

登录并进入 Athena 控制台，在左侧菜单，选择 AwsDataCatalog，在 Database 选择athenadb，可以看到athena_output 表

在右上角的“设置”里面配置好查询结果路径到 S3 的目录，建议在 bucket 里面建目录 athena-result

执行SQL语句

SELECT * FROM athena_output limit 10

如果“运行查询”的按钮是灰色的，可以直接使用 Ctrl + Enter 运行查询，然后很快就可以看到实时查询结果

使用如下 sql 构建按日期的销售额（为了防止数据不均衡导致图比例尺严重失调，我们去掉了流数据的日期的交易额，此处为2021-03-19）

SELECT sum(price*tnum) AS total_revenue,
         tdate
FROM athena_output
WHERE tdate<>'2021-03-19'
GROUP BY  tdate;

把他保存成表

名称是：revenue_day_view

用如下 sql 查询并保存成表：revenue_pclass_view，过程略

SELECT sum(price*tnum) AS total_revenue,
        pclass
FROM athena_output
GROUP BY  pclass;

用如下sql查询并保存成表：revenue_city_view，过程略

SELECT sum(price*tnum) AS total_revenue,
        acity
FROM athena_output
GROUP BY  acity;

表构建完毕后如下图所示

恭喜你，表构建完毕，可以开始可视化了。

数据可视化

因为我没有购买 QuickSight，所以把别人的过程截图下来

第一次使用Quicksight的配置

如果是第一次使用，需要先启用 Quicksight 服务

选择企业版并继续

选择对应区域，以及对应的账号名字，接受提醒的邮箱地址等

必须勾选 Athena 和 S3 支持，当选择 S3 支持的时候，在弹出的窗口中把对应的桶选上（此处的 S3 桶仅供参考，请以实际的数据为准）

构建图表展示

登录控制台后，点击左侧菜单数据集

点击新数据集，选择 Athena

输入athena_ds，点击创建数据源

选择 athenadb，选择revenue_day_view，点击选择

选择 “直接查询您的数据”

在可视化界面，视觉对象类型选择垂直条形图，在字段列表选择 tdate，值选择 total_revenuw。可以查看到按日期统计的销售额

熟悉图形化界面操作的学员可以做各种类型的图表试试看，此处不再一一演示。

欢迎大家扫码关注，获取更多信息

微信关注我们

原文链接：https://blog.51cto.com/wzlinux/2671507

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

JavaScript对象与其复制清除方法简析

var obj{属性1：属性值1， // 属性名=>key 不能重复属性2：属性值2， // 属性值=>value 是该属性的唯一值 (键值对数据键=>key 值=>value 有键必有值)} varobj{a:1,b:2,c:3, }console.log(obj.a);//打印对象obj下属性a的value值123456 obj.d=obj.a + obj.b; // 创建并给obj的d属性赋值，不需要var document.write(); console.log(); // 带括号的 => 函数（方法）input.value; // 不带括号 => 属性 obj [“a”]=30; // obj [ key ]=value; 等价于 obj . a =30; (点语法内不能使用变量，不加引号) varnames="a";varv=20;varobj={ [names]:v }12345 属性名就是字符串var obj={a:v}当属性名是变量时，需要[]将变量包含[ ] 内key要求属性名必须是字符型或symbol型，所以必须要有 " "...

2021-03-25

499

客户需求分析来规划拓扑 1、利用AR路由对接外网，并且设置一个内网网关开启DHCP功能，提供内网用户上网 2、AP接在POE上面，那么AC我们可以是接POE上面也可以接AR的LAN口上面 3、由于客户有收银服务器，服务员手持的点餐APP需要上报数据给服务器，但是只能跟服务器在一个网段，所以这里规划把无线跟有线归入一个网段，这里交换机作为傻瓜使用。 4、客户要求SSID名字为WIFI，密码为8个8 5、在整个网络里面，我需要给AC与服务器定义一个固定地址，AC为192.168.100.2、服务器为192.168.100.254 6、整体拓扑则是外网-----AR1200----交换机----（AC AP 服务器有线）配置思路 1、AR G0/0/1接外网，G0/0/0做内网，配置192.168.100.1的地址，并且开启DHCP功能，排除100.2与254 2、由于无线有线都在一个网段，作为傻瓜交换机使用 3、AC配置地址192.168.100.2作为CAPWAP源地址，配置无线业务外网路由器配置 [internet] [internet]int g0/0/1 [intern...

2021-03-25

582

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。