Coding and Paper Letter(二十六)
资源整理。
1 Coding:
1.开源项目PyModisAtm,使用Python下载Modis大气数据的例程。
2.Python库rastercube,用于在Hadoop文件系统(HDFS)上存储大型地理栅格数据集。 最初的用例是存储并快速访问整个星球上任何像素的MODIS NDVI时间序列。 此外,rastercube提供了使用Spark处理数据的工具。
3.Python库modisSuite,可以从NSIDC和USGS服务器批量下载Modis卫星图像。 它兼容python 2和python 3。
4.Python库pymasker,从Landsat和MODIS土地产品QA波段生成掩膜。
5.大气和海洋科学家的Python(和git)课程。
6.Python库georasters,提供了一个快速灵活的工具来处理GIS栅格文件。
7.Openeo的Python客户端API。
8.R语言包SiMRiv,基于个体的河流多变量运动模拟,异质和均匀空间结合R中的局部景观偏差。
9.R语言包rnaturalearth,用于保持和促进与natural earth地图数据交互的R包。
10.R语言包owmr,OpenWeatherMap的R接口。
11.R语言包polite,用于规范网络上的一些操作。
12.他们忘记的教你关于R,“如何做”的主页和研讨会。
13.TensorFlow中的概率推理和统计分析。
14.R语言包multigraph,在R中绘制和操纵多图。
15.《神经网络与深度学习》 Neural Network and Deep Learning课程 。
16.由北欧大地测量委员会定义的变换的PROJ参数。
17.Leetcode 题解 (跟随思路一步一步撸出代码) 及经典算法实现。
18.健康不平等与健康恢复的空间微观模拟分析,国外的学位论文。
19.Mapbox GL Draw的自定义模式,可添加绘制矩形的功能。
20.有关构建MetaPost共享库的技术报告。
21.R语言包pdftext,从PDF中提取文字。
22.R语言包deepviz,用于可视化神经网络架构的R包。
23.R包bigstatsr,用于统计工具的R包,其中包含存储在磁盘上的大型矩阵。
24.R语言包textrecipes,包括用于预处理文本数据的额外步骤。
25.用于部署,监控,版本和扩展机器学习的精彩资源的精选列表。
awesome machine learning operations
26.Radiant Earth Foundation平台的Python客户端。
27.开源项目skynet train,这些脚本用于训练和测试SegNet神经网络,特别是使用由skynet数据生成的OpenStreetMap +卫星图像训练数据。
28.可重复使用的研究数据分析平台。
29.R语言包ecolim,用于操纵和可视化气候数据的工具。
30.R语言包rdemtools,R语言用于编辑dem的工具。
31.大数据的交互可视化分析平台。
32.R语言包diffobj,将R对象与Diff进行比较。
33.UCL地理学:第四年课程,科学计算。
34.Morph是一个免费的开源工具,用于根据数据创建设计,动画或交互式可视化。
2 Paper:
热带气旋(TC)轨迹方法的等分,TC轨迹方法的质量矩和混合回归模型方法是使用来自完整TC轨迹的空间和形状信息的聚类算法。在本文中,这三种聚类算法应用于TC轨迹聚类分析,以识别1949年至2014年影响南海(TCS)的TC。根据它们的空间位置和形状相似性,这些TC轨迹分为五个轨迹类,包括三个向西的直线运动轨迹簇和两个向北的重新弯曲的轨迹簇。这些星团在其起源位置,航向,登陆位置,TC强度,寿命和季节性分布方面表现出不同的特征。聚类结果表明这些算法具有不同的特征。轨迹方法的等分,一般提供更好的聚类结果。该方法简单直接,同一类的轨迹在形状和航向上是一致的。回归混合模型算法具有坚实的理论数学基础,可以保持类中轨迹之间良好的空间一致性。轨迹方法的质量矩显示出与轨迹方法的相等划分的总体一致性。轨迹数据挖掘在台风轨迹中的应用,其中一个很关键的空间位置和形状相似性,空间的相似性近年来被大家所重视,基于此提出了很多理论,事实上我认为从王劲峰老师的地理探测器到朱阿兴老师的SoLIM,原理应该都跟这相关,闾国年老师甚至认为这有可能发展为地理学的第三定律。
本研究介绍了南海热带气旋(TCs)的空间分布格局,并讨论了平均海表温度(SST)和暖海洋涡旋大小对TC传播强度变化的可能影响。他们。在1993年至2013年期间,SCS经历了233次TC,其中134次与温暖的海洋漩涡相互作用。模糊c均值(FCM)聚类的结果表明,这些TC主要位于南海地区的北部。在与温暖的海洋漩涡相互作用后,TC可能会增强,保持相同的强度或减弱。对于强化TC,增强范围仅为0至3 m/s;然而,这种TC强度增强水平在p <0.05时具有统计学意义。进一步的统计分析表明,温暖的海洋涡旋具有高于平均的SST和较大的温暖海洋漩涡的大小与TC最大风的半径之间的比率可能有助于加强通过TC。分析SST对台风的影响,结合聚类分析和统计分析来研究。
3.[Portraying Temporal Dynamics of Urban Spatial Divisions with Mobile Phone Positioning Data: A Complex Network Approach/用手机定位数据描绘城市空间分区的时间动态:一种复杂网络方法]()
空间结构是城市的一个基本特征,在很大程度上影响着城市功能。虽然行政区划通常以静态空间划分的形式进行,但了解城市空间更具时间动态的结构将极大地有利于城市规划和管理。本研究利用大规模的手机定位数据集来表征基于交互的城市空间结构的日变化。为了提取时间上充满活力的结构,基于地理单位之间的个体的运动联系来构建不同时间的空间交互网络。复杂网络社区检测技术用于识别空间划分以及量化其时间动态。使用包含中国深圳典型工作日所有用户尺寸的数据进行实证分析。将结果与官方分区和规划结构进行比较,表明城市中心区域有一定程度的扩张和工业郊区的分割。通过一些不同的时间特征检测到在一天的不同时间的空间划分的高度可变性。峰值和峰值前/后时间见证了空间划分中最突出的波动,表明在这些时间段内运动和活动的特征发生了显着变化。这项研究的结果表明,大规模移动数据在支持智能空间决策和为城市规划部门提供有价值的知识方面具有巨大潜力。基于新兴大数据——手机定位数据的城市空间研究。利用复杂网络的社区检测来做聚类,分析城市空间的分区及时间变化,在大数据时代,这样精细时间粒度上的研究显得更有价值。
可持续发展研究面临着许多挑战,因为各自的环境,城市和区域背景正在以前所未有的空间粒度水平经历快速变化,这涉及到以更快的速度增长海量数据和空间关系检测的需求。空间连接是使数据在空间关系方面提供更多信息的基本方法。数据量的急剧增长导致人们越来越关注高性能的大规模空间连接。在本文中,我们提出了Spatial Join with Spark(SJS),这是一种提出的高性能算法,它使用简单但有效的统一空间网格来分区数据集,并使用Spark的内置连接转换来连接分区。 SJS利用Spark的分布式内存迭代计算,然后引入计算评估模型和内存空间重分区技术,通过评估本地连接算法的计算量而无需任何磁盘访问来优化初始分区。我们比较了SJS中的四种内存空间连接算法,以进一步提高性能。基于对实际数据的大量实验,我们得出结论,SJS优于早期空间连接方法的Spark和MapReduce实现。这项研究表明,有利于利用高性能计算进行大规模空间连接分析。大型地理参考数据集的可用性以及高性能计算技术可以为可持续性研究提供大量机会,研究是否以及如何利用这些数据和技术的新趋势来帮助检测人类的相关趋势和模式 - 环境动态。基于Spark的空间连接,偏向算法和计算机的一篇文章,主要是基于流行的Spark大数据框架进行空间连接。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
DKhadoop大数据平台基础框架的简单介绍
DKhadoop大数据平台基础框架的简单介绍大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富,毕竟学习的时间也不是特别长。仅以我熟悉的DKhadoop为例给大家分享一些小知识,往对初学者有点小帮助就可以了。大数据平台基础框架是很多初学者必然要掌握的内容,大数据太过抽象,有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的DKhadoop为例。在此之前还是对DKhadoop做一个简单的说明:DKhadoop大快大数据平台,由大快搜索开发的为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级大数据通用计算平台(写的这么专业,肯定是我从大快宣传册上搬运过来的啦)。对于有大量数据需...
- 下一篇
开源大数据周刊-第101期
资讯 微软、SAP和Adobe“结盟”提出开放数据计划很多企业无法更好地研究自己客户的用户行为,这是因为重要的客户信息都被中介和第三方服务商所掌控,被困在很多信息孤岛之中,这限制了这些企业从中获取更有价值的用户行为信息。 手握 5G + AI 两张王牌的高通,将如何实现无线边缘的拓展?智能手机的巨大规模,加上移动技术对物联网的赋能,毫无疑问会将人工智能带至数万亿联网终端;5G 技术将与人工智能并行发展,创造出下一个移动革命。从某种意义上来说,凭借 AI + 5G 的重大发展优势,高通在这场即将到来的引领消费者进入全新移动革命中,扮演的正是领导者的角色。 国内外大数据标准化现状及发展方向当前,各种大数据存产品和面向各行业的大数据应用层出不穷,急需通过标准化的途径规范认知,整合资源,促进各方达成共识,为我国大数据产业的健康发展打下基础,为数
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7设置SWAP分区,小内存服务器的救世主