搜索[学习]结果-低调大师优秀个人博客

精选列表

搜索[学习]，共10000篇文章

引领“大数据技术风暴” 机器学习正当下

您认为，机器学习将是2017大数据分析的最大搅局者。不过，机器学习项目是否仅限于那些大型公司，其使用范围是否更为广泛? Tony Baer：它的应用范围很广。

2017-07-31

我与分布式机器学习的故事

大数据带来的新机遇起源分布式机器学习是随着“大数据”概念兴起的。在有大数据之前，有很多研究工作为了让机器学习算法更快，而利多多个处理器。

2017-07-31

学习Spark——那些让你精疲力尽的坑

学习上，最近看了一些非专业书籍，写点小感悟，我刚稍稍瞄了下，最近五篇居然都跟技术无关，看来我与本行业已经是渐行渐远了。所以，趁着这篇博客，重拾自己，认清自己，要时刻谨记我是一名码农。

2017-07-31

【51CTO.com快译】关于网络恐怖活动的消息近期层出不穷。全世界正在遭遇不同程度的网络恐怖主义，包括真正的恐怖活动、黑客入侵、勒索软件等等。在这篇文章中，我们将讨论如何应对网络恐怖主义，包括你可以采取的安全措施，确保你不会最终成为受害者。我们会与你详细探讨上网时的深入思考、在意每次点击以及网络恐怖活动的类型和防御方法。深入思考我们要做事情首先要思考，无论你是一个孩子还是一个四十岁的父母，你都可以进入网络恐怖主义的世界。恐怖分子在网上招募他们的原因很多。首先，它更安全，而且不会冒被警察抓住的风险；此外，人们在网上交谈更容易，在互联网上使用不同的视频和图像来操纵他们的想法更容易，而这些在现实世界中发挥作用的机会却很小。这就是恐怖分子为什么要网上招聘的原因。因此，你应该做的第一件事就是正确地思考。你仍然会在网上交友，但要确保你在现实生活中也能认识他们。不要仅仅因为你认为他们说的是真的而和某人交朋友。当你被问及某事或提供信息时，要慎重提供信息，以保证你的安全。在意每一次点击上个月全球互联网发生了大规模的赎金袭击事件。黑客入侵了不同的公司、医院和个人电脑系统，他们希望通过比特币付费，以确保不会伤害你的电脑。一些受到袭击的人向黑客付了钱。经过几天的袭击，白帽子的人想出了一个系统来摆脱黑客企图，遏制他们对无辜网民的勒索行为。尽管如此，全球网民依旧处在不安的情绪中。如何确保你的安全，根据数据重要程度，可以这样来处理。首先，确保你的数据每天都受到保护，时常备份你的文件。随着云存储系统的普及，无论是Dropbox还是谷歌驱动器，将所有数据转移到云存储都不难。如果你的系统上有重要数据，建议你在不同的系统进行备份。当你管理网站时，同样的规则也适用。不要依赖主机平台来创建你的网站备份，你应该创建定期备份以确保不遭受黑客攻击。下一步，要了解在哪里点击安全，在哪里点击不安全。你在网站上采取任何行动之前，一定要看一个你被重定向的网站的域名。不要下载来源不明的文件。谷歌浏览器推出了一款名为"安全/非安全符号"的新功能。如果你查看你的浏览器的URL部分，你会发现URL的初始部分有一个选项，它可以告诉你这个站点是否安全，可以发送非常重要的信息。它通常被称为SSL证书。有些网站是值得信任的，但还没有他们的SSL证书。在未来几年内，这将清楚地表明哪些是可以信任的。网络恐怖主义攻击的类型在这里，我们将讨论一些常见的网络恐怖主义攻击，这些将帮助你确定你是否做出错误的决定。第一个通常被称为简单的非结构化攻击。在这种情况下，恐怖分子使用大众制造的简单系统和工具。他们经常使用钓鱼之类的方法进入别人的系统。另外，歌曲和视频下载网站往往带有恶意软件。下一个类型被称为高级结构化攻击。在这种情况下，黑客在攻击你之前做他们的研究。这种攻击来自网络级别，在几乎所有的情况下，黑客控制网络或IP，因此，网络中的所有内容。还有一种称为复杂协调器的类型。这是最大的类型，个人不太可能受到这种类型的恐怖主义的影响。在这种情况下，黑客建立他们的团队去大规模攻击某个国家或组织。最后，一定要确保你知道你在互联网上做什么。不要让任何人在你的无知中冒险！作者：刘妮娜来源：51CTO

2017-07-31

深度学习鼻祖Geoffrey Hinton帮你入门带你飞

辛顿是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者，目前任职于多伦多大学与Google。作为人工智能领域的三位奠基人之一，早在30年前，辛顿就已经在深度学习领域留下了自己的烙印。

2017-07-31

基于MaxCompute平台进行机器学习并展示结果

MaxCompute大数据计算服务中提供了机器学习平台，用户可基于该平台有效利用自己的数据，并从中发现价值。

2017-07-23

机器学习分析工具将如何驱动物联网

该公司预计，随着机器学习即服务（MLaaS）模型的发展，机器学习数据分析工具和服务的收入到2021年将达到200亿美元。机器学习是什么？

2017-07-05

Meson：支持Netflix的机器学习工作流

为了做到这一点，每天会运行大量机器学习工作流，而为了支撑创建这么多机器学习工作流和有效利用资源，Netflix的工程师开发了Meson。

2017-07-05

深度学习奏响智能视频分析技术新乐章

同时，网友也热衷于深扒人工智能背后的“黑科技”，深度学习技术也因此成为关注点聚焦。其实，深度学习和安防搭配食用更美味。

2017-07-03

《Scala机器学习》一一3.6 运行Hadoop的HDFS

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.6节,作者：[美] 亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-03

《Scala机器学习》一一3.5 Spark的性能调整

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.5节,作者：[美] 亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-03

《Scala机器学习》一一1.3 数值字段概述

本节书摘来自华章计算机《Scala机器学习》一书中的第1章，第1.3节,作者：[美] 亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-02

android基础学习-Fragment和eclipse快捷键

使用Fragment的原因 1. Activity间的切换不流畅 2. 模块化Activity，方便做局部动画（有时为了到达这一点要把多个布局放到一个activity里面，现在可以用多Fragment来代替，只有在需要的时候才加载Fragment，提高性能，有点类似于网页的ajax）使用方法FragmentActivity 1. 在内部的某个ViewGroup内动态添加或替代一个Fragment fg：快捷键的使用 Ctrl+F10 显示行号 Ctrl+/ 注释 Ctrl+L 定位行 Ctrl+K Ctrl+shift+K 查找下一个 Ctrl+shift+G 查找引用 Ctrl+G 查找变量声明 Ctrl+D 删除行 ALT+/ 自动提示方法 Alt+← Alt+→ 后退历史记录和前进历史记录，在跟踪代码时非常有用 Ctrl+Shift+F 规范代码 Ctrl+Shift+T 查找工作空间（Workspace）构建路径中的可找到Java类文件，不要为找不到类而痛苦，而且可以使用“*”、“？”等通配符。 Ctrl+Shift+R 查找工作空间（Workspace）中的所有文件（包括Java文件），也可以使用通配符。 Ctrl+Shift+O 快速生成import，当从网上拷贝一段程序后，不知道如何import进所调用的类，试试【Ctrl+Shift+O】快捷键，一定会有惊喜。 Ctrl+O 显示类中方法和属性的大纲，能快速定位类的方法和属性，在查找Bug时非常有用。 Ctrl+M 最大化窗口 F3 快速定位光标位置的某个类、方法和属性。 F4 显示类的继承关系，并打开类继承视图。先敲“/”在敲两个**，然后回车或在方法名之前按Alt+Shift+J可以添加Javadoc 注释方法注释重新组织Import Ctrl+Shift+O，能帮你一次去掉所有未使用的Import声明！快速修正 Ctrl+1 引入某个类（接口）ctrl + shift + m 调试快捷键 1. 【Ctrl+Shift+B】：在当前行设置断点或取消设置的断点。 2. 【F11】：调试最后一次执行的程序。 3. 【Ctrl+F11】：运行最后一次执行的程序。 4. 【F5】：跟踪到方法中，当程序执行到某方法时，可以按【F5】键跟踪到方法中。 5. 【F6】：单步执行程序。 6. 【F7】：执行完方法，返回到调用此方法的后一条语句。 7. 【F8】：继续执行，到下一个断点或程序结束。其他快捷键 1. 【Ctrl+F6】：切换到下一个编辑器。 2. 【Ctrl+Shift+F6】：切换到上一个编辑器。 3. 【Ctrl+F7】：切换到下一个视图。 4. 【Ctrl+Shift+F7】：切换到上一个视图。 5. 【Ctrl+F8】：切换到下一个透视图。 6. 【Ctrl+Shift+F8】：切换到上一个透视图。分类: Android 本文转自快乐就好博客园博客，原文链接：http://www.cnblogs.com/happyday56/p/3592104.html，如需转载请自行联系原作者

2017-06-24

深度学习要多深，才能读懂人话？

研究背景阿里小蜜是阿里巴巴推出的围绕电商服务、导购以及任务助理为核心的智能人机交互产品，在去年双十一期间，阿里小蜜整体智能服务量达到643万，其中智能解决率达到95%，成为了双十一期间服务的绝对主力。阿里小蜜所使用的问答技术也在经历着飞速的发展，从最初基于检索的知识库问答演进到了最新的语义深度建模。近期，阿里小蜜正在开展新的探索，让机器具有如同人一般的阅读理解能力，这将使得问答产品体现出真正的智能，进一步提升服务效率。在问答技术中，最常见的是检索式问答，但存在很多的限制，例如，需要人工进行知识提炼，让机器在事先准备好的问答对基础之上进行检索。而我们经常需要对这样一段话进行提问： 5月18日，阿里巴巴集团发布了2017财年Q4财报和2017财年全年的业绩报告。财报显示，阿里巴巴集团2017财年的收入为1582.73亿元人民币，同比增长

2017-06-20

HBase学习之五:HBase的RowKey设计原则

Hbase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对hbase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和stopRow参数进行范围匹配全表扫描，即直接扫描整张表中所有行记录 rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：数据的持久化文件HFile中是按照KeyValue存储的，如果rowkey过长，比如超过100字节，1000w行数据，光rowkey就要占用100*1000w=10亿个字节，将近1G数据，这样会极大影响HFile的存储效率； MemStore将缓存部分数据到内存，如果rowkey字段过长，内存的有效利用率就会降低，系统不能缓存更多的数据，这样会降低检索效率。目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。 rowkey散列原则如果rowkey按照时间戳的方式递增，不要将时间放在二进制码的前面，建议将rowkey的高位作为散列字段，由程序随机生成，低位放时间字段，这样将提高数据均衡分布在每个RegionServer，以实现负载均衡的几率。如果没有散列字段，首字段直接是时间信息，所有的数据都会集中在一个RegionServer上，这样在数据检索的时候负载会集中在个别的RegionServer上，造成热点问题，会降低查询效率。 rowkey唯一原则必须在设计上保证其唯一性，rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。什么是热点 HBase中的行是按照rowkey的字典顺序排序的，这种设计优化了scan操作，可以将相关的行以及会被一起读取的行存取在临近位置，便于scan。然而糟糕的rowkey设计是热点的源头。热点发生在大量的client直接访问集群的一个或极少数个节点（访问可能是读，写或者其他操作）。大量访问会使热点region所在的单个机器超出自身承受能力，引起性能下降甚至region不可用，这也会影响同一个RegionServer上的其他region，由于主机无法服务其他region的请求。设计良好的数据访问模式以使集群被充分，均衡的利用。为了避免写热点，设计rowkey使得不同行在同一个region，但是在更多数据情况下，数据应该被写入集群的多个region，而不是一个。下面是一些常见的避免热点的方法以及它们的优缺点：加盐这里所说的加盐不是密码学中的加盐，而是在rowkey的前面增加随机数，具体就是给rowkey分配一个随机前缀以使得它和之前的rowkey的开头不同。分配的前缀种类数量应该和你想使用数据分散到不同的region的数量一致。加盐之后的rowkey就会根据随机生成的前缀分散到各个region上，以避免热点。哈希哈希会使同一行永远用一个前缀加盐。哈希也可以使负载分散到整个集群，但是读却是可以预测的。使用确定的哈希可以让客户端重构完整的rowkey，可以使用get操作准确获取某一个行数据反转第三种防止热点的方法时反转固定长度或者数字格式的rowkey。这样可以使得rowkey中经常改变的部分（最没有意义的部分）放在前面。这样可以有效的随机rowkey，但是牺牲了rowkey的有序性。反转rowkey的例子以手机号为rowkey，可以将手机号反转后的字符串作为rowkey，这样的就避免了以手机号那样比较固定开头导致热点问题时间戳反转一个常见的数据处理问题是快速获取数据的最近版本，使用反转的时间戳作为rowkey的一部分对这个问题十分有用，可以用Long.Max_Value - timestamp追加到key的末尾，例如[key][reverse_timestamp],[key]的最新值可以通过scan [key]获得[key]的第一条记录，因为HBase中rowkey是有序的，第一条记录是最后录入的数据。比如需要保存一个用户的操作记录，按照操作时间倒序排序，在设计rowkey的时候，可以这样设计 [userId反转][Long.Max_Value - timestamp]，在查询用户的所有操作记录数据的时候，直接指定反转后的userId，startRow是[userId反转][000000000000],stopRow是[userId反转][Long.Max_Value - timestamp] 如果需要查询某段时间的操作记录，startRow是[user反转][Long.Max_Value - 起始时间]，stopRow是[userId反转][Long.Max_Value - 结束时间] 其他一些建议尽量减少行和列的大小在HBase中，value永远和它的key一起传输的。当具体的值在系统间传输时，它的rowkey，列名，时间戳也会一起传输。如果你的rowkey和列名很大，甚至可以和具体的值相比较，那么你将会遇到一些有趣的问题。HBase storefiles中的索引（有助于随机访问）最终占据了HBase分配的大量内存，因为具体的值和它的key很大。可以增加block大小使得storefiles索引再更大的时间间隔增加，或者修改表的模式以减小rowkey和列名的大小。压缩也有助于更大的索引。列族尽可能越短越好，最好是一个字符冗长的属性名虽然可读性好，但是更短的属性名存储在HBase中会更好

2017-06-20

Intel 开源 BigDL，基于 Spark 的深度学习库

近日，Intel 开源了 BigDL，这是一个基于 Apache Spark 的分布式深度学习库。

2017-06-05

mapreduce的shuffle机制（来自学习笔记）

3. MAPREDUCE原理篇（2） 3.1 mapreduce的shuffle机制 3.1.1 概述： v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； vshuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存） v具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序； 3.1.2 主要流程： Shuffle缓存流程： shuffle是MR处理流程中的一个过程，它的每一个处理步骤是分散在各个map task和reduce task节点上完成的，整体来看，分为3个操作： 1、分区partition 2、Sort根据key排序 3、Combiner进行局部value的合并 3.1.3 详细流程 1、maptask收集我们的map()方法输出的kv对，放到内存缓冲区中 2、从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 3、多个溢出文件会被合并成大的溢出文件 4、在溢出过程中，及合并的过程中，都要调用partitoner进行分组和针对key进行排序 5、reducetask根据自己的分区号，去各个maptask机器上取相应的结果分区数据 6、reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序） 7、合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法） Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快缓冲区的大小可以通过参数调整, 参数：io.sort.mb 默认100M 3.1.4 详细流程示意图

2017-06-02

【机器学习PAI实践六】金融贷款发放预测

一、背景很多农民因为缺乏资金，在每年耕种前会向相关机构申请贷款来购买种地需要的物资，等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据，包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型，通过这个模型来预测受贷人的还款能力。本文借助真实的农业贷款业务场景，利用回归算法解决贷款发放业务。线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。本文通过农业贷款的历史发放情况，预测是否给预测集的用户发放他们需要的金额的贷款。二、数据集介绍具体字段如下：字段名含义类型描述 id 数据唯一标识符 string 人 name 用户名 string 人 region 用户所属地区 string 从北到南排列 farmsize 拥有土地大小 double 土地面

2017-05-09

面向机器学习的自然语言标注导读

特别地，我们考察如何通过标注将信息加入自然语言文本中以便改善机器学习（Machine Learning，ML）算法（一组设计好的计算机程序，它从文本提供的信息中推出规则，目的是将这些规则用于将来未标注的文本中

2017-05-01

译是如何把深度学习“塞进”手机的？

导读：前几天谷歌更新了它们的翻译App，其中最大的提升了是“字镜头”实时视频翻译和通话实时翻译。怎么做到的？字镜头技术首创者、Google 研究院翻译项目组资深软件工程师Otavio Good近日在博客上详述了相关原理。前几天谷歌更新了它们的翻译App，该版本有诸多提升的地方，其中最大的是提升了所谓“字镜头”实时视频翻译性能和通话实时翻译性能。怎么提升的呢？字镜头技术首创者、Google 研究院翻译项目组资深软件工程师Otavio Good近日在Google Research Blog详述了相关原理。正文部分如下：今天（2015年7月29日），我们发布了Google翻译手机App，现在这款App可支持20多种语言的即时视觉翻译（Visual Translation），也就是说，您可拿着手机摄像头对着实物，实物中的文字就可被即时识别

2017-05-01

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

精选列表

引领“大数据技术风暴” 机器学习正当下

我与分布式机器学习的故事

学习Spark——那些让你精疲力尽的坑

安全理论：学习如何应对网络恐怖活动

深度学习鼻祖Geoffrey Hinton帮你入门带你飞

基于MaxCompute平台进行机器学习并展示结果

机器学习分析工具将如何驱动物联网

Meson：支持Netflix的机器学习工作流

深度学习奏响智能视频分析技术新乐章

《Scala机器学习》一一3.6 运行Hadoop的HDFS

《Scala机器学习》一一3.5 Spark的性能调整

《Scala机器学习》一一1.3 数值字段概述

android基础学习-Fragment和eclipse快捷键

深度学习要多深，才能读懂人话？

HBase学习之五:HBase的RowKey设计原则

Intel 开源 BigDL，基于 Spark 的深度学习库

mapreduce的shuffle机制（来自学习笔记）

【机器学习PAI实践六】金融贷款发放预测

面向机器学习的自然语言标注导读

译是如何把深度学习“塞进”手机的？

资源下载

腾讯云软件源

Nacos

Spring

Rocky Linux

欢迎您来访！