爬虫风险管理常见问题有哪些?
云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!
Anti-Bot功能相关问题
1.Anti-Bot与WAF提供的爬虫流量防护功能有什么区别?
WAF的爬虫流量防护功能主要防御一些由脚本程序编写的单IP访问爬虫流量。爬虫风险管理(Anti-Bot)则可以有效防御精心伪装的、模拟真实用户行为的更高级的爬虫流量。
2.Anti-Bot的防护能力如何?是否每次防护都需要安全技术人员介入?
为了解决业务中的各种恶意爬虫风险,Anti-Bot提供不同维度的防护方案。
- 智能防护:Anti-Bot依托云上大数据算法沉淀的情报和智能算法模型提供防护能力,无需安全技术人员介入,直接通过控制台启用防护即可。
- 规则防护:为了实现更细粒度的防护效果,Anti-Bot提供灵活的自定义防护规则配置,可能需要安全技术人员协助分析并制定防护规则策略。
同时,不同业务接口可能存在一定特殊性,需要安全技术人员进行分析、选择合适的防护策略,避免因业务接口本身不适合特定的人机校验模式而导致误拦截。
安全技术人员推荐的最佳防护策略方案可以在爬虫变异前有效控制爬虫风险,而当恶意爬虫的攻击成本高于所带来的收益时,该类型的爬虫攻击也将慢慢消失。
3.Anti-Bot针对网页端和App端能防御哪些爬虫风险?
对于网页端和App端,Anti-Bot提供相同的防护能力,有效防御自动化脚本编写的、携带明显机器特征的、模拟真实用户行为的恶意爬虫请求。
爬虫风险管理本质上是一个攻防过程。通过识别爬虫本身,方能应对爬虫变异,最终实现有效过滤。
Anti-Bot接入相关问题
1.接入Anti-Bot防护是否需要改动代码?
网站业务接入Anti-Bot防护通过反向代理模式实现,您只需要更改域名DNS解析配置即可,不涉及网页代码改动。
如果您的业务支持App端访问,建议您同时采用App增强防护SDK集成方案。集成App增强防护SDK需要对App端代码进行改动,并重新发布新的App版本。
2.iOS和安卓平台App应用是否都可以采用App增强防护SDK方案?
Anti-Bot的App增强防护SDK方案支持iOS和安卓平台App端集成。具体集成方法,请参考iOS SDK集成指南或Android SDK集成指南。
3.Anti-Bot如何与其它云产品同时部署?
Anti-Bot与阿里云的SLB、WAF、DDoS高防、CDN等云产品完全兼容,您可以根据业务需要选择合适的产品与Anti-Bot同时部署。
- 负载均衡(SLB):您只需在Anti-Bot控制台中添加域名配置时,将SLB实例的公网IP添加为源站服务器IP,即可实现Anti-Bot与SLB结合使用。
- Web应用防火墙(WAF):Anti-Bot与WAF采用同样的转发配置,因此在Anti-Bot或WAF中添加的网站域名配置记录将自动同步至另一产品的管理控制台中,且域名来源显示为云端同步。您只需在Anti-Bot和WAF控制台中为网站域名配置相应的防护策略,即可实现应用层攻击防护和恶意爬虫流量防护。
- DDoS高防:参考同时部署Anti-Bot和DDoS高防进行配置,即可实现大流量攻击防护和恶意爬虫流量防护。
- CDN:参考同时部署Anti-Bot和CDN进行配置,即可为开启内容加速的域名实现恶意爬虫流量防护。
App增强防护SDK相关问题
1.App增强防护SDK(iOS版)支持哪些iOS系统版本?
App增强防护SDK支持iOS 8及以上版本。
2.在App中集成Anti-Bot增强防护SDK后会额外占用多少资源?
在App中集成Anti-Bot增强防护SDK后,仅额外占用极少量的资源。
- 内存消耗:增加大约2 MB
- 加载时间:在冷启动的情况下,大约增加200 ms
- CPU:主要依赖业务调用情况,一般延迟在20 ms以内
日志功能相关问题
1.开通Anti-Bot日志服务功能提示“调用SLS高阶API创建资源或变更资源配置失败”。
Anti-Bot的日志服务功能依赖阿里云日志服务(Log Service)产品,开通日志服务功能时将在日志服务产品中自动创建相应日志库资源。
如果您的云账号当前已经欠费,则可能收到该提示且日志服务开通失败,请结清欠款后重新开通。
本文来自 阿里云文档中心 爬虫风险管理 爬虫风险管理常见问题
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
每日一博 | Elasticsearch 索引设置的总结
在使用ES时,我们常见的就是需要生成一个template来定义索引的设置,分词器,Mapping.本文将基于项目经验来总结一些常用的配置。 Index设置 index.refresh_interval 配置一个刷新时间,将index buffer刷新到os cache的时间间隔,刷新到os cache的数据才可以被索引到,默认是1s.如果对实时性搜索要求不高的地方,可设置时间为30s,提高性能。 number_of_replicas 对于集群数据节点 >=2 的场景,建议副本至少设置为 1(一主一从,共两个副本), 可以提高集群容错和搜索吞吐量(副本分片可用于查询)。 index.number_of_shards 主副本的分片数,默认是5个,最大值限制为1024个,这个值是分片数可适当的增加,提高索引的并发性能,但是分片越多,也会导致资源耗费越高,索引要根据访问并发数和ES集群的资源来设置。经验公式:分片数 = 索引大小/分片大小经验值 30GB,官方推荐Shard值在 20-40GB性能最好,日志类:单分片<50GB;搜索类:单分片<20GB。不足1...
- 下一篇
快速学会物联网边缘计算设备接入的方法
云栖号快速入门:【点击查看更多云产品快速入门】不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作! 设备接入是Link IoT Edge提供的基础能力,设备接入模块在Link IoT Edge中称为驱动(driver)或设备接入驱动。所有连接到Link IoT Edge的设备都需要通过驱动实现接入。 设备接入驱动在Link IoT Edge框架位置如图所示。 设备接入驱动 一个完整的驱动(设备接入模块)由设备的连接管理、设备的数据(协议)转换和设备的数据与命令处理三个模块组成。 连接管理指设备与网关建立通信连接。Link IoT Edge不限制建立通信连接的协议,您可根据业务需求灵活选择。 数据转换指设备接入驱动将获取到的终端设备数据转换为符合阿里云IoT物模型规范的数据格式,并上报到阿里云IoT Cloud。阿里云物联网平台物模型规范请参考物模型。 数据与命令处理指驱动可以处理云端对于设备的操作请求,并完成对设备的服务调用和处理调用结果,最终将结果返回到阿里云物联网平台。 设备接入驱动是Link IoT Edge中独立的服务模块,您可以根据业务协议需求开发自定义...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题