首页 文章 精选 留言 我的

精选列表

搜索[抓包过滤],共10000篇文章
优秀的个人博客,低调大师

深度学习必备包

安装 Tensorflow Keras Opencv # For a specific version: !pip install tensorflow-gpu==1.5.0rc0 # To determine which version you're using: !pip show tensorflow-gpu # For the current version: !pip install --upgrade tensorflow-gpu # For the latest nightly build: !pip install tf-nightly-gpu !pip install -U tensorflow-gpu !pip install -U keras !pip install opencv-contrib-python --upgrade Keras: The Python Deep Learning library OpenCV An open-source software library for Machine Intelligence Install 7zip reader libarchive !pip install -U libarchive Install GraphViz & PyDot !pip install -U pydot graphviz Install xgboost !pip install -U xgboost import tensorflow as tf tf.keras # Keras 为 TensorFlow 提供了 API 探寻有趣之事!

优秀的个人博客,低调大师

AI工具包

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 现在的人工智能可以为企业带来许多好处,并且将简单的认知能力赋予给了机器。作为计算机科学领域,人工智能正在以前所未有的速度发展。今天我将向你介绍AI的两大工具,它们正在推动着人工智能的发展。 机器学习,深度学习: 当前AI的基础技术可分为两类:机器学习和深度学习。当然,如果按照比较严谨的分类,深度学习也属于机器学习的一部分。今天,我们不细讲这些,目前人工智能使用的绝大多数技术是机器学习,它包含数据科学家最常用的算法:线性模型,k均值聚类,决策树等。虽然我们现在将它们作为AI的一部分,但它们是数据科学家长期以来都在做的事情。这里也说明了数据是人工智能最重要的一部分。 过去两年,两种AI受到了更多的关注和炒作:一种机器学习技术的细分化,神经网络,也被称为深度

优秀的个人博客,低调大师

抓不到数据先别急,看看 Scrapy 代理有没有真起作用

你写的 Scrapy 爬虫跑了一晚上,库里还是空的。第一反应通常是目标站反爬升级,或者 XPath 写错。这两种都有可能,但我遇到更多的是代理压根没生效:请求用本机 IP 直连出去,被封或者拿到假页面,你却在调选择器。这篇文章讲清楚代理在 Scrapy 里是怎么真正生效的,以及接入亿牛云动态转发代理时几个会咬人的细节。Scrapy 处理代理的两条路径Scrapy 不要求你写中间件才能用代理。内置的 HttpProxyMiddleware(默认优先级 750)会在下载阶段读取 request.meta['proxy'],把它交给底层的下载处理器。也就是说,只要请求的 meta 里带 proxy 字段,代理就会生效,和你有没有自定义中间件无关。所以代理失效通常不是"没设上",而是下面几类情况:第一,自定义中间件优先级设得比 750 还大,跑在 HttpProxyMiddleware 之后,等它去读 meta 时已经晚了。自定义中间件要放在 750 之前,常见做法是 100 到 400 之间。第二,认证没带对。亿牛云动态转发走 HTTP 基础认证,代理地址要写成 http://用户名:密码@网关:端口。如果只填了网关地址、proxy 里没有账号密码,代理服务器回 407,请求要么被 RetryMiddleware(优先级 500)反复重试,要么降级成直连,现象就是"时灵时不灵"。第三,meta 被中途清掉。RedirectMiddleware(优先级 600)默认会保留 meta,但如果你在 process_response 或者 process_exception 里重建了 Request 却没把 proxy 带过去,重定向后的请求就丢了代理。先确认出口 IP 到底换没换别靠猜,让响应自己说话。最直接的办法是请求一个回显客户端 IP 的地址,比如 httpbin.org/ip,或者用亿牛云后台的出口 IP 查询接口。把返回的 IP 和本机公网 IP 比一下:

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册