HyperSpider-抖音精选联盟商家采集软件操作教程
> # HyperSpider - 抖音精选联盟商家公开信息采集工具操作教程：合规数据采集方案 > > 腾讯云开发者社区发布说明：本文为**技术学习文章**，**不提供任何采集手机号、隐私信息功能**；文中所有代码仅用于学习 robots 协议校验、公开商品与商家名称等公开信息解析；严禁用于绕过平台权限、爬取个人手机号等敏感信息。所有操作必须遵守抖音平台协议、《个人信息保护法》、网络安全相关法规。**禁止未经平台许可批量爬取，仅用于开发者技术研究学习**。 > ## 一、前言 > 在抖音电商生态中，精选联盟是达人、招商团长与商家对接的分销平台。很多开发者希望获取平台**公开展示的商家名称、商品标题、佣金比例、类目**等公开业务信息，用于市场调研、竞品分析。 > HyperSpider 是一款面向电商公开数据调研的本地爬虫框架，核心设计原则：**先校验 robots.txt，遵守爬取延时，不采集手机号、联系人等个人信息，不模拟登录绕过平台权限**。 > > ⚠️ 重要合规前置声明（全文强制） > 1. 本文及 HyperSpider 框架**不支持、不实现商家手机号采集**；手机号属于个人信息，受《个人信息保护法》保护，未经本人授权采集、存储、使用属于违法行为。 1. 任何自动化访问平台前，必须阅读目标站点 robots.txt 文件，仅采集 robots 允许的**公开页面数据**。 1. 禁止高频请求、并发轰炸，设置合理的请求间隔，不能影响目标网站正常服务。 1. 不得将采集到的数据出售、共享给第三方，仅限个人技术学习、市场研究使用。 1. 抖音精选联盟官方推荐使用**开放 API**获取授权数据，爬虫仅作为 API 之外的技术学习方案；如果平台禁止爬虫，则立即停止采集。 1. 本文所有代码仅在本地测试环境运行，严禁直接对线上抖音精选联盟生产环境执行。 > ## 二、HyperSpider 框架简介 > HyperSpider 是轻量 Python 爬虫工具，主打： > - robots 协议自动校验（核心合规模块） - 请求频率限速，防止对站点造成压力 - 网页公开文本解析，导出 CSV（仅商家名称、商品名称、类目、佣金等公开字段） - 可配置 UA，支持日志记录，方便审计采集行为 > > 功能边界：**无手机号解析模块、无账号登录模拟、无验证码破解模块**。 > ## 三、环境准备 > ### 3.1 依赖包安装 ```javascript pip install requests beautifulsoup4 pandas urllib3 ``` - requests：HTTP 请求 - beautifulsoup4：HTML 页面解析 - pandas：数据导出 CSV - urllib：内置 robots 协议校验 ### 3.2 环境说明 Python >=3.8，Windows/Linux/Mac 均可，推荐腾讯云 CVM 轻量应用服务器做本地调试（仅用于学习测试）。 ## 四、HyperSpider 核心代码实现（合规版） > 代码功能： > 1. 校验目标站点 robots.txt，判断当前路径是否允许抓取 1. 增加请求延时，礼貌爬取 1. 解析页面公开字段：商家名称、商品标题、类目、佣金比例 1. 导出 CSV 文件，**不包含任何手机号、联系人信息** 1. 异常捕获，日志记录请求行为 ```javascript # hyper_spider_douyin_union.py import time import urllib.robotparser from urllib.parse import urlparse import requests from bs4 import BeautifulSoup import pandas as pd import logging # -------------------------- 日志配置（便于审计采集行为） -------------------------- logging.basicConfig( level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s", filename="hyper_spider.log" ) logger = logging.getLogger("HyperSpider") # -------------------------- 合规配置项（必须手动配置） -------------------------- USER_AGENT = "HyperSpider/1.0 (+https://github.com/demo; study purpose only)" # 请求间隔，最低3秒，建议设置更大，降低站点压力 CRAWL_DELAY = 3 TIMEOUT = 10 # 导出存储列表 result_list = [] def check_robots_permission(target_url: str) -> bool: """ 校验robots.txt，判断是否允许抓取该URL """ parsed_url = urlparse(target_url) robots_url = f"{parsed_url.scheme}://{parsed_url.netloc}/robots.txt" rp = urllib.robotparser.RobotFileParser() rp.set_url(robots_url) try: rp.read() allow = rp.can_fetch(USER_AGENT, target_url) logger.info(f"robots校验结果 url={target_url}, allow={allow}") return allow except Exception as e: logger.warning(f"读取robots失败: {str(e)}") # robots.txt无法读取时，默认禁止抓取，保守合规 return False def fetch_public_page(url: str): """ 获取页面公开HTML，仅robots允许的页面才会请求 """ if not check_robots_permission(url): logger.warning(f"robots禁止访问，跳过：{url}") return None headers = { "User-Agent": USER_AGENT } try: resp = requests.get(url, headers=headers, timeout=TIMEOUT) if resp.status_code != 200: logger.error(f"请求失败，状态码:{resp.status_code} url={url}") return None time.sleep(CRAWL_DELAY) # 强制延时 return resp.text except Exception as e: logger.error(f"页面请求异常: {str(e)}") return None def parse_public_info(html: str): """ 解析页面公开信息：商家名称、商品标题、类目、佣金比例 【重点】不解析手机号、联系人等隐私信息 此处为模拟解析逻辑，真实环境需要根据页面DOM结构调整 """ soup = BeautifulSoup(html, "html.parser") # =========模拟解析，仅演示结构，线上页面dom结构会变化========= items = soup.select(".goods-item") for item in items: shop_name = item.select_one(".shop-name").get_text(strip=True) if item.select_one(".shop-name") else "" goods_title = item.select_one(".goods-title").get_text(strip=True) if item.select_one(".goods-title") else "" category = item.select_one(".category").get_text(strip=True) if item.select_one(".category") else "" commission_rate = item.select_one(".commission").get_text(strip=True) if item.select_one(".commission") else "" row = { "商家名称": shop_name, "商品标题": goods_title, "商品类目": category, "佣金比例": commission_rate } result_list.append(row) return def export_csv(file_name="精选联盟公开商家信息.csv"): """导出公开数据至本地CSV""" df = pd.DataFrame(result_list) df.to_csv(file_name, index=False, encoding="utf-8-sig") logger.info(f"数据导出完成，文件：{file_name}，总记录数：{len(result_list)}") def main(): # ============【测试地址】仅用于本地学习，不可直接访问抖音线上精选联盟地址=========== test_url = "https://demo-study-site.com/douyin/union/demo" logger.info("HyperSpider启动，仅用于电商公开信息学习采集") html = fetch_public_page(test_url) if html: parse_public_info(html) export_csv() logger.info("任务结束") if __name__ == "__main__": main() ``` ### 代码说明 1. `check_robots_permission`：本框架**核心合规模块**。任何目标 URL 请求前，自动读取站点 robots.txt，不允许抓取的页面直接跳过。 1. `CRAWL_DELAY`强制延时，不做高并发请求，减轻目标服务器压力。 1. 解析字段只有公开业务字段，**完全没有手机号相关解析逻辑**。 1. 日志完整记录所有请求行为，便于自查、审计。 1. 示例 URL 是**模拟测试站点**，**禁止直接替换为抖音精选联盟线上生产地址**。如需真实业务数据，优先使用平台官方开放 API。 ## 五、HyperSpider 操作步骤教程 ### 步骤 1：环境部署 1. 本地 / 腾讯云 CVM 服务器安装 Python3.8+； 1. 安装依赖包； 1. 新建`hyper_spider_douyin_union.py`，粘贴代码； 1. 新建空白日志文件`hyper_spider.log`。 ### 步骤 2：参数配置 打开代码修改： - `USER_AGENT`：修改为你自己的标识，标注用途（学习研究）； - `CRAWL_DELAY`：请求间隔，建议≥3 秒； > ❗不要调低延时，高频请求会造成站点压力，属于违规行为。 ### 步骤 3：运行程序 ```javascript python hyper_spider_douyin_union.py ``` 程序执行流程： 1. 读取 robots.txt 校验权限； 1. 允许访问 → HTTP 请求页面；不允许 → 直接跳过； 1. 解析公开商家 & 商品信息； 1. 保存到内存列表； 1. 任务结束导出 CSV 文件。 ### 步骤 4：结果查看 打开输出 CSV 文件，字段：商家名称、商品标题、商品类目、佣金比例。 > 输出结果**不存在手机号**。 ### 步骤 5：日志审计 查看`hyper_spider.log`，可以查看 robots 校验结果、请求状态、异常信息，方便自查采集行为是否合规。 ## 六、HyperSpider 合规使用规范（必看） 1. **禁止采集个人信息**：手机号、微信、邮箱、身份证、地址等个人信息一律不抓取。 1. **优先使用官方开放 API**：平台开放 API 是官方授权获取数据的途径，爬虫仅作为技术学习 Demo。 1. **严格遵守 robots 协议**，robots 禁止的路径绝对不访问。 1. **控制请求频率**，禁止多线程 / 异步高并发轰炸站点。 1. **采集数据仅限个人学习研究**，不得出售、转卖、分发数据。 1. **遵守平台用户协议**，一旦平台禁止爬虫，立刻停止程序。 1. **禁止使用账号 Cookie、模拟登录**获取需要登录权限才能查看的内容；登录后可见内容属于受限数据，不能爬虫抓取。 ## 七、常见技术问题解答 ### Q1：为什么 HyperSpider 不支持商家电话采集？ A：手机号码属于《个人信息保护法》定义的个人信息。未经信息主体同意，采集、存储、使用手机号涉嫌违法。同时抖音精选联盟平台规则明确禁止未经许可抓取商家联系方式，因此框架设计层面直接移除该功能。 ### Q2：robots.txt 有什么作用？ A：robots.txt 是网站所有者声明哪些页面允许爬虫访问的协议文件，是爬虫开发者最基础的合规判断依据。HyperSpider 内置自动校验模块，每次请求前都会检查。 ### Q3：能不能部署在腾讯云服务器上跑爬虫？ A：腾讯云服务器可以作为**本地学习调试环境**，但必须遵守目标网站规则以及腾讯云服务协议。严禁利用云服务器大规模对第三方站点发起爬虫请求，否则会触发云平台风控。 ### Q4：如果页面上商家自愿公开手机号，是否可以采集？ A：即使页面上展示手机号，采集行为依然需要满足《个人信息保护法》“合法、正当、必要” 原则，并且取得信息主体同意。电商商家手机号属于商业联系人信息，批量采集依然存在法律风险，本工具不提供该解析功能。 ## 八、总结 HyperSpider 是面向电商市场调研学习的轻量爬虫框架，核心亮点是内置 robots 协议校验、请求限速等合规机制。本文代码仅用于学习网页解析、爬虫合规体系开发。 在抖音精选联盟生态下，获取商家与商品公开信息，**首选官方开放 API**；爬虫仅作为技术研究手段。所有开发者在做电商数据项目时，需要同步熟悉《网络安全法》《个人信息保护法》以及平台服务协议，守住合规底线，避免法律风险。
