python 利用强大的网络爬取能力可爬取 url。只需安装依赖项（requests 和 beautifulsoup）、获取网页内容、解析 html，即可提取链接。例如，使用 beautifulsoup 提取 www.python.org 上所有链接。此外，还有多线程爬取、深度优先搜索、广度优先搜索、处理分页和防反爬等拓展技巧。
python 爬取 URL
前言
Python 是一款用途广泛的编程语言，具备强大的网络爬取能力。本文将介绍如何使用 Python 爬取 URL，并提供详细的示例代码。
方法
立即学习“Python免费学习笔记（深入）”；
1. 安装依赖项
pip install requests bs4
2. 获取网页内容
import requests response = requests.get("https://example.com")
3. 解析 HTML
from bs4 import BeautifulSoup soup = BeautifulSoup(response.content, "html.parser")
4. 提取链接
links = soup.find_all("a") for link in links: href = link.get("href") print(href)
示例
import requests from bs4 import BeautifulSoup # 获取网页内容 response = requests.get("https://www.python.org/") # 解析 HTML soup = BeautifulSoup(response.content, "html.parser") # 提取链接 links = soup.find_all("a") # 打印链接 for link in links: href = link.get("href") print(href)
拓展
