如何编写简单的 python 爬虫？安装 beautifulsoup4 和 requests 库。向网站发送 http 请求。使用 beautifulsoup 解析 html 文档。使用 find()、find_all() 和 get_text() 提取数据。处理和分析提取到的数据。
如何编写简单 Python 爬虫
简介
爬虫是一种用于从网站提取数据的自动化程序。python 是一种功能强大的编程语言，非常适合编写爬虫。本文将指导您学习如何编写简单的 Python 爬虫。
步骤 1：安装必要的库
立即学习“Python免费学习笔记（深入）”；
您需要安装两个库：
- beautifulsoup4：用于解析 html 文档。
- Requests：用于发送 http 请求。
使用以下命令安装这些库：
pip install beautifulsoup4 requests
步骤 2：发送 HTTP 请求
第一步是向要爬取的网站发送 HTTP 请求。为此，您可以使用 requests.get() 函数：
import requests url = 'https://example.com' response = requests.get(url)
response 变量将包含网站的 HTML 内容。
步骤 3：解析 HTML 文档
接下来，您需要解析 HTML 文档以提取所需数据。您可以使用 BeautifulSoup 库中的 BeautifulSoup 类：
from bs4 import BeautifulSoup soup = BeautifulSoup(response.content, 'html.parser')
soup 变量现在包含一个解析过的 HTML 文档，您可以使用它来查找和提取数据。
步骤 4：提取数据
要提取数据，您可以使用 find(), find_all() 和 get_text() 方法。例如，要提取页面上的所有链接，您可以使用：
links = soup.find_all('a') for link in links: print(link.get('href'))
步骤 5：处理数据
一旦提取了数据，您就可以对其进行处理和分析。例如，您可以将提取到的链接存储到文件中，或将其用于进一步的分析。
示例
以下是一个示例 Python 爬虫，用于提取页面上的所有链接：
import requests from bs4 import BeautifulSoup url = 'https://example.com' response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') links = soup.find_all('a') with open('links.txt', 'w') as f: for link in links: f.write(link.get('href') + ' ')
这个爬虫会提取页面上的所有链接并将它们存储到 links.txt 文件中。
