如何操作 python 爬虫代码？导入 python 库（requests、beautifulsoup）；发送 http 请求获得 html 代码；解析 html 代码形成树形结构；查找所需的 html 元素；提取所需的数据；对提取的数据进行处理；输出处理后的数据。
如何操作 python 爬虫代码
1. 导包
首先，需要导入必要的 Python 库：
import requests from bs4 import beautifulsoup
2. 发送请求
立即学习“Python免费学习笔记（深入）”；
使用 requests 库发送 http 请求来获取网站的 HTML 代码：
response = requests.get(url)
3. 解析 HTML
使用 BeautifulSoup 库解析 HTML 代码，并形成一个树形结构：
soup = BeautifulSoup(response.text, 'html.parser')
4. 查找元素
使用 css 选择器或 BeautifulSoup 方法来查找所需的 HTML 元素：
elements = soup.select('div.product')
5. 提取数据
从找到的元素中提取所需的数据：
for element in elements: title = element.select_one('h1').text price = element.select_one('.price').text
6. 处理数据
对提取的数据进行处理，例如转换为数字、清理文本等：
price = float(price.replace('$', ''))
7. 输出结果
将提取的数据输出到控制台、文件中或数据库中：
print(f'{title} {price}')
示例代码：
import requests from bs4 import BeautifulSoup response = requests.get('https://www.example.com') soup = BeautifulSoup(response.text, 'html.parser') elements = soup.select('div.product') for element in elements: title = element.select_one('h1').text price = float(element.select_one('.price').text.replace('$', '')) print(f'{title} {price}')
