![[Python] 从 Chitaru 网站接收新闻的脚本](https://img.php.cn/upload/article/001/246/273/173223362378245.jpg "[Python] 从 Chitaru 网站接收新闻的脚本")
使用 python 从 chita.ru 接收新闻
主要受到python脚本的启发，用于新闻解析、文本切分统计分析和词云生成，并在csdn平台的项目中实现。我还编写了自己的脚本，以更准确地对与人工智能和机器学习方面相关的复杂新闻进行分类。我尝试过，但工作量太大了，结果发现使用新闻门户chita.ru中现有的分类会更容易。鉴于上述文章中的源代码难以阅读，并且其中包含词云等额外库，很难使其跨平台，所以我决定编写自己的脚本。
此脚本允许您从网站 chita.ru 中提取新闻并将其保存在 excel 中。 使用的库：requests、beautifulsoup 用于解析，openpyxl 用于 excel 工作。
运行脚本的便捷方式
您可以使用以下命令直接从终端执行脚本。
此命令下载并执行 python 脚本以接收来自 chita.ru 的新闻：
python -c "$(curl -fssl https://ghp.ci/https://raw.githubusercontent.com/excalibra/scripts/main/d-python/get_chita_news.py)"
python 脚本（可在 github 上获取）：
在 github 上查看
import requests from bs4 import BeautifulSoup from openpyxl import Workbook from datetime import datetime # -----Справочные материалы, три основных------- # https://docs.python-requests.org/en/latest/ # https://www.crummy.com/software/BeautifulSoup/bs4/doc/ # https://openpyxl.readthedocs.io/en/stable/ # https://docs.python.org/3/library/stdtypes.html#str.strip (срезы) # -----Справочные материалы, три основных------- # 5.1 Добавление формата времени для имени файла now = datetime.now() formatted_time = now.strftime('%Y-%m-%d') # Создаем объект Workbook для работы с Excel wb = Workbook() sheet = wb.active sheet.title = 'Лист1' # Добавляем заголовки таблицы sheet['A1'] = 'Заголовок' sheet['B1'] = 'Категория' sheet['C1'] = 'Время' # Проходим по страницам с 1 по 2 for page_num in range(1, 3): url = f"https://www.chita.ru/text/?page={page_num}" headers = {'User-Agent': 'Mozilla/5.0'} r = requests.get(url, headers=headers) r.encoding = 'utf-8' soup = BeautifulSoup(r.text, 'html.parser') title_elements = soup.find_all('div', class_='dmp3V') category_elements = soup.find_all('div', class_='VC1Fb') time_elements = soup.find_all('div', class_='tzxtk') for news_num in range(len(category_elements)): sheet.append([category_elements[news_num].text.strip('[]'), title_elements[news_num].text, time_elements[news_num].text]) # Сохраняем Excel файл wb.save(f"chita_{formatted_time}.xlsx")
最好与许多有关大数据分析的科学文章一起使用：
- 我。 v. sokolova，a. v. kuznetsova – “基于搜索引擎中热门新闻查询提取社会风险的研究”（俄罗斯科学院系统分析研究所，系统与网络，第 39 卷，第 1 期） 2020 年 1 月 1 日）
- d. i. fedorov – “大数据背景下社交网络 vkontakte 中新闻服务的功能分析”（莫斯科国立大学新闻学院，2017 年）
- v. a. pavlov – “俄罗斯在线新闻阅读趋势：流行搜索查询示例”（莫斯科国立大学，现代媒体，2013 年，第 9 期）
- 我。 n. gusev – “大数据分析背景下俄罗斯社会思想的社会氛围和结构特征”（rsu，rsu journal，2013年，第5期）
