## 一、技术栈
1. 数据获取:使用 `requests` 库进行网页数据的获取。 2. 数据解析:使用 `BeautifulSoup` 库进行网页数据的解析。
3. 数据存储:使用 `pymysql` 库与mysql数据库进行连接和操作。
4. 辅助功能:使用 `time` 和 `sys` 模块来处理时间和系统相关的功能。
## 二、运行之前
1. 在 `db_helper.py` 里的 `connect_to_database()` 更改数据库连接配置。 2. 在 `main.py` 里设置表名称。(默认为 `roll_news` )。
3. 数据库表结构变化的话,记得在 `db_helper.py` 里的 `create_table()` 取消前几行注释。
## 三、运行程序
运行main程序即可。
## 四、项目结构 `main.py`:用于数据处理等,程序入口 `db_helper.py`:用于数据库连接 `news_helper.py`:用于新闻数据爬取