Skip to content
Snippets Groups Projects
README.md 835 B
Newer Older
罗志媛's avatar
罗志媛 committed
## 一、技术栈
蒋 佳缘's avatar
蒋 佳缘 committed
1. 数据获取:使用 `requests` 库进行网页数据的获取。
2. 数据解析:使用 `BeautifulSoup` 库进行网页数据的解析。
3. 数据存储:使用 `pymysql` 库与mysql数据库进行连接和操作。
蒋 佳缘's avatar
蒋 佳缘 committed
4. 辅助功能:使用 `time``sys` 模块来处理时间和系统相关的功能。
罗志媛's avatar
罗志媛 committed

罗志媛's avatar
罗志媛 committed
## 二、运行之前
罗志媛's avatar
罗志媛 committed

罗志媛's avatar
罗志媛 committed
1.`db_helper.py` 里的 `connect_to_database()` 更改数据库连接配置。
2.`main.py`  里设置表名称。(默认为 `roll_news` )。
罗志媛's avatar
罗志媛 committed
3.  数据库表结构变化的话,记得在 `db_helper.py` 里的 `create_table()` 取消前几行注释。
罗志媛's avatar
罗志媛 committed

罗志媛's avatar
罗志媛 committed
## 三、运行程序
罗志媛's avatar
罗志媛 committed

罗志媛's avatar
罗志媛 committed
运行main程序即可。
罗志媛's avatar
罗志媛 committed

蒋 佳缘's avatar
蒋 佳缘 committed
## 四、项目结构

`main.py`:用于数据处理等,程序入口

`db_helper.py`:用于数据库连接

`news_helper.py`:用于新闻数据爬取