python自动查找你喜欢的文章 — 解析 — visit_articles.py

代码后面有详细解析，请将文章看完。

import requests  #request是这个项目比较主要的第三方库，用于访问网页
import json  #json用于解析json数据
from printc import Fore, Back, Style  #printc中的三个类，前景色，背景色和样式，其实是colorama里面的
import printc as out  #用于输出彩色字体，c是color、colorful的缩写
import os  #这个模块其实没有什么用，完全没有用到，是作者的失误
from visit import visit  #访问网站，在visit.py中会解析
from urllib.parse import urljoin  #用于将url连接起来，比如https://www.juejin.cn/和/pin连接起来
#引入模块

out.setup_color()  #设置颜色
__=out.get_data()  #将颜色设置保存起来，以后可以使用printcf输出

#json处理
sites=[]  #需要读取的站点
json_sites=open('sites.json', encoding='utf-8')  #打开文件
__json=json_sites.read()  #读取数据
json_sites.close()  #关闭文件
'''详细json数据请见json.md'''

#清除已经访问
visited_sites=open('visited.json', 'w', encoding='utf-8')  #打开文件
visited_sites.write('')  #清空文件
visited_sites.close()  #关闭文件


#判断json是否异常
if __json=='':  #没有json可读
    out.printcf('There\'s no site to read.', __, fg=Fore.RED)
    exit()
try:  #json读取出错
    __json=json.loads(__json)
    out.printcf('站点设置在sites.json，以下是json数据：', __, fg=Fore.GREEN)
    out.printcf(__json, __)
except:
    out.printcf('It seems like there is something wrong with the sites. Please try again.', __, fg=Fore.RED)
    exit()


#开始检查数据是否完整
doing=0
while doing<len(__json):
    __now=__json[doing]  #获取当前项目

    out.printcf('Checking item '+str(doing+1), __, fg=Fore.GREEN)  #输出检查信息

    try:  #json数据是否完好
        if type(__now['url'])!=type(str()) or type(__now['start_from'])!=type(str()):  #数据类型是否完好
            out.printcf('数据出错', __, fg=Fore.RED)
            del __json[doing]
            continue
        out.printcf('链接: '+__now['url'], __)
        out.printcf('开始链接: /'+__now['start_from'], __)
    except:
        out.printcf('数据出错', __, fg=Fore.RED)
        del __json[doing]
        continue

    doing+=1

out.printcf(__json, __)

for site in __json:
    visit(urljoin(site['url'], site['start_from']), __, depth=5)  #一个一个网站爬取

复制代码