当前位置:首页 > 科技前沿 > 正文

金华新闻节节棒:壁纸爬取——协程应用

05-10 科技前沿

(协程)壁纸爬取

一、 算法剖析

1.1 进入爬取壁纸的网站(表层网页)

彼岸桌面壁纸-二次元 (少爬涩图,康健生涯!)

1.2 获取显示单张壁纸的页面(深层网页)地址

选择网页元素:Ctrl Shift C

你学废了吗?学废扣眼珠子,没学废点赞珍藏

问:为什么不是下面谁人 "img src=..." 的地址呢?

答:下面的地址的确是一个图片的地址,然则该图片是800*450(我们要1920*1080),是用来显示该页面这个小图的(如下图)

以是你喜欢 照样喜欢 ?你品你细品

1.3 进入单张壁纸的页面

① 你可以点击 "/desk/22629.htm"

② 在浏览器网址输入栏输入 "http://www.netbian.com/desk/22629.htm"

(② 这个是重点,由于爬取时我们需要这个完整地址才气接见下面这个页面)

此时的 "img src=..." 就是我们 壁纸的最终下载地址

1.4 思绪总结

  • ① 接见主页(表层网页)

  • ② 将主页的源代码所有读取出来

    查看源代码:

    ① 右键→查看网页源代码

    ② Ctrl U

  • ② 通过正则匹配将读取的网页源代码中 所有 单张壁纸页面的(深层网页)地址 "/desk/*.htm" 筛选出来,作为字符串工具

  • ③ http://www.netbian.com "/desk/*.htm" 将两个字符串合并为完整的 url

  • ④ 通过上面完整的网址接见每张壁纸的深层网页,并将深层网页的源代码读取出来

  • ⑤ 通过正则匹配1920*1080壁纸 的下载地址,筛选出来

  • ⑥ 接见该壁纸的下载地址,以二进制的形式将数据读取,并以 "*.jpg(.png)" 花样举行写入为内陆文件

1.5 思绪代码重现

① 以下部门都有标明 重点 与 非重点

重点:焦点算法的展现(若何接见网页并通过正则匹配提取所需的url)

​ 非重点:下载功效,显示下载进度,自动为文件名命名

​ ※ 读者看懂重点的焦点算法就好了,其余的功效有兴趣自己琢磨

② 建议从主函数最先食用,否则绝对懵逼

③ 你也可以下载这个小项目自己去Van~Van~

该项目下载地址:

链接:https://pan.baidu.com/s/1SVIMVzmPIEJ7kEsvMpK23Q
提取码:fkgz

1.5.1 工程目录结构

1.5.2 导入模块以及界说全局变量

# 最好把 gevent 相关的模块放最前面,以免泛起BUG
import gevent
from gevent import monkey
monkey.patch_all()
import requests
import re
from read_write.read_num import read
from read_write.write_num import write

# 爬取到的图片下载地址存放列表
url_deep_list = []
# 以下四个变量并非重点,我们关注焦点算法
# 图片文件的名字
name_jpg = 0
# 允许最先下载的标志
flag_download = 0
gl_url_ok_num = 0
url_num = 0

1.5.3 接见主页(表层网页)提取 深层网页 地址——重点

def get_surface_url(surface_page):
    """表层网页提取出深层网页地址

    :param surface_page: 表层网页
    :return: 返回一个 深层网页 地址列表
    """
    # 通过目的网站,相当于获取了一个 response 这个可操作工具
    response = requests.get(surface_page)

    # TODO . ? 非贪心匹配 当遇到 .时前面的非贪心匹配义务竣事,接着匹配htm
    url_add = r'/desk/. ?.htm'

    # response.text 即代表该工具的文本数据,源代码数据
    # 从源代码数据中匹配 url_add 相关的内容,从而天生一个列表
    url_list_old = re.findall(url_add, response.text)

    # print(url_list_old)

    url_list_new = []

    for str_old in url_list_old:
        str_new = 'http://www.netbian.com'   str_old
        url_list_new.append(str_new)

    # print(url_list_new)

    return url_list_new

1.5.4 接见深层网页地址,提取下载地址——重点

def get_deep_url(deep_page):
    """通过深层网页获取 1920*1080 的壁纸地址

    :param deep_page: 深层网页地址
    :return: 返回一个 壁纸 下载地址
    """
    response = requests.get(deep_page)
    # 此页面已经能找到 1920*1080 jpg图片的下载地址了,我们通过正则匹配,分组“()”举行提取
    # ① 首先锁定目的地址的头 /desk/. ?-1920x1080.htm
    # ② 接着再往下匹配的地址,即为最终下载地址
    # 总结:之以是可以分两部门举行锁定匹配,是由于
    #      ① search 是可以通过跨行匹配(不外一旦匹配乐成一个,即返回工具)
    #      ② .*? 到 <img src... 之间正好没有 n 换行符,以是能往后一直匹配(由于 . 是匹配除了n外的所有随便一个字符)
    url_add = r'/desk/. ?-1920x1080.htm.*?<img src="(http://img.netbian.com/file/. ?.jpg)"'

    deep_url = re.search(url_add, response.text)

    # 返回的工具需要,通过 group() 举行提取
    # print(deep_url.group(1))

    return deep_url.group(1)

1.5.5 下载图片——非重点

def download_jpg(local_path):
    """通过获取的地址列表下载壁纸

    :param local_path: 下载到的内陆位置
    """

    global name_jpg
    global gl_url_ok_num

    # for url in url_list:
    while True:

        # print("最先下载图片...")
        # url = q_url.get()
        if flag_download == 1:
            if url_deep_list:
                url = url_deep_list[0]
                url_deep_list.pop(0)

                # name_jpg  = 1

                response = requests.get(url)
                # 请求乐成以后,正式最先下载时,才给它  1 起名字,由于  1 操作不需要守候,
                # 以是不会切换协程,直接通过 open 已经为文件起好名字了,纵然下载守候,
                # 也不会影响已经有名字的文件了
                # 若是 name_jpg  = 1 放上面会泛起当 协程遇到 requests 时网络请求,在守候时间,会让第二个协程来执行,
                # 这样 name_jpg  = 1,这样守候第一个协程最先下载时,名字就会变为 3,
                # 而且极有可能泛起种种BUG,经由试验:名字会从3最先,而且最终少了两个文件
                name_jpg  = 1

                with open('%s/%d.jpg' % (local_path, name_jpg), 'wb') as ft:
                    ft.write(response.content)

                # print("乐成下载一张壁纸...")

                gl_url_ok_num  = 1

                if not url_deep_list:
                    # print("所有下载完毕...")
                    break
            else:
                break
                # print(url)
        else:
            print("还没有爬取到地址...无法最先下载")
            gevent.sleep(2.5)
            continue

    # write("%s/num.txt" % local_path, str(name_jpg))

1.5.6 控制爬取的页面(从第几页最先,爬取若干页)——非重点

① 第一页

② 第二页

③ 第三页(这回懂了吧,改变 url 的部门参数便可以接见差别页面)

def crawl_url(page_num, page_start):
    """爬取出一个个下载地址,并加入列表 url_deep_list 当中

    :param page_num: 需要爬取的网页数
    :param page_start: 从第几个页面最先爬取
    """
    global flag_download
    global url_num

    print("最先爬取地址...")

    j = 0
    flag = 0
    while j < page_num:

        if flag == 0:
            if page_start == 1:
                url_list_surface = get_surface_url('http://www.netbian.com/erciyuan/index.htm')
            else:
                url_list_surface = get_surface_url('http://www.netbian.com/erciyuan/index_%d.htm' % (page_start   j))
            flag = 1
        else:
            url_list_surface = get_surface_url('http://www.netbian.com/erciyuan/index_%d.htm' % (page_start   j))

        for url_surface in url_list_surface:

            url_deep = get_deep_url(url_surface)
            # TODO url_deep 是单个图片的最终的下载地址,把它存入行列
            # print(url_deep)
            url_deep_list.append(url_deep)

        print()
        j  = 1
    # 等所有网页爬取完毕,才最先下载,是为了能让下载进度能读取到总下载图片数目
    url_num = len(url_deep_list)
    flag_download = 1

    print("爬取地址完毕...")
    # return url_list_deep

1.5.7 显示下载进度(附加功效)——非重点

def download_rate():

    global url_num
    global gl_url_ok_num

    while True:
        if flag_download == 1:

            url_ok_num = gl_url_ok_num

            print("r下载进度: %.2f%%---[%d/%d]..." %
                  (url_ok_num * 100 / url_num, url_ok_num, url_num), end="")

            gevent.sleep(0.5)

            if url_ok_num == url_num:
                print("n所有下载完毕...")
                break
        else:
            print("还未爬取完地址...无法显示下载进度")
            gevent.sleep(3)
            continue

1.5.8 主函数(看不懂就从主函数看起)

def craw_jpg():
    """
    主函数
    """

    global name_jpg

    page_start = int(input("你希望从第几页最先爬取:"))
    page_num = int(input("请输入你要爬取的页数:"))
    local_path = str(input("请输入你要保留的地址:"))

    num_txt_path = local_path   "/num.txt"

    # TODO 不能通过 windows 来建立 num.txt 由于这样建立的 utf-8 文本不纯净,是BOM编码花样的,
    #  前面会有几个字符,导致 int() 转换泛起问题。以是应该让 python 来自行建立

    try:  # 先实验打开 num.txt ,无需赋值,只是为了领会是否存在 num.txt 这个文件,下面照样会举行读取的赋值的
        read(num_txt_path)

    # 若是 发现异常——没有num.txt这个文件,则会 write 自动建立文件并写入数据
    except FileNotFoundError:
        print("没有发现命名文件[num.txt] ...")
        name_jpg = input("请输入你要为文件命名的开头:")
        write(num_txt_path, str(name_jpg))
    else:
        print(" num.txt 文件已存在...")
        print()
    finally:
        name_jpg = int(read(num_txt_path)) - 1

    # C:/Users/Administrator/Desktop/爬取图片
    # name_jpg = int(read(num_txt_path))
    print(name_jpg)

    # TODO 天生5个协程 1个爬取网址和3个下载,1个显示下载进度
    gevent.joinall([
        gevent.spawn(crawl_url, page_num, page_start),
        gevent.spawn(download_jpg, local_path),
        gevent.spawn(download_jpg, local_path),
        gevent.spawn(download_jpg, local_path),
        gevent.spawn(download_rate,),
    ])

    # 是为了使下一次下载的名字是正常顺序(非重点)
    write("%s/num.txt" % local_path, str(name_jpg   1))


if __name__ == "__main__":

    # 爬取网址: http://www.netbian.com/erciyuan/index.htm
    # 下载到内陆地址: C:/Users/Administrator/Desktop/爬取图片
    craw_jpg()

1.5.9 这是txt文件写入与读取部门(用于为图片名称自动命名)——非重点

1.5.9.1 txt 读取
def read(file):

    # 打开文件
    num_file = open(file, "r", encoding="Utf-8")

    # 现将指针放回开头
    num_file.seek(0, 0)

    num_read = num_file.readline()

    # 关闭文件
    num_file.close()

    return num_read


if __name__ == "__main__":
    num = read("num.txt")
    print(num)
    print()
    print("正在测试 read_num 模块...")
1.5.9.2 txt 写入
def write(file, i):

    # 打开文件
    num_file = open(file, "w", encoding="Utf-8")

    # 现将指针放回开头
    num_file.seek(0, 0)

    num_file.write(i)

    # 关闭文件
    num_file.close()


if __name__ == "__main__":
    write("num.txt", str(2))

    print("正在测试 read_num 模块...")

程序运行效果:

你希望从第几页最先爬取:1
请输入你要爬取的页数:2
请输入你要保留的地址:C:/Users/Administrator/Desktop/爬取图片
没有发现命名文件[num.txt] ...
请输入你要为文件命名的开头:1
0
最先爬取地址...
还没有爬取到地址...无法最先下载
还没有爬取到地址...无法最先下载
还没有爬取到地址...无法最先下载
还未爬取完地址...无法显示下载进度


爬取地址完毕...
下载进度: 100.00%---[34/34]...
所有下载完毕...

二、总结

一、算法头脑

  1. 每个表层网页有若干张图片,是我们最终需要下载的图片(1920*1080)的缩小版用于展示的小图片。
  2. 但我们可以通过爬取该页面的这些图片的链接url_suface,通过 get_deep_url( ) 进入深层页面,深层页面中心有个大图
  3. 再通过爬取该页面的最终下载网址获得一个个的 url_deep,最终将这些网址放入 url_deep_list 列表中
  4. 最后通过 url_deep_list 一个个取出下载

二、注意事项

  1. 先将所有地址爬取完毕再举行下载,利便统计需下载的总图片数目,用于显示下载进度的图片总数

  2. 使用协程举行下载,要注意合理分配时间给用于 下载的协程 和用于 显示下载进度的协程

    由于协程的时间分配是很智能的,由于下载图片是需要请求且守候的历程,协程会自动将这些多余的时间分配给其他协程,这样显示下载进度的协程总是能分配到许多时间,导致用于下载协程泛起壅闭,从而导致下载速率极慢!

  3. 以是我们要让 显示下载进度的协程 每隔0.5s显示一次(gevent.sleep(0.5)),那么这0.5s就可以分配给 用于下载的协程

最后再附上下载地址:

链接:https://pan.baidu.com/s/1SVIMVzmPIEJ7kEsvMpK23Q
提取码:fkgz
算是简朴的项目了(算法很容易),只是附加的功效看起来可能有点庞大,实在也有一大部门代码都是为了防止bug
有不足之处,恳请大佬指出orz!
或有看不懂的同伙也可以谈论,我会尽快恢复的啦~ღ( ´・ᴗ・` )比心

,

Sunbet

www.0379st.com信誉来自于每一位客户的口碑,Sunbet贴心的服务,让你尊享贵宾通道,秒速提现,秒速到账,同行业中体验最佳。

诚信在线声明:该文看法仅代表作者自己,与本平台无关。 转载请保留链接: https://www.nzg8.com/chengxinzaixian/kejiqianyan/20200510/1336.html

博客主人