文档开发者中心
我的

PDF广告杀手!(Part IV,自动匹配广告页,PDF转图片) -- 编程小白的Python之旅1.4



接上篇,“PDF广告杀手”已经实现了遍历指定目录及子目录找到所有PDF文件,并根据指定页码批量删除广告页的功能。


接下来要增加根据广告页特征自动查找广告页码功能,比如PDF文件广告页虽然肯定出现在前5页之内,但有可能出现在第2页也有可能出现在第3页,还有少数文件没有广告页,程序在不同情况下要能自动匹配,不能删错页。


总体逻辑是先设定广告页特征值,然后打开PDF文件逐页匹配,特征值匹配就记录页码并执行删除操作,如果前5页比较完都没有找到匹配页,则认为该文件没有广告页,不做处理。


至于特征值,如果广告页包含特定文字就可以通过PyPDF2的.extractText()方法提取文字来比较,但可惜的是下图中第2页广告页是个图片,没有文字可提取。这个广告页的特征是上下各有一个蓝色横条,因此我们可以尝试一个简单的匹配方法:在PDF文件每一页的四个角落各提取一个像素的颜色值,如果4个像素的颜色都跟广告页的蓝色匹配,这一页就判定为广告页。


具体到程序实现,先搭个大概框架:
# 新建一个查找广告页的函数,PDF文件名作为参数传入
def find_ad_page(filename):
   # 设定广告页上下蓝色横条的标准颜色
   # 将PDF文件前5页转成图片
   # 通过for循环逐个读取图片并跟广告页比较
           # 获取距离4个边角位置像素的颜色
           # 与广告页颜色逐一比较,差异小于某个范围就认为匹配
           # 如果找到就返回页码,如果前5页比较完都没找到广告页,返回False
接下来就是根据这个逻辑写代码,只要这个函数能顺利实现设想的功能,主程序稍作改动就能解决问题了。

1、准备工作


Google了一下,PDF文件转图片操作可以用不同的库来实现,我选了pdf2image,因为名字看着比较直接。


在windows命令行窗口输入pip install pdf2image安装。


但pdf2image还依赖于poppler(点击这里下载windows版),poppler下载下来是个压缩包,要把解压后的bin目录添加到PATH环境变量里。



提取图片像素颜色值,需要用pillow库,通过pip install pillow安装。


注意在导入时使用from PIL import Image,而不是from Pillow import Image,因为Pillow的模块名称是PIL,这么规定为了保持与老模块Python Imaging Library的后向兼容。

这样准备工作就做好了。

2、查找广告页功能实现和注意点


先写了一段代码,用“2019.pdf”文件测试成功,但调试过程还是有不少波折。


-Python 代码
01from pdf2image import convert_from_path
02from PIL import Image
03
04
05filename = '2019.pdf'
06
07image = convert_from_path(filename, 100, '.', last_page=5, fmt='JPEG', output_file='TMP')
08
09ad_color = (70, 126, 216)       # 广告页四角颜色
10
11for page in range(5):
12    img = Image.open(f'TMP-{page+1}.jpg')
13    width, hight = img.size
14
15    # 获取距离4个边角5像素位置的颜色,存入字典
16    corner_colors = {}
17    corner_colors['左上'] = img.getpixel((5, 5))
18    corner_colors['右上'] = img.getpixel((width - 5, 0))
19    corner_colors['左下'] = img.getpixel((0, hight - 5))
20    corner_colors['右下'] = img.getpixel((width - 5, hight - 5))
21
22    # 4个边角像素颜色值与广告页颜色逐一比较,累计差值小于10就认为匹配
23    color_diff = 0
24    for value in corner_colors.values():
25        for j in range(3):
26            color_diff += (value[j] - ad_color[j])
27
28    if abs(color_diff) < 10:
29        print(f'找到广告页:第{page+1}页。')
30        break
31else:
32    print('未找到广告页。')

注意事项:


convert_from_path(filename, 100, '.', last_page=5, fmt='JPEG', output_file='TMP')中:


第1个参数filename是待处理文件名;
第2个参数是转换图片的分辨率,数值越高分辨率越高,文件也越大;我就把数值调小到100,不影响匹配结果,运行速度更快;
第3个参数是图片输出目录,我这里使用“.”表示当前目录;
first_page,last_page指定哪几页需要转成图片,默认从第1页开始;注意不是第0页;
fmt指定图片格式,我试了jpg格式比较快,png格式慢很多,文件也更大;
output_file指定输出图片文件名前缀;

在Pillow中,图像像素用x和y坐标指定,分别指定像素在图像中的水平和垂直位置。原点是位于图像左上角的像素,用符号(0,0)指定。第一个0表示x坐标,它以原点处为0,从左至右增加。第二个0表示y坐标,它以原点处为0,从上至下增加。我在程序中为了避免意外情况,提取了偏离边角5像素4个的位置,.getpixel()方法的返回值为一个包含3个整数的元组,如 (70, 126, 216),代表该像素点的RGB颜色值。

注意最后一个else匹配的是for循环,而不是匹配前面的if,含义是如果通过for循环遍历完毕还没有触发break语句,则执行else后的语句:print('未找到广告页。')


3、创建函数、合入主程序及进一步优化


主体功能实现后,接下来就是改成函数形式,filename用参数传入而非指定,然后再合入主程序。过程中也遇到不少问题:

第1个问题是合入主程序后运行一直报错:AttributeError: 'NoneType' object has no attribute 'group':


Traceback (most recent call last):
 File 'C:Python37libsite-packagespdf2imagepdf2image.py', line 248, in _page_count
   return int(re.search(r'Pages:s+(d+)', out.decode('utf8', 'ignore')).group(1))

AttributeError: 'NoneType' object has no attribute 'group'


试了半天才发现是convert_from_path()无法解析带完整路径的文件名,照道理不应该,但确实截短路径直接传入文件名就可以正常运行了。没办法,只好加了几行代码来截取文件名,并在操作文件前先切换工作目录。

第2个问题是convert_from_path()如果只指定输出文件名前缀,虽然会自动加序列号,但有时候是1、2、3……,有时候是01、02、03……我没搞明白为啥命名方式不一致,但这样会导致后续操作时找不到文件,只好通过enumerate()方法来指定文件序列号。


注意这种情况下要把convert_from_path()中的output_file及output_folder参数删除,否则会多生成一份JPG文件。


-Python 代码
1images = convert_from_path(pure_filename, 100, last_page=page_num, fmt='JPEG')
2    for index, img in enumerate(images):
3        img.save(f'{tmpdir}{pure_filename}{index}.jpg')

第3个问题是查找匹配广告页的过程中会对每个PDF文件生成5个JPG文件,比较完成之后还要到每个目录删除这些过程文件,比较麻烦。因此通过import tempfile和with tempfile.TemporaryDirectory() as tmpdir:,在临时目录中生成JPG文件,处理完毕后自动清除,这下清爽多了。

如果不在临时目录处理,每个文件都会在所在目录生成5个jpg文件,就像下图这样。而我们并不需要它们,我们只需要匹配结果。




完整代码如下:
-Python 代码
001'''
002删除当前目录及子目录下所有pdf文件广告页(匹配四角像素)
003'''
004
005
006from PyPDF2 import PdfFileReader, PdfFileWriter
007import os
008from pdf2image import convert_from_path
009from PIL import Image
010import tempfile
011
012
013pdf_files = []
014
015
016# 遍历指定目录及子目录获取所有pdf文件名,并存储到列表pdf_files
017def get_pdf_filenames(path='.'):  # 设置默认值为当前目录
018    for root, dirs, files in os.walk(path):
019        for filename in files:
020            dir_file = os.path.join(os.path.abspath(root), filename)  # 补全绝对路径
021            # 如果是pdf文件且未修改过,加入列表
022            if dir_file.lower().endswith('.pdf') and not dir_file.endswith('modified.pdf'):
023                pdf_files.append(dir_file)
024    return pdf_files
025
026
027# 查找广告页
028def find_ad_page(filename):
029    ad_color = (70, 126, 216)    # 广告页上下色块颜色
030
031    # pdf2image似乎不支持长路径参数,因此切换工作目录并截取文件名
032    dirname = os.path.dirname(filename)
033    pure_filename = os.path.basename(filename)
034    os.chdir(dirname)
035
036    # 将PDF文件前5页转成JPG图片
037    page_num = PdfFileReader(open(pure_filename, 'rb')).numPages
038    if page_num > 5:
039        page_num = 5
040
041    with tempfile.TemporaryDirectory() as tmpdir:
042        images = convert_from_path(pure_filename, 100,
043            last_page=page_num, fmt='JPEG')
044        for index, img in enumerate(images):
045            img.save(f'{tmpdir}{pure_filename}{index}.jpg')
046
047        # 查找匹配广告页
048        for page in range(page_num):
049            img = Image.open(f'{tmpdir}{pure_filename}{page}.jpg')
050            width, hight = img.size
051
052            # 获取距离4个边角5像素位置的颜色,存入字典
053            corner_colors = {}
054            corner_colors['左上'] = img.getpixel((5, 5))
055            corner_colors['右上'] = img.getpixel((width - 5, 0))
056            corner_colors['左下'] = img.getpixel((0, hight - 5))
057            corner_colors['右下'] = img.getpixel((width - 5, hight - 5))
058
059            # 4个边角像素颜色值与广告页颜色逐一比较,累计差值小于10就认为匹配
060            color_diff = 0
061            for value in corner_colors.values():
062                for j in range(3):
063                    color_diff += (value[j] - ad_color[j])
064
065            if abs(color_diff) < 10:
066                return (page + 1)
067                break
068        else:       # 如果前5页比较完都没找到广告页,返回False
069            return False
070
071
072# 删除pdf广告页
073def modify_pdf(filename, del_page):
074    pdf_input = PdfFileReader(open(filename, 'rb'))
075    page_num = pdf_input.getNumPages()  # 获取pdf文件页数
076    pdf_output = PdfFileWriter()
077
078    # 跳过待删除页,其他页加入到对象
079    for page in range(0, del_page - 1):
080        pdf_output.addPage(pdf_input.getPage(page))
081    for page in range(del_page, page_num):
082        pdf_output.addPage(pdf_input.getPage(page))
083    # 修改后的新文件名增加modified标记
084    pdf_output.write(open(filename[:-4] + ' modified' + '.pdf', 'wb'))
085    print(filename + '已处理。')
086
087
088path = input('请输入存放PDF文件的起始目录:')
089pdf_files = get_pdf_filenames(path)
090file_count = 0
091for filename in pdf_files:
092    ad_page = find_ad_page(filename)
093    if ad_page:
094        print(f'{filename}在第{ad_page}页发现广告。')
095        modify_pdf(filename, ad_page)
096        file_count += 1
097    else:
098        print(f'{filename}未找到广告页。')
099
100print(f'总共发现{len(pdf_files)}个待处理PDF文件,其中{len(pdf_files)-file_count}个PDF文件未发现广告页,实际处理{file_count}个PDF文件。')
101
102input()     # 程序双击运行后保留console界面

在测试目录的运行示例:可以看到在不同页码插入广告,或者是没有广告页的文件都得到了正确处理。




这样到目前为止,“PDF广告杀手”已经实现了遍历指定目录及子目录找到所有PDF文件,然后根据颜色特征值比对每个文件前5页,再根据比对结果删除广告页的功能。


然而,根据颜色特征值来查找广告页是很有局限的,显然从不同网站下载的PDF文件会使用不同的广告页,那我们为单一广告页设计的判别逻辑就失效了,除非你很勤快的针对每种广告页都定义特征像素再逐个比较。当然这也是个办法,起码小小修改一点代码,你就能解决一个来源网站一大批同类文件的问题,比通过PDF工具软件手工逐个删除快多了。

但有没有更通用的办法呢?如何实现不改动程序就能自动查找并删除不同网站的PDF广告页呢?容我想想……


————————————————————


BY:HW-ZQX

点赞
收藏
回复
4
分享
举报
浏览1127 编辑于2019-10-30 01:28未知归属地
全部评论
最多点赞
最新发布
最早发布

关联阅读:PDF广告杀手!(Part III,目录遍历,递归函数) -- 编程小白的Python之旅1.3

4楼回复于2019-10-30 08:05 未知归属地

关联阅读:PDF广告杀手!(Part II,代码重构、bug) -- 编程小白的Python之旅1.2

3楼回复于2019-10-30 08:04 未知归属地

关联阅读:PDF广告杀手!(Part I,最小可运行程序) -- 编程小白的Python之旅1.1

2楼回复于2019-10-30 08:04 未知归属地

编程小白的python之旅1.4来啦!

1楼回复于2019-10-30 07:51 未知归属地
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要发帖子

了解社区公约,与您携手共创和谐专业的开发者社区。