接上篇,“PDF广告杀手”已经实现了遍历指定目录及子目录找到所有PDF文件,并根据指定页码批量删除广告页的功能。
接下来要增加根据广告页特征自动查找广告页码功能,比如PDF文件广告页虽然肯定出现在前5页之内,但有可能出现在第2页也有可能出现在第3页,还有少数文件没有广告页,程序在不同情况下要能自动匹配,不能删错页。
总体逻辑是先设定广告页特征值,然后打开PDF文件逐页匹配,特征值匹配就记录页码并执行删除操作,如果前5页比较完都没有找到匹配页,则认为该文件没有广告页,不做处理。
至于特征值,如果广告页包含特定文字就可以通过PyPDF2的.extractText()方法提取文字来比较,但可惜的是下图中第2页广告页是个图片,没有文字可提取。这个广告页的特征是上下各有一个蓝色横条,因此我们可以尝试一个简单的匹配方法:在PDF文件每一页的四个角落各提取一个像素的颜色值,如果4个像素的颜色都跟广告页的蓝色匹配,这一页就判定为广告页。
具体到程序实现,先搭个大概框架:
# 新建一个查找广告页的函数,PDF文件名作为参数传入
def find_ad_page(filename):
# 设定广告页上下蓝色横条的标准颜色
# 将PDF文件前5页转成图片
# 通过for循环逐个读取图片并跟广告页比较
# 获取距离4个边角位置像素的颜色
# 与广告页颜色逐一比较,差异小于某个范围就认为匹配
# 如果找到就返回页码,如果前5页比较完都没找到广告页,返回False
接下来就是根据这个逻辑写代码,只要这个函数能顺利实现设想的功能,主程序稍作改动就能解决问题了。
1、准备工作
Google了一下,PDF文件转图片操作可以用不同的库来实现,我选了pdf2image,因为名字看着比较直接。
在windows命令行窗口输入pip install pdf2image安装。
但pdf2image还依赖于poppler(点击这里下载windows版),poppler下载下来是个压缩包,要把解压后的bin目录添加到PATH环境变量里。
提取图片像素颜色值,需要用pillow库,通过pip install pillow安装。
注意在导入时使用from PIL import Image,而不是from Pillow import Image,因为Pillow的模块名称是PIL,这么规定为了保持与老模块Python Imaging Library的后向兼容。
这样准备工作就做好了。
2、查找广告页功能实现和注意点
先写了一段代码,用“2019.pdf”文件测试成功,但调试过程还是有不少波折。
-Python 代码01 | from pdf2image import convert_from_path |
07 | image = convert_from_path(filename, 100, '.', last_page=5, fmt='JPEG', output_file='TMP') |
09 | ad_color = (70, 126, 216) |
12 | img = Image.open(f'TMP-{page+1}.jpg') |
13 | width, hight = img.size |
17 | corner_colors['左上'] = img.getpixel((5, 5)) |
18 | corner_colors['右上'] = img.getpixel((width - 5, 0)) |
19 | corner_colors['左下'] = img.getpixel((0, hight - 5)) |
20 | corner_colors['右下'] = img.getpixel((width - 5, hight - 5)) |
24 | for value in corner_colors.values(): |
26 | color_diff += (value[j] - ad_color[j]) |
28 | if abs(color_diff) < 10: |
29 | print(f'找到广告页:第{page+1}页。') |
注意事项:
convert_from_path(filename, 100, '.', last_page=5, fmt='JPEG', output_file='TMP')中:
第1个参数filename是待处理文件名;
第2个参数是转换图片的分辨率,数值越高分辨率越高,文件也越大;我就把数值调小到100,不影响匹配结果,运行速度更快;
第3个参数是图片输出目录,我这里使用“.”表示当前目录;
first_page,last_page指定哪几页需要转成图片,默认从第1页开始;注意不是第0页;
fmt指定图片格式,我试了jpg格式比较快,png格式慢很多,文件也更大;
output_file指定输出图片文件名前缀;
在Pillow中,图像像素用x和y坐标指定,分别指定像素在图像中的水平和垂直位置。原点是位于图像左上角的像素,用符号(0,0)指定。第一个0表示x坐标,它以原点处为0,从左至右增加。第二个0表示y坐标,它以原点处为0,从上至下增加。我在程序中为了避免意外情况,提取了偏离边角5像素4个的位置,.getpixel()方法的返回值为一个包含3个整数的元组,如 (70, 126, 216),代表该像素点的RGB颜色值。
注意最后一个else匹配的是for循环,而不是匹配前面的if,含义是如果通过for循环遍历完毕还没有触发break语句,则执行else后的语句:print('未找到广告页。')
3、创建函数、合入主程序及进一步优化
主体功能实现后,接下来就是改成函数形式,filename用参数传入而非指定,然后再合入主程序。过程中也遇到不少问题:
第1个问题是合入主程序后运行一直报错:AttributeError: 'NoneType' object has no attribute 'group':
Traceback (most recent call last):
File 'C:Python37libsite-packagespdf2imagepdf2image.py', line 248, in _page_count
return int(re.search(r'Pages:s+(d+)', out.decode('utf8', 'ignore')).group(1))
AttributeError: 'NoneType' object has no attribute 'group'
试了半天才发现是convert_from_path()无法解析带完整路径的文件名,照道理不应该,但确实截短路径直接传入文件名就可以正常运行了。没办法,只好加了几行代码来截取文件名,并在操作文件前先切换工作目录。
第2个问题是convert_from_path()如果只指定输出文件名前缀,虽然会自动加序列号,但有时候是1、2、3……,有时候是01、02、03……我没搞明白为啥命名方式不一致,但这样会导致后续操作时找不到文件,只好通过enumerate()方法来指定文件序列号。
注意这种情况下要把convert_from_path()中的output_file及output_folder参数删除,否则会多生成一份JPG文件。
-Python 代码1 | images = convert_from_path(pure_filename, 100, last_page=page_num, fmt='JPEG') |
2 | for index, img in enumerate(images): |
3 | img.save(f'{tmpdir}{pure_filename}{index}.jpg') |
第3个问题是查找匹配广告页的过程中会对每个PDF文件生成5个JPG文件,比较完成之后还要到每个目录删除这些过程文件,比较麻烦。因此通过import tempfile和with tempfile.TemporaryDirectory() as tmpdir:,在临时目录中生成JPG文件,处理完毕后自动清除,这下清爽多了。
如果不在临时目录处理,每个文件都会在所在目录生成5个jpg文件,就像下图这样。而我们并不需要它们,我们只需要匹配结果。
完整代码如下:
-Python 代码006 | from PyPDF2 import PdfFileReader, PdfFileWriter |
008 | from pdf2image import convert_from_path |
017 | def get_pdf_filenames(path='.'): |
018 | for root, dirs, files in os.walk(path): |
019 | for filename in files: |
020 | dir_file = os.path.join(os.path.abspath(root), filename) |
022 | if dir_file.lower().endswith('.pdf') and not dir_file.endswith('modified.pdf'): |
023 | pdf_files.append(dir_file) |
028 | def find_ad_page(filename): |
029 | ad_color = (70, 126, 216) |
032 | dirname = os.path.dirname(filename) |
033 | pure_filename = os.path.basename(filename) |
037 | page_num = PdfFileReader(open(pure_filename, 'rb')).numPages |
041 | with tempfile.TemporaryDirectory() as tmpdir: |
042 | images = convert_from_path(pure_filename, 100, |
043 | last_page=page_num, fmt='JPEG') |
044 | for index, img in enumerate(images): |
045 | img.save(f'{tmpdir}{pure_filename}{index}.jpg') |
048 | for page in range(page_num): |
049 | img = Image.open(f'{tmpdir}{pure_filename}{page}.jpg') |
050 | width, hight = img.size |
054 | corner_colors['左上'] = img.getpixel((5, 5)) |
055 | corner_colors['右上'] = img.getpixel((width - 5, 0)) |
056 | corner_colors['左下'] = img.getpixel((0, hight - 5)) |
057 | corner_colors['右下'] = img.getpixel((width - 5, hight - 5)) |
061 | for value in corner_colors.values(): |
063 | color_diff += (value[j] - ad_color[j]) |
065 | if abs(color_diff) < 10: |
073 | def modify_pdf(filename, del_page): |
074 | pdf_input = PdfFileReader(open(filename, 'rb')) |
075 | page_num = pdf_input.getNumPages() |
076 | pdf_output = PdfFileWriter() |
079 | for page in range(0, del_page - 1): |
080 | pdf_output.addPage(pdf_input.getPage(page)) |
081 | for page in range(del_page, page_num): |
082 | pdf_output.addPage(pdf_input.getPage(page)) |
084 | pdf_output.write(open(filename[:-4] + ' modified' + '.pdf', 'wb')) |
085 | print(filename + '已处理。') |
088 | path = input('请输入存放PDF文件的起始目录:') |
089 | pdf_files = get_pdf_filenames(path) |
091 | for filename in pdf_files: |
092 | ad_page = find_ad_page(filename) |
094 | print(f'{filename}在第{ad_page}页发现广告。') |
095 | modify_pdf(filename, ad_page) |
098 | print(f'{filename}未找到广告页。') |
100 | print(f'总共发现{len(pdf_files)}个待处理PDF文件,其中{len(pdf_files)-file_count}个PDF文件未发现广告页,实际处理{file_count}个PDF文件。') |
在测试目录的运行示例:可以看到在不同页码插入广告,或者是没有广告页的文件都得到了正确处理。
这样到目前为止,“PDF广告杀手”已经实现了遍历指定目录及子目录找到所有PDF文件,然后根据颜色特征值比对每个文件前5页,再根据比对结果删除广告页的功能。
然而,根据颜色特征值来查找广告页是很有局限的,显然从不同网站下载的PDF文件会使用不同的广告页,那我们为单一广告页设计的判别逻辑就失效了,除非你很勤快的针对每种广告页都定义特征像素再逐个比较。当然这也是个办法,起码小小修改一点代码,你就能解决一个来源网站一大批同类文件的问题,比通过PDF工具软件手工逐个删除快多了。
但有没有更通用的办法呢?如何实现不改动程序就能自动查找并删除不同网站的PDF广告页呢?容我想想……
————————————————————
BY:HW-ZQX