一、前言
二、需求描述
三、開始動手動腦
3.1 安裝相關第三方包
3.2 導入需要用到的第三方庫
3.3 讀取pdf文件,并識別內容
3.4 對識別的數據進行處理,寫入csv文件
總結
1. 前言
掃描件一直受大眾青睞,任何紙質資料在掃描之后進行存檔,想使用時手機就能打開,省心省力。但是掃描件的優點也恰恰造成了它的一個缺點,因為是通過電子設備掃描,所以出來的是圖像,如果想要處理文件上的內容,直接操作是無法實現的。
那要是想要引用其中的內容怎么辦呢?別擔心,Python幫你解決問題。
2. 需求描述
現有一份pdf掃描件,我們想把其中的文字提取出來并且分三列寫入csv文檔,內容及效果如下:
pdfexample
csvexample
3. 開始動手動腦
pdf掃描件是文檔掃描成電腦圖片格式后轉化成的,提取其中的文字就相當于識別圖片內的文字。所以,我們的工作就是將pdf轉成圖片,再用ocr工具提取圖片中的文字。
3.1 安裝相關第三方包
pip3 install pdf2image pytesseract
3.2 導入需要用到的第三方庫
import os #處理文件 from pdf2image import convert_from_path # pdf轉圖片 import pytesseract # 識別圖片文字 import csv # 處理csv文件
3.3 讀取pdf文件,并識別內容
tess_ocr(pdf_path, lang, first_page, last_page)
將pdf文件拆分成圖片,并提取文字寫入文本文件
- pdf_path:pdf文件的存儲路徑
- image:代表PDF文檔每頁的PIL圖像列表
- first_page :允許設置由pdftoppm處理的第一個頁面;
- last_page:允許設置最后一頁由pdftoppm處理
- fmt:允許指定輸出格式。目前支持的格式是jpg、png和ppm;
- output_folder:圖片保存路徑
def tess_ocr(pdf_path, lang,first_page,last_page): # 創建一個和pdf同名的文件夾 images = convert_from_path(pdf_path, fmt='png',first_page=first_page,last_page=last_page,output_folder=imagefolder,userpw='site') # 轉成圖片 text = '' for img in images: text += pytesseract.image_to_string(img, lang=lang) # 識別圖片文字 with open(r'example\data.txt' 'a', encoding='utf-8') as f: #寫入txt文件 f.write(text)
運行結果
生成一個同名的文件夾存放拆分的圖片,接著提取圖片文字寫入data.txt
image-20211215212147760
運行問題
“ 問題拋出1:
pdf2image.exceptions.PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH? ”
解決措施:下載 poppler。
>1 方法一:設置環境變量 poppler/bin;
>2 方法二:
參數指定絕對路徑:
images = convert_from_path(pdf_path=pdf_file_path, poppler_path=r'poppler中bin文件所在地址')
“ 問題拋出2:
pytesseract.pytesseract.TesseractNotFoundError: tesseract is not installed or it's not in your PATH. See README file for more information. ”
解決措施:額外下載安裝tesseract-ocr并配置環境變量。
3.4 對識別的數據進行處理,寫入csv文件
modification(infile, outfile)
清洗生成的文本文檔
- infile:需要進行處理的文件地址
- outfile:處理后生成的新文件的地址
def modification(infile, outfile): infp = open(infile, "r",encoding='utf-8') outfp = open(outfile, "w",encoding='utf-8') lines = infp.readlines() #返回列表,包含所有的行。 #依次讀取每行 for li in lines: if li.split(): #str.split(str="", num=string.count(str)),過濾文件中的空行 # 根據識別情況對數據進行清洗 li = li.replace('[', ' ').replace(']', '') outfp.writelines(li) infp.close() outfp.close()
運行結果
生成一個新的txt文件,新文件刪除了data.txt中的空行,將原文件中錯誤識別的內容替換成正確的。
writercsv(intxt,outcsv)
將文本文件按空格分列寫入csv表格
- intxt:文本文件地址
- outcsv:新生成的csv文件
def writercsv(intxt,outcsv): # 使用newlines=''可保證存儲的數據不空行。 csvFile = open(outcsv, 'a',newline='', encoding='utf-8') writer = csv.writer(csvFile) csvRow = [] f = open(intxt,'r',encoding='utf-8') for line in f: csvRow = line.split() #以空格為分隔符 if len(csvRow)>1 and len(csvRow)<=3: #約束條件,視情況而定 writer.writerow(csvRow) f.close() csvFile.close()
運行結果
生成一個三列csv文件,第一列是英文名,第二列是中文名,第三列是所在國家
image-20211215204846623
image-20211215204941725
總結
通過本次學習實現了從掃描件中提取文字、把內容按要求寫進不同格式的文檔的需求。
最初以為提取pdf的庫也適用于掃描件,嘗試了Pdfplumber庫和PyPDF2庫。
實踐發現Pdfplumber只能識別掃描件pdf中的水印,不適用于掃描件的pdf,而PyPDF2庫運行報錯:NotImplementedError: only algorithm code 1 and 2 are supported。
原因是這個被加密的pdf可能是從高版本的acrobot中來的,所以對應的加密算法代號為‘4’,然而,現有的pypdf2模塊并只支持加密算法代號為‘1’或者‘2’的pdf加密文件。
原文地址:https://mp.weixin.qq.com/s/WjAJu9-1uBlRTd6vmVliZA