2021年山东大学软件学院暑期实训——骨刻文字数字化识别开发与学习笔记2

2021年山东大学软件学院暑期实训——骨刻文字数字化识别开发与学习笔记2

近期工作

• 工作说明
• 抽取甲骨文字库数据
• • 1、收集甲骨文-汉字比对大全表
  • 2、对甲骨文图片进行提取
  • 3、对甲骨文对应汉字进行提取
  • 4、对图片和汉字做对应
• 抽取小篆字库数据
• • 1、获取简体字常用字库
  • 2、根据字库对网站进行爬取
  • • 3、小篆字体收集结果

工作说明

目前的工作是为了建立甲骨文-汉字比对库，以及小篆-汉字比对库，故很自然就是要收集较为完整且干净的甲骨文、小篆数据。
针对甲骨文文字以及小篆文字的

抽取甲骨文字库数据

1、收集甲骨文-汉字比对大全表

下图为甲骨文对照表，共有1602个甲骨文图像以及对应的现代简体中文。且文件为pdf格式，目标是对里面甲骨文图片进行分割。

2、对甲骨文图片进行提取

这里主要用到的工具为python的fitz库，这个库可以通过正则表达式对pdf文件里面的图片元素进行提取。
关键代码为：

def transform(s_path, d_path):# 使用正则表达式来查找图片checkXO = r"/Type(?= */XObject)"checkIM = r"/Subtype(?= */Image)"# 打开pdfpdf_doc = fitz.open(s_path)# 图片计数imgcount = 0lenXREF = f_length()# 遍历每一个对象for i in range(1, lenXREF):# 定义对象字符串xref_text = f_object(i)isXObject = re.search(checkXO, xref_text)# 使用正则表达式查看是否是图片isImage = re.search(checkIM, text)# 如果不是对象也不是图片，则continueif not is XObject or not isImage:continueimgcount += 1# 根据索引生成图像pix = fitz.Pixmap(doc, i)

3、对甲骨文对应汉字进行提取

这里主要用到的工具为python的pdfplumber库，这个库可以通过正则表达式对pdf文件里面的图片元素进行提取。

import pdfplumbertotal_charactor_list =[]
# 利用pdfplumber多个提取表格
with pdfplumber.open('duizhaobiao.pdf') as pdf:#对每一页的pdf进行文字提取for page in pdf.pages:for table act_tables():#所提取出来的字符可能是简体字，可能是None、空字符、英文字符for character_list in table:for character in character_list:if character ==None or character=="":passelse:#判断是不是简体字if ord(character) not in range(65,90+1):total_charactor_list.append(character)

4、对图片和汉字做对应

由于暂时没有定好甲骨文图片的编号，故不能单独给图片以汉字命名(会出现重名)。对图片进行编号需要小篆字库确定再进行。
如图，文件夹中图片的顺序是与txt文件中的顺序对应的。

下一步准备将数据入库。

抽取小篆字库数据

由于网上所能收集到的小篆-简体字对照表比较难找，但是有提供根据汉字查找的功能，故选择下面古文字字源网站进行爬取。

1、获取简体字常用字库

简体字的常用字库大约有七千字左右，但不是每个现代汉字都有对应的小篆字体。

2、根据字库对网站进行爬取

这一步使用selenium对小篆数据进行截图，主要用到Python的PIL库和selenium库。
关键步骤在于①模拟浏览器操作，对某汉字进行搜索；②若存在对应小篆字体则进行截图。

        #模拟浏览器进行操作etymologySearchChar =driver.find_element_by_id("etymologySearchChar")etymologySearchChar.clear()#对某个字进行输入etymologySearchChar.send_keys(line[0])etymologySearchButton=driver.find_element_by_id("etymologySearchButton")etymologySearchButton.click()time.sleep(5)#找寻含有小篆字体的元素background_image =driver.find_elements_by_xpath('//div[@data-target="#etymologyModal"]')            for i in range(len(background_image)):time.sleep(0.1)#确定存储路径image =background_image[i]final_path =path+"\"&#+'.png'#确定图片两个角的坐标left = image.location['x']+5top = image.location['y']right = image.location['x'] + image.size['width']-2bottom = image.location['y'] + image.size['height']-2driver.save_screenshot(final_path)#对图片进行截图photo = Image.open(final_path)photo = p((left, top, right, bottom))#存储截图photo.save(final_path)

3、小篆字体收集结果

可以看见有的文件夹是空的，证明该汉字并没有对应的小篆字体。等待下一步进行归类并放入数据库。