第6节：OCR文本错漏频发？结合LLM纠错，让图像文本也能精确使用

RAG与Agent性能调优6.OCR文本错漏频发结合LLM纠错让图像文本也能精确使用Gitee地址https://gitee.com/agiforgagaplus/OptiRAGAgent文章详情目录RAG与Agent性能调优上一节第5节动态切片策略与重叠机制提升RAG召回率下一节待更新错误类型OCR识别错误通常可分为以下几种字符识别错误文字遗漏多次重复格式混乱特殊符号识别错误这些错误往往源于以下几个方面图像质量不佳字体样式复杂背景干扰OCR算法限制传统解决方案的局限性传统的OCR优化方案主要包括图像预处理后处理规则模型微调结合LLM进行文本纠错新思路充分发挥大语言模型能力OCR大语言模型协同流程我们可以将整个OCR处理流程分为两个阶段OCR识别阶段使用PaddleOCR5其对图像进行识别得到初步的文本结果LLM纠错阶段将OCR输出的文本送入大语言模型由其进行语义级别的纠错和优化实操https://www.paddlepaddle.org.cn/install/quick?docurlundefined# 运行 PP-OCRv5 推理 ! paddleocr ocr -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_002.png --use_doc_orientation_classify False --use_doc_unwarping False --use_textline_orientation False # 运行 PP-ChatOCRv4 推理前需要先获得千帆API Key # paddleocr pp_chatocrv4_doc -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/vehicle_certificate-1.png -k 驾驶室准乘人数 --qianfan_api_key your_api_key --use_doc_orientation_classify False --use_doc_unwarping False # 查看 paddleocr ocr 详细参数 # paddleocr ocr --help# PP-OCRv5 示例 from paddleocr import PaddleOCR # 初始化 PaddleOCR 实例 ocr PaddleOCR( use_doc_orientation_classifyFalse, use_doc_unwarpingFalse, use_textline_orientationFalse) # 对示例图像执行 OCR 推理 result ocr.predict( inputhttps://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_002.png) # 可视化结果并保存 json 结果 for res in result: res.print() res.save_to_img(output) res.save_to_json(output)