简体中文 | 繁體中文 | English |

MinerU从入门到精通,PDF提取so easy

typecho
2024-07-29 / 0 评论 / 1,481 阅读 / 正在检测是否收录... ===> PDD优惠福利券,千万好物,不要错过 <===

小伙伴们!今天给大家推荐一个宝藏神器 - MinerU 🎉 这可是我最近发现的PDF提取利器,简直好用到哭😭
作为一个经常和PDF打交道的打工人,我可太懂那种被PDF折磨的痛苦了。复制粘贴乱码、格式全乱、图表提取困难...这些问题简直让人抓狂!

MinerU是什么呢?它是一款开源的数据提取工具,主打一个全能选手。不仅能处理PDF,还能提取网页和电子书内容,简直是文档处理界的YYDS!
最让我惊喜的是它的Magic-PDF功能。只需要简单几步,就能把PDF完美转换成Markdown格式,保留原文档的结构和格式,连图片和表格都能完整提取出来。公式?没问题!自动转成LaTeX格式。乱码PDF?也不在话下!自动识别并转换,简直是拯救了我这个手残党 😂

lz75bqez.png

让我们从头开始,一步步安装这个超级好用的工具:

1.环境准备 🌱

  • 确保你的电脑上安装了Python 3.9或更高版本
  • 强烈建议使用虚拟环境,避免依赖冲突。比如用conda:

    conda create -n MinerU python=3.10
    conda activate MinerU

2.安装Magic-PDF 🎩

  • 用pip安装完整功能包:
pip install magic-pdf[full-cpu]
  • 安装完成后,一定要验证版本是否正确哦!版本低于0.6.x就要提交issue反馈。

3.下载模型权重文件 🏋️‍♀️

  • 这步超级重要!去官方仓库下载模型文件
  • 把下载的models目录移到空间大的SSD磁盘上

4.配置文件设置 ⚙️

  • 复制配置模板到用户目录:

    cp magic-pdf.template.json ~/magic-pdf.json
  • 找到~/magic-pdf.json,设置models-dir为你刚才放模型文件的目录

5.加速设置(可选)🚀

  • 有NVIDIA显卡?试试CUDA加速!
  • 用Apple Silicon的Mac?MPS加速等你来!

好了,安装完成!接下来就是见证奇迹的时刻 - 如何使用MinerU:

1.命令行使用 💻
最简单的方法:

magic-pdf pdf-command --pdf pdf_path --inside_model true

运行完毕,到/tmp/magic-pdf目录就能看到生成的markdown文件啦!
2.接口调用 🔌
如果你是个小小开发者,还可以这样玩:

image_writer = DiskReaderWriter(local_image_dir)
image_dir = str(os.path.basename(local_image_dir))
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

有没有感觉很简单?没错,MinerU就是这么神奇,有手就能做!😎
使用过程中遇到问题别慌,MinerU的FAQ绝对是你的救命稻草。什么乱码啊、转换失败啊,都能轻松解决!
自从用上MinerU,处理PDF的效率可以直接起飞。以前要花大半天的工作,现在分分钟就能搞定,简直是职场神器、打工人福音啊!🎉快去体验一下MinerU的魅力吧。

更多关注:www.9418666.xyz

1

评论 (0)

取消