实验 | 使用大模型从图片中提取结构化数据

pip3 install ollama
pip3 install pydantic
pip3 install instructor

ollama pull llama3.2-vision:11b
ollama pull minicpm-v:8b

ollama serve

import ollama


#论文的截图文件 test_screen.png
#注意，代码文件与截图文件同处于一个文件夹内

response = ollama.chat(
    model='minicpm-v',  
    messages=[{
        'role': 'user',
        'content': '这是一篇什么领域的论文？',
        'images': ['test_screen.png']
    }]
)

print(response)

ChatResponse(model='minicpm-v', created_at='2025-02-22T13:11:25.766017Z', done=True, done_reason='stop', total_duration=12956488125, load_duration=819433041, prompt_eval_count=461, prompt_eval_duration=9630000000, eval_count=147, eval_duration=2499000000, message=Message(role='assistant', content='这张图片是关于一篇题为“开或关在轨：如何（破碎）的线索影响消费者决策”的文章标题页。该文章由杰基·西尔弗曼和亚历山德拉·巴拉斯奇撰写，探讨了消费者行为的新技术追踪的后果。研究发现，在七项研究中，持续的行为轨迹会引发高消费后的强化，并且如果打破了这些轨迹，则会产生相反的效果，从而影响消费者的决策。所用的研究方法包括跟踪、行为分析以及追踪和监测等工具和技术，以了解线索对不同领域（如体育、学习）的影响。关键词列出了文章的焦点领域：断路器、行为追踪和记录、消费者动机、参与度。', images=None, tool_calls=None))

import instructor
import os
from typing import List
from pydantic import BaseModel
from openai import OpenAI

PROMPT = """请分析提供的图片，并从中提取以下信息：
- 标题(title)
- 学科(subject)
- 领域(field)


请以如下格式返回结果：
{
    "title": "论文的标题",
    "subject": "论文所属学科",
    "field": "论文的研究领域",
}"""


#本地已安装大模型minicpm-v
model_name = 'minicpm-v'
base_url = 'http://127.0.0.1:11434/v1'
api_key = 'NA'


#论文的截图文件test_screen.png
#注意，代码文件与截图文件同处于一个文件夹内
image = instructor.Image.from_path("test_screen.png")




client = instructor.from_openai(
        OpenAI(
            base_url=base_url,
            api_key=api_key,  # required, but unused
        ),
        mode=instructor.Mode.JSON,
)


class Paper(BaseModel):
    title: str
    subject: List[str]
    field: List[str]




# Create structured output
result = client.chat.completions.create(
    model=model_name,
    messages=[
        {"role": "asistant", "content": PROMPT},
        {"role": "user", "content": image},
    ],
    response_model = Paper,
    temperature=0.0
)


result.model_dump()

{'title': 'On or Off Track: How (Broken) Streaks Affect Consumer Decisions',
 'subject': ['streaks, behavioral tracking and logging, technology, goals and motivation'],
 'field': ['consumer behavior', 'marketing research', 'engagement strategies']}