文档上传接口支持ragflow上传并解析

zhangqian

2024-10-17 c570e362ed163412658d1c1648e938a027529fed

文档上传接口支持ragflow上传并解析

 app/api/files.py

@@ -1,4 +1,4 @@
from fastapi import Depends, APIRouter, HTTPException, UploadFile, File, requests
from fastapi import Depends, APIRouter, HTTPException, UploadFile, File, requests, Query
from sqlalchemy.orm import Session

from app.api import Response, get_current_user, ResponseList
@@ -16,6 +16,7 @@
@router.post("/upload/{agent_id}", response_model=Response)
async def upload_file(agent_id: str,
                      file: UploadFile = File(...),
                      chat_id: str = Query(..., description="The ID of the chat"),
                      db: Session = Depends(get_db),
                      current_user: UserModel = Depends(get_current_user)
                      ):
@@ -29,7 +30,18 @@
        return Response(code=400, msg=str(e))

    if agent.agent_type == AgentType.RAGFLOW:
        pass
        token = get_ragflow_token(db, current_user.id)
        ragflow_service = RagflowService(base_url=settings.ragflow_base_url)
        # 查询会话是否存在，不存在先创建会话
        history = await ragflow_service.get_session_history(token, chat_id)
        if len(history) == 0:
            message = {"role": "user", "message": file.filename}
            await ragflow_service.set_session(token, agent_id, message, chat_id, True)

        ragflow_service = RagflowService(base_url=settings.ragflow_base_url)
        token = get_ragflow_token(db, current_user.id)
        doc_ids = await ragflow_service.upload_and_parse(token, chat_id, file.filename, file_content)
        return Response(code=200, msg="", data={"doc_ids": doc_ids, "file_name": file.filename})

    elif agent.agent_type == AgentType.BISHENG:
        bisheng_service = BishengService(base_url=settings.bisheng_base_url)
@@ -38,6 +50,7 @@
            result = await bisheng_service.upload(token, file.filename, file_content)
        except Exception as e:
            raise HTTPException(status_code=500, detail=str(e))
        result["file_name"] = file.filename
        return Response(code=200, msg="", data=result)

    else:

 app/service/ragflow.py

@@ -1,5 +1,9 @@
import httpx
from typing import Union, Dict, List

from fastapi import HTTPException
from starlette import status

from app.config.config import settings
from app.utils.rsa_crypto import RagflowCrypto

@@ -8,12 +12,17 @@
    def __init__(self, base_url: str):
        self.base_url = base_url

    async def _handle_response(self, response: httpx.Response) -> Union[Dict, List]:
    def _handle_response(self, response: httpx.Response) -> Union[Dict, List]:
        if response.status_code != 200:
            return {}

        data = response.json()
        ret_code = data.get("retcode")
        if ret_code == 401:
            raise HTTPException(
                status_code=status.HTTP_401_UNAUTHORIZED,
                detail="登录过期",
            )
        if ret_code != 0:
            return {}

@@ -80,7 +89,7 @@
        headers = {"Authorization": token}
        async with httpx.AsyncClient() as client:
            response = await client.get(url, headers=headers)
            data = await self._handle_response(response)
            data = self._handle_response(response)
            result = [
                {
                    "id": item["id"],
@@ -91,28 +100,24 @@
            ]
            return result

    async def set_session(self, token: str, dialog_id: str, name: str, chat_id: str, is_new: bool) -> list:
    async def set_session(self, token: str, dialog_id: str, message: dict, chat_id: str, is_new: bool) -> list:
        url = f"{self.base_url}/v1/conversation/set?dialog_id={dialog_id}"
        headers = {"Authorization": token}
        data = {
            "dialog_id": dialog_id,
            "name": name,
            "name": message["message"],
            "is_new": is_new,
            "conversation_id": chat_id,
        }
        async with httpx.AsyncClient() as client:
            response = await client.post(url, headers=headers, json=data)
            data = await self._handle_response(response)
            data = self._handle_response(response)
            return [
                {
                    "content": "你好！ 我是你的助理，有什么可以帮到你的吗？",
                    "role": "assistant"
                },
                {
                    "content": name,
                    "doc_ids": [],
                    "role": "user"
                }
                message,
            ] if data else []

    async def get_session_history(self, token: str, chat_id: str) -> list:
@@ -120,5 +125,17 @@
        headers = {"Authorization": token}
        async with httpx.AsyncClient() as client:
            response = await client.get(url, headers=headers)
            data = await self._handle_response(response)
            return data.get("message", [])
            data = self._handle_response(response)
            return data.get("message", [])

    async def upload_and_parse(self, token: str, chat_id: str, filename: str, file: bytes) -> str:
        url = f"{self.base_url}/v1/document/upload_and_parse"
        headers = {"Authorization": token}
        data = {"conversation_id": chat_id}

        # 创建表单数据，包含文件
        files = {"file": (filename, file)}
        async with httpx.AsyncClient(timeout=60) as client:
            response = await client.post(url, headers=headers, files=files, data=data)
            data = self._handle_response(response)
            return data