유사도 검색을 위한 Vector DB의 원리

대표적인 Vector DB 라이브러리

비정형 데이터인 PDF 문서를 객체 탐지 모델을 통해 레이아웃을 인식하고 구조화하여 추출하는 전처리 파이프라인을 개발하였다.

Django 프레임워크로 웹앱을 구축해 챗봇 서비스를 만들고 Ollama와 연결해 기초적인 챗봇을 구현하였다.

Docling 라이브러리를 적용해 PDF 추출 파이프라인을 경량화하고 성능 및 품질을 개선하였다.

문서 내 이미지를 VLM으로 분석해 캡션을 생성하고 RAG에 반영하였다.

Docling 라이브러리를 적용해 PDF 추출 파이프라인을 경량화하고 성능 및 품질을 개선하였다.

시간이 오래 걸리는 작업을 비동기로 처리하고 이에 대한 인터페이스 개선을 위해 웹 소켓 방식을 적용하였다.

LLM이 더 우수한 답변을 출력할 수 있도록 청킹, 검색, 리랭킹 등에서 여러 전략을 활용하였다.

Docker를 이용해 해당 프로젝트를 패키징하고 의뢰인에게 전달하였다.