[Product Serving][Prompt Engineering][LLM Finetuning]

✈️ Summary

[Naver BoostCamp]

2025.01~2025.02

Project Link: Github

• VLM과 HyperCLOVA X를 활용해 사진 기반 여행 블로그 작성 서비스 개발 및 배포
• 프롬프트 엔지니어링과 파인튜닝을 통해 기존 LLM 대비 블로그 생성 퀄리티 10% 상승
• VLM과 LLM API를 결합해 LLM의 시각적 한계를 극복하면서도 문장 생성 능력을 극대화
• FAST API를 활용한 모델 서빙 및 사용자 Interaction 구현
• ❓About this project

1. Introduction

하이퍼클로바 X를 활용해서 여행 블로그 생성기 “트래블로그” 서비스를 제작하고 배포해보았습니다.

저는 그 중 모델링 부분을 맡아 데이터 수집부터 하이퍼클로바X(LLM) 파인튜닝, FAST API를 활용한 모델 서버 구현을 담당했습니다.

이 과정에서 Selenium을 통한 데이터 수집, 프롬프트 엔지니어링, 멀티 프로세싱 등을 활용해 모델 성능과 서비스의 프로세스 시간을 크게 단축시킬 수 있었습니다.

아래는 Contribution 입니다.

1. 강력한 프롬프트 생성으로 인간다운 블로그 생성 및 AI Safety 확보
2. HyperCLOVA API, DALLE API를 활용하는 과정을 멀티 프로세싱으로 구현함으로써 전체 서비스 시간을 30초 이상 단축
3. 이미지의 시각적 정보를 LLM에 주입하기 위해 VLM을 통한 캡션 생성 전처리 진행

2. Methods

모델링

모델링 과정은 Blog를 생성하는 Blog Generator와 엽서나 스탬프를 생성하는 T2I Generator로 구성되어 있습니다.