[챗GPT 러닝데이 & MS 애저톤] 챗GPT에 날개를 달아줄 랭체인! (LangChain)

1. 배경

• 챗GPT는 기존 데이터셋으로 학습된 대규모 언어모델 중 하나일 뿐이고, 세상과 연결된 존재는 아니다.
  • 여러 데이터 타입(예. pdf)를 학습하고 싶다
  • 인터넷 정보를 검색해서 알려줄 순 없나
  • 다른 서비스랑 연동할 수는 없을까
  • 내가 정한 시나리오?
• 최근 엄청 각광받고 있는 프레임워크
  • 해외에서는 랭체인을 기본으로 하는게 많다고 함. 한국에서는 조금 덜 관심 받는 편
  • 특히 ms 쪽에서 나오는 코드들에서 많이 쓰인다고 함
  • 확장되는 속도가 너무 빨라서, 마스터 하는게 힘들다는 말이 있을 정도

2. 랭체인

• 랭체인 LangChain: 언어 모델을 기반으로 한 애플리케이션을 개발하기 위한 프레임워크

  • 언어 모델을 API를 통해 호출하는 것 뿐만 아니라 외부 데이터를 인식하거나 타 시스템과 상호작용하는 애플리케이션을 개발하고자 하는 노력
  • 데이터 인식 : 언어 모델을 다른 데이터 소스에 연결
  • 능동적 상호작용: 언어모델이 환경과 상호작용할 수 있도록 함

• 컴포넌트

  • 스키마
  • 모델
  • 프롬프트
  • 인덱스
  • 메모리
  • 체인
  • 에이전트

(1) 스키마

랭체인에서 사용되는 기본적인 타입과 스키마

• 텍스트
  • 언어모델과 인터페이스가 주로 텍스트
• 채팅 메세지
  • 채팅 인터페이스에서 사용하는 메세지
  • 챗GPT처럼, 시스템 채팅 메세지, 사용자 채팅 메세지, AI채팅 메세지가 있음 (system, user, assistant)
• 예시