LLM

얼마전 4월 14일 HuggingFace에 BitNet Official 2B Parameter 모델이 업로드 되어서, 로컬 환경에서 실행해보려합니다.(아래 실행 과정은 BitNet Github Readme 순서대로 진행하였으며, 진행 과정 중 생긴 이슈들도 있으니 참고해주세요😥) 필수 설치 사항BitNet 모델 실행에 앞서 필요한 설치파일들을 먼저 설치하도록 하겠습니다.python 3.9 버전 이상cmake 3.22 버전 이상clang 18 버전 이상친절하게도 Debian 또는 Ubuntu 사용자들은 아래 명령어를 통해 필요한 설치파일들을 자동으로 다운받을 수 있는 스크립트를 제공합니다.sudo bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"추가로 conda..

요즘 생성형 AI 서비스를 보다 보면 빠질 수 없는 것이 바로 Vector DB 입니다.우선 벡터 DB를 알아보기 전에 먼저 벡터와 임베딩에 대해서 간단하게 알아보자면Vector란 일반적으로 벡터는 크기와 방향을 가진 물리량을 나타내며, 1 X N 또는 M X 1의 일차원 행열로 표현됩니다. 임베딩(Embedding Vector)은 어떤 데이터를 벡터 형태로 표현한 결과입니다.예를 들어, "고양이" 라는 단어가 [0.12, -0.83, 0.45, ..., 0.21]로 표현될 수 있으며, "우리집 고양이는 페르시안이야" 같은 문장도 [0.62, -0.23, 0.15, ..., 0.05] 벡터로 표현될 수 있습니다.그럼 왜 갑자기 Vector DB가 중요해졌을까? 최근 LLM 기반 서비스들의 폭발적인 증가..