just_HS

개요 이 주제와 관련하여서는 어느정도 그림이 그려지는 수준인데 잘 정리된 이 그림을 보면서 순서를 되짚어본다. 출처는 이미지에 있다. 내용 비공개 정보를 가공하여 저장해두기 노션, PDF를 비롯한 비공개 정보들을 취합하여 적당한 덩어리로 나눈다. 비공개 정보들이기에 LLM은 이 정보를 학습할 수 없었을 것이며, 따라서 관련한 질문에 답을 할 수 없다. 적당한 덩어리로 나누는 것은 임베딩과 관련이 있다. 한 번에 임베딩 해주는 양의 한계가 있기 때문이기도 하고, 최적의 의미단위로 덩어리를 나눌 필요도 있어서이다. 임베딩 모델은 이렇게 나누어진 정보들을 임베딩하는데 그 결과로 나오는 값이 벡터이다. 벡터는 긴 실수들의 배열이라고 보면 된다. 대표적인 임베딩 모델인 OpenAI의 text-embedding-a..