just_HS

개요 인터넷에서 본 링크와 이미지가 의미있다 생각할 때에는 단순히 공유만 하는 것이 아니라 읽고 이해하고 나름의 정리를 해두려 한다. 공유만으로는 내 것이 되지 않으니까. LLM에 흥미를 느끼고 둘러보는 요즘이기에 LLM과 관련한 숫자들을 훑어보는 것은 의미가 있겠다. 관련 링크 링크: https://github.com/ray-project/llm-numbers 개인적으로 인상적이었던 부분들 정리 처음부터 학습하는 것은 왠만한 회사에서는 감당할 수 없다. 파인튜닝이 그나마 대안이다. 서비스를 운영한다면 GPT-3.5-Turbo 만으로 충분한 태스크를 잘 선별하여 사용하여 비용을 절감하자. 임베딩(과 벡터DB)으로 감당할 수 있는 태스크인지도 선별하여 사용하면 더욱 비용 절감을 할 수 있다. GPU 메모리..