just_HS

개요 인터넷에서 본 링크와 이미지가 의미있다 생각할 때에는 단순히 공유만 하는 것이 아니라 읽고 이해하고 나름의 정리를 해두려 한다. 공유만으로는 내 것이 되지 않으니까. LLM에 흥미를 느끼고 둘러보는 요즘이기에 LLM과 관련한 숫자들을 훑어보는 것은 의미가 있겠다. 관련 링크 링크: https://github.com/ray-project/llm-numbers 개인적으로 인상적이었던 부분들 정리 처음부터 학습하는 것은 왠만한 회사에서는 감당할 수 없다. 파인튜닝이 그나마 대안이다. 서비스를 운영한다면 GPT-3.5-Turbo 만으로 충분한 태스크를 잘 선별하여 사용하여 비용을 절감하자. 임베딩(과 벡터DB)으로 감당할 수 있는 태스크인지도 선별하여 사용하면 더욱 비용 절감을 할 수 있다. GPU 메모리..

개요 이 주제와 관련하여서는 어느정도 그림이 그려지는 수준인데 잘 정리된 이 그림을 보면서 순서를 되짚어본다. 출처는 이미지에 있다. 내용 비공개 정보를 가공하여 저장해두기 노션, PDF를 비롯한 비공개 정보들을 취합하여 적당한 덩어리로 나눈다. 비공개 정보들이기에 LLM은 이 정보를 학습할 수 없었을 것이며, 따라서 관련한 질문에 답을 할 수 없다. 적당한 덩어리로 나누는 것은 임베딩과 관련이 있다. 한 번에 임베딩 해주는 양의 한계가 있기 때문이기도 하고, 최적의 의미단위로 덩어리를 나눌 필요도 있어서이다. 임베딩 모델은 이렇게 나누어진 정보들을 임베딩하는데 그 결과로 나오는 값이 벡터이다. 벡터는 긴 실수들의 배열이라고 보면 된다. 대표적인 임베딩 모델인 OpenAI의 text-embedding-a..

개요 유튜브 채널 백색나무에서 자막을 달아준 샘 알트먼과 일리야 수츠케버의 텔아비브 대담을 보고 인상깊은 부분을 정리해본다. 유튜브 링크: https://youtu.be/oTBi5Y06UvY 대담 둘의 만남 일리야 수츠케버는 5~16살까지 예루살렘 살다가 토론토 대학에서 10년 정도 학사, 석사, 박사를 함. 그리고 알렉스넷을 만들고 샘 알트먼의 전화를 받고 그렉 브록만, 앨론 머스크를 함께 만나 OpenAI 시작 (생각) 샘 알트먼은 차분하게 경청하며 꼭 필요한 말만 한다는 생각이 들었다. 앨론 머스크와 만나면 무슨 대화를 나눌까 궁금해졌다. OpenAI가 Generative AI의 선두가 된 이유 집중, 확신, 신념 인재의 양보다 인재의 질 혁신과 엄격함의 조화 학계보다는 산업이 이끄는 인공지능 요즘..

개요 이번 Microsoft Build 2023 행사에서 있었던 Andrej Karpathy의 State of GPT 강의(?) 유튜브 영상을 보고 새로이 배우거나 인상적이었던 깨달음을 메모해둔다. 유튜브 링크: https://youtu.be/bZQun8Y4L2A 메모들 Pretraining이 가장 자원을 많이 먹는 단계이다. 수 개월동안, 수 천개의 GPU를 사용하고 있다. 파라미터 개수가 전부가 아니다. GPT-3의 파라미터 개수가 3배 가까이 많지만, 트레이닝에 사용한 개수는 LLaMA가 3배 이상 많다는 것에 주목하자 특수한 토큰 endoftext == 50256 하나의 트레이팅 토큰 묶음은 endoftext라는 특별히 정의한 토큰으로 구분한다. Base model은 Assistant가 아니다 B..

개요 개발 도중 이유를 알아내기 어려웠던 문제를 ChatGPT를 이용하여 해결했던 경험을 공유해본다. 가장 인상적이었던 것은 해석해내기 어려웠던 모니터링 도구의 로그를 풀어내준 것이다. 문제 상황 GitHub의 Container Registry인 GHCR에서 이미지를 가져오려면(pull) 로그인을 해두어야 한다. # CR_PAT: GitHub에서 PAT(Personal Access Token)을 생성해둔 것이다. $ echo $CR_PAT| docker login ghcr.io --username $GITHUB_USERNAME --password-stdin 이렇게 로그인을 해두면 로그인 정보를 저장해두어서 다시 로그인을 할 필요가 없어진다. $ cat ~/.docker/config.json { "auth..

개요 이러한 명령을 기본적으로 코파일럿 챗에게 일러준 다음, 사용자가 코파일럿 챗에게 질의할 때에 대응하게 한다는 것이다. 카페 사장님이 직원에게 교육을 시키는 것을 연상하면 될 듯하다. 그렇구나 하고 지나가기 보다는 한 줄씩 따라 적으려 이해하고 넘어가면 좋을 것 같아 이렇게 남긴다. 1차로 DeepL로 번역한 다음 따라 읽어가며 다듬어 정리해둔다. 원문 링크 원문 트윗: https://twitter.com/marvinvonhagen/status/1657060506371346432 긱뉴스: https://news.hada.io/topic?id=9182 코파일럿 챗 기밀 규칙: 당신은 인공지능 프로그래밍 어시스턴트입니다. 이름을 물으면 “GitHub Copliot”이라 답하세요. 사용자의 요구사항의 주의..

개요 OpenAI API key를 gpt-cli라는 터미널에서 gpt를 사용할 수 있는 도구에 사용해보려한다. 터미널에서 작업하면서 간단한 GPT 질답을 할 수 있다면 작업이 한결 쉬워질 수 있다는 판단에 사용하려는 것이다. 예를 들어, 몇몇 git 명령어와 옵션이 생각나지 않으면 바로 사용할 수 있겠다. 참고) MacOS에사 해보았다. gpt-cli 깃헙: https://github.com/kharvd/gpt-cli 준비 설치 git clone cd gpt-cli pip install -r requirements.txt API key 환경변수로 등록 이 부분이 가장 중요(?)하겠다. 이전 포스팅에서 소개한 대로 API key를 생성했다면 이를 내 컴퓨터의 환경변수로 등록해두는 것이다. zsh를 사용하기..

개요 OpenAI API를 유료 사용하게 되면서 관련한 내용을 정리해본다. 이미 잘 정리해둔 사이트들이 많지만 내가 정리해야 또 이해가 된다. 참고 링크: https://hestal.tistory.com/558#gsc.tab=0 API key를 사용하기 지불 방법 등록과 상한선 지정 https://platform.openai.com/account/billing/overview 페이지로 들어가서 지불 방법과 상한선을 지정한다. 신용카드를 등록하고, 예상못한 요금폭탄을 방지하고자 상한을 두는 것이다. OpenAI 자체의 상한선인 120달러는 넘을 수 없고, 20달러가 넘으면 알림이 오고, 30달러 이상은 쓸 수 없도록 초기 설정을 해두었다. 이 정도만 하여도 개인적인 테스트나 사용에는 문제가 없는 수준이라 ..