just_HS

개요 이번 Microsoft Build 2023 행사에서 있었던 Andrej Karpathy의 State of GPT 강의(?) 유튜브 영상을 보고 새로이 배우거나 인상적이었던 깨달음을 메모해둔다. 유튜브 링크: https://youtu.be/bZQun8Y4L2A 메모들 Pretraining이 가장 자원을 많이 먹는 단계이다. 수 개월동안, 수 천개의 GPU를 사용하고 있다. 파라미터 개수가 전부가 아니다. GPT-3의 파라미터 개수가 3배 가까이 많지만, 트레이닝에 사용한 개수는 LLaMA가 3배 이상 많다는 것에 주목하자 특수한 토큰 endoftext == 50256 하나의 트레이팅 토큰 묶음은 endoftext라는 특별히 정의한 토큰으로 구분한다. Base model은 Assistant가 아니다 B..

개요 개발 도중 이유를 알아내기 어려웠던 문제를 ChatGPT를 이용하여 해결했던 경험을 공유해본다. 가장 인상적이었던 것은 해석해내기 어려웠던 모니터링 도구의 로그를 풀어내준 것이다. 문제 상황 GitHub의 Container Registry인 GHCR에서 이미지를 가져오려면(pull) 로그인을 해두어야 한다. # CR_PAT: GitHub에서 PAT(Personal Access Token)을 생성해둔 것이다. $ echo $CR_PAT| docker login ghcr.io --username $GITHUB_USERNAME --password-stdin 이렇게 로그인을 해두면 로그인 정보를 저장해두어서 다시 로그인을 할 필요가 없어진다. $ cat ~/.docker/config.json { "auth..

개요 이러한 명령을 기본적으로 코파일럿 챗에게 일러준 다음, 사용자가 코파일럿 챗에게 질의할 때에 대응하게 한다는 것이다. 카페 사장님이 직원에게 교육을 시키는 것을 연상하면 될 듯하다. 그렇구나 하고 지나가기 보다는 한 줄씩 따라 적으려 이해하고 넘어가면 좋을 것 같아 이렇게 남긴다. 1차로 DeepL로 번역한 다음 따라 읽어가며 다듬어 정리해둔다. 원문 링크 원문 트윗: https://twitter.com/marvinvonhagen/status/1657060506371346432 긱뉴스: https://news.hada.io/topic?id=9182 코파일럿 챗 기밀 규칙: 당신은 인공지능 프로그래밍 어시스턴트입니다. 이름을 물으면 “GitHub Copliot”이라 답하세요. 사용자의 요구사항의 주의..

개요 요청이 빈번하게 발생한다면 연결을 끊지않고 유지해두는 것이 낫다. 하지만 요청이 없는데도 연결을 유지하는 것은 또 다른 비용이다. 이번에는 연결을 언제까지 유지하여야 하는지에 대한 설정을 알아보자. IdleConnTimeout 이다. MaxIdleConns: 유지 가능한 최대 유휴 커넥션 수, default: 100 MaxIdleConnsPerHost: 호스트마다 유지 가능한 최대 유휴 커넥션 수, default: 2 IdleConnTimeout: 유휴 커넥션 타임아웃, default: 90초 MaxConnsPerHost: 호스트마다 사용 가능한 최대 활성/유휴 커넥션 수, default: 0 (무제한) 커넥션 풀에 무한정 연결을 유지할 수 없다. 클라이언트 코드 서버는 이전 포스팅에서와 같이 바로..

개요 지난 포스팅에서는 MaxConnsPerHost의 기본 설정이 무제한이라 에러가 발생한 경우를 보았다. 기본 설정을 보완하여 문제를 해결해보자. 기본 설정을 참고로 다시 보아두자. MaxConnsPerHost는 하나의 호스트(서버)에 연결할 수 있는 개수의 설정이다. MaxIdleConns: 유지 가능한 최대 유휴 커넥션 수, default: 100 MaxIdleConnsPerHost: 호스트마다 유지 가능한 최대 유휴 커넥션 수, default: 2 IdleConnTimeout: 유휴 커넥션 타임아웃, default: 90초 MaxConnsPerHost: 호스트마다 사용 가능한 최대 활성/유휴 커넥션 수, default: 0 (무제한) 호스트(서버)당 최대 연결개수의 제한 서버코드 서버는 요청을 받..

개요 Golang HTTP 클라이언트의 커넥션 풀(connection pool)에 대해서 명확히 정리하고 싶다는 욕심이 있었는데 좋은 블로그 포스팅을 찾아서 이참에 정리를 해본다. 내용의 대부분과 코드는 다음 링크에서 가져온 것이다. 링크: https://www.sobyte.net/post/2022-03/go-http-client-connection-control/ 버즈빌 기술 블로그의 글도 정성이 가득하여 큰 도움이 되었다. 링크: https://tech.buzzvil.com/blog/http-connection-pool-in-go-explained/ 개념 정리 서버와 클라이언트는 서로간의 원하는 작업을 위해 연결하고 일을 한다. 이를 다음과 같이 비유해본다. 전송 계층(Transport layer) ..

위안이 된 대화를 적어둔다. 시나리오를 찾아 발췌하여 나만의 번역을 해둔다. 영화 속 쌍둥이 형제로 나오는 찰리와 도널드 카우프만의 대화이다. 대화 찰리: 고등학교 때였어. 도서관 창 너머로 널 보는데, 넌 사라 마쉬와 이야기를 하고 있었어. 도널드: 맞아. 난 걔를 정말 사랑했었어. 찰리: 알아. 넌 걔한테 추근거렸고 사라는 너에게 정말 다정했어. 도널드: 기억나. 찰리: 그런데 너가 자리를 떠나자 사라는 킴 카네티랑 널 비웃기 시작했어. 그건 마치 날 비웃는 것만 같았어. 넌 그것도 모르고 무척 행복해 보였어. 도널드: 아냐, 알고 있었어. 걔들이 이야기하는게 들렸거든. 찰리: 그런데도 그렇게 행복했다고? 도널드: 난 사라를 사랑했어, 찰리. 그 마음은 온전히 내 것이었어. 사라일지라도 그것을 빼앗을..

개요 OpenAI API key를 gpt-cli라는 터미널에서 gpt를 사용할 수 있는 도구에 사용해보려한다. 터미널에서 작업하면서 간단한 GPT 질답을 할 수 있다면 작업이 한결 쉬워질 수 있다는 판단에 사용하려는 것이다. 예를 들어, 몇몇 git 명령어와 옵션이 생각나지 않으면 바로 사용할 수 있겠다. 참고) MacOS에사 해보았다. gpt-cli 깃헙: https://github.com/kharvd/gpt-cli 준비 설치 git clone cd gpt-cli pip install -r requirements.txt API key 환경변수로 등록 이 부분이 가장 중요(?)하겠다. 이전 포스팅에서 소개한 대로 API key를 생성했다면 이를 내 컴퓨터의 환경변수로 등록해두는 것이다. zsh를 사용하기..

개요 OpenAI API를 유료 사용하게 되면서 관련한 내용을 정리해본다. 이미 잘 정리해둔 사이트들이 많지만 내가 정리해야 또 이해가 된다. 참고 링크: https://hestal.tistory.com/558#gsc.tab=0 API key를 사용하기 지불 방법 등록과 상한선 지정 https://platform.openai.com/account/billing/overview 페이지로 들어가서 지불 방법과 상한선을 지정한다. 신용카드를 등록하고, 예상못한 요금폭탄을 방지하고자 상한을 두는 것이다. OpenAI 자체의 상한선인 120달러는 넘을 수 없고, 20달러가 넘으면 알림이 오고, 30달러 이상은 쓸 수 없도록 초기 설정을 해두었다. 이 정도만 하여도 개인적인 테스트나 사용에는 문제가 없는 수준이라 ..

문제 GitHub의 Container Registry인 GHCR로 로그인을 하려 했는데 에러가 발생했다. $ echo $CR_PAT | docker login ghcr.io -u $GITHUB_USERNAME --password-stdin // 에러는 아래와 같다. Error: Cannot perform an interactive login from a non TTY device 에러의 1차 원인 - password Error: Cannot perform an interactive login from a non TTY device 에러를 구글링해보니 --password-stdin 으로 비밀번호를 입력하려 했는데 실제로 비밀번호가 입력되지 않았다 한다. 참고 링크: https://stackoverflow...