just_HS

개요 2023년의 독서를 정리해본다. 2023년 전반기 독서는 이미 정리를 해 두었었다. https://jusths.tistory.com/320 2023년 목표 돌아보기 2022년의 독서를 정리하며 2023년에 세웠던 목표와 그 실천은 다음과 같다. 후반기에는 목표한 책 중에서 혼돈의 시대 리더의 탄생 한 권을 더 읽었다. 2022년 독서: https://jusths.tistory.com/285 재독하고 싶은 책 중용 인간의 맛 - 어떻게 살 것인가에 대한 답을 제시하는 책이다. (재독함) 안나 카레니나, 전쟁과 평화 - 인생의 절반을 넘겼으니 이제 읽는 톨스토이는 전과 같지 않으리라. (재독함) 하지 무라트 - 그리스인 조르바의 조르바나, 대위의 딸의 푸가초프처럼 살아있는 삶을 가진 하지 무라트. (재..

개요 2023년 전반기 독서를 정리해본다. 2023년 목표 돌아보기 2022년 독서를 정리하며 세웠던 독서 목표는 다음과 같다. 재독을 하려는 책과 새로이 읽으려는 책으로 나누었다. 2022년 독서: https://jusths.tistory.com/285 재독하고 싶은 책 중용 인간의 맛 - 어떻게 살 것인가에 대한 답을 제시하는 책이다. (재독함) 안나 카레니나, 전쟁과 평화 - 인생의 절반을 넘겼으니 이제 읽는 톨스토이는 전과 같지 않으리라. (재독함) 하지 무라트 - 그리스인 조르바의 조르바나, 대위의 딸의 푸가초프처럼 살아있는 삶을 가진 하지 무라트. (재독함) 거장과 마르가리타 - 미하일 불가코프야 말로 거장이다. 그러고보니 유튜브 북클럽비바에서 불가코프를 언급하지 않으셨네? 비온 뒤 - 내용이..

개요 이번 Microsoft Build 2023 행사에서 있었던 Andrej Karpathy의 State of GPT 강의(?) 유튜브 영상을 보고 새로이 배우거나 인상적이었던 깨달음을 메모해둔다. 유튜브 링크: https://youtu.be/bZQun8Y4L2A 메모들 Pretraining이 가장 자원을 많이 먹는 단계이다. 수 개월동안, 수 천개의 GPU를 사용하고 있다. 파라미터 개수가 전부가 아니다. GPT-3의 파라미터 개수가 3배 가까이 많지만, 트레이닝에 사용한 개수는 LLaMA가 3배 이상 많다는 것에 주목하자 특수한 토큰 endoftext == 50256 하나의 트레이팅 토큰 묶음은 endoftext라는 특별히 정의한 토큰으로 구분한다. Base model은 Assistant가 아니다 B..