전체 글

오늘 pip install deepspeed를 시도하는데, 다운이 되지 않았다. 에러 메시지는 아래와 같았다. 참고로, 위 사진에서는 '/mnt/hdd/~~~~/nvcc' 디렉토리가 없다고 에러가 뜨는데 이것은 내가 삽질하다가 나온 에러이고 원래 에러는 아래와 같다. assert cuda_home is not None, "CUDA_HOME does not exist, unable to compile CUDA op(s)" AssertionError: CUDA_HOME does not exist, unable to compile CUDA op(s) 맨 처음에는 위와 같이 CUDA_HOME 환경변수가 설정되어 있지 않다고 되어있었다. 이와 관련된 에러는 deepspeed 이슈에서 굉장히 많아 찾아볼 수 있었다..

저번 학기부터 Diffusion 분야를 처음 공부했다. 처음엔 너무 어려워서 무슨 소리인지 잘 몰랐는데, 계속 인터넷으로 공부하다 보니 내가 이해한건지 아니면 이해한다고 착각하는건지... 아무튼 나름대로 공부를 했다. 인터넷에 정말 방대한 소스가 있는데, 내가 공부할 때 가장 큰 도움이 되었던 블로그 4개를 기록해두었다. 솔직히, 다른 블로그 볼 필요 없이 아래 3개만 보면 된다. 특히, 1-2번째 블로그를 보며 속는셈 치고 모든 수식을 한 번만 따라해보았는데 큰 도움이 되었다. 내가 diffusion을 공부한 이후에 이해한게 맞는지 아리송할 때가 있었다. 그럴 때마다 DDPM의 forward process, backward process, loss function을 적어보고 classifier-free..

여름방학이 되었다. 대학원에 입학한지 벌써 한 학기가 지나갔다. 최근들어 논문을 너무 많이 읽다보니 자주 까먹는다. 정리하기엔 너무 시간이 오래걸릴거같아서 논문만 읽었더니, 계속해서 잊어버린다. 논문이나 공부했던 것들을 블로그에 조금씩 정리를 해둘까 한다. 우선 9월달까지 논문을 하나 써보기로 다짐했기 때문에 열심히 공부해봐야지.

기말고사 범위부터 정리해보려고 한다. 정리하는 방식은 고민을 많이 해보았는데, 수업 ppt를 활용하는게 가장 좋을 것 같다. *본 포스팅에서 사용하는 자료는 DGIST 곽정호 교수님의 컴퓨터 네트워크 강의 수업 자료입니다! (사전 허락을 받았습니다) 중간고사 범위까지는 Transport layer의 reliability를 다루었다. 이젠 congestion flow가 무엇인지 다룬다. Congestion란 말 그대로 혼잡 현상인데, 정의는 "source 측에서 너무 많은 데이터가 유입되어서 네트워크에 있는 수 많은 큐들이 발산하는 현상" 이다. 즉, 네트워크 어딘가에 있는 라우터에서 큐에 너무 많은 packet들이 쌓여 packet들이 버려지거나, 혹은 중간에 손실되는 packet이 발생하는 현상을 의미..