목적 Llama 2를 다음 환경에서 작동 시키는 것을 목표로 한다. - OS: Ubuntu 22 - GPU: Nvidia 3090 TI 24GB - Container: tensorflow/tensorflow:latest-gpu-jupyter 여기에 --cpuset-cpus를 사용해서 cpu의 사용량을 제한시켰다 만약 cpu로 모델이 동작할 경우, 호스트의 모든 리소스를 점유하는 상황이 생길 수 있다. docker run --gpus all --cpuset-cpus="0-3" -d -it --rm -v :/tf/notebooks -p 8888:8888 tensorflow/tensorflow:latest-gpu-jupyter - Python version: 3.9 전제 사항 - 우분투 22와 도커가 설치 되..

Error ./download.sh Enter the URL from email: ... Resolving download.llamameta.net (download.llamameta.net)... 54.230.61.50, 54.230.61.7, 54.230.61.98, ... Connecting to download.llamameta.net (download.llamameta.net)|54.230.61.50|:443... connected. HTTP request sent, awaiting response... 416 Requested Range Not Satisfiable ... The file is already fully retrieved; nothing to do. md5sum: tokenize..

목표 ubuntu 22에 nvidia 드라이버를 최신으로 설치 하고, cuda를 이에 맞추어서 설치 한다. tensorflow jupyter를 이용해서 gpu를 확인한다. 아래 가이드는 아래와 같은 오류를 해결하고자 하는 방법으로 활용되었다. 오류 메시지들 2024-03-31 12:27:30.432902: E external/local_xla/xla/stream_executor/cuda/cuda_driver.cc:282] failed call to cuInit: CUDA_ERROR_COMPAT_NOT_SUPPORTED_ON_DEVICE: forward compatibility was attempted on non supported HW 2024-03-31 12:27:30.432953: I external..

2021.07.17 - [AI] - Error Function 상위에서 Error function에 대해서 살펴 보았다. 상위 내용은 log를 통해서 차이값의 sum으로 Error 정도를 파악했다. 이번에는 표준 편차를 통해서 Error 정도를 확인하고자 한다. 이것을 Sum of Squared Error (SSE) 라고 부른다. $$ E = \frac{1}{2} \sum_{u} \sum_{j} [ {y^u}_j - {\hat{y}^u}_j ]^2 $$ 근데 1/2는 왜하는건지 모르겠다. 나중에 알게되면.. 써놔야지 예측값과 Target값의 차를 곱함으로써 음수가 없고 차가 클 수록 Error 값이 더 커지는 장점이 있다. $$ \hat{y} = \sum_i w_{ij} * {x^u}_i $$ 라고 할 ..

입학 가능성 예측 https://github.com/udacity/deep-learning-v2-pytorch/tree/master/intro-neural-networks/student-admissions 여기 있는 코드를 분석하는 내용이다. 여기서 배울 수 있는 것은 csv 파일 로딩 matplotlib를 이용한 그래프 표현 Panda를 이용한 One Hot Coding Data 전처리 및 Scaling 변화 전처리 Data 및 Test 데이터 분리 featuers(X)와 결과값(y)의 분리 2 layers Network 개발 Backpropatation 정확도 확인 이다. 개인적으로 해당 코드를 보면서 분석한 내용을 붙여 넣는다. csv 파일 로딩 import pandas as pd import nu..

앞서서 Feedforward를 통해서 weight 값을 update 하는 방법을 알았다. Feed forward 방식의 update는 Multi-layers가 있는 Neural Network에서는 쉽게 사용이 어렵다. 그래서 나온 방식이 Backpropagation이다. 우선 앞서 나온 내용을 복습해야 한다. 2021.07.17 - [AI] - Gradient Descent - Sigmoid activation function $$\sigma(x) = \frac{1}{1+e^{-x}}$$ - Output (prediction) formula $$\hat{y} = \sigma(w_1 x_1 + w_2 x_2 + b)$$ - Error function $$Error(y, \hat{y}) = - y \log(..

앞서 Neural Network 의 선형적 계산 방식을 Neural Network로 보자면, 다음과 같은 모습으로 생각할 수 있다. weight가 각각 2와 3의 그래프가 있고 bias가 -2라고 하면 이런 형태의 그래프를 그릴수 있게 된다. 만약에 한개의 그래프를 더 그려 보면 어떨까? 이런 모습의 그래프를 그릴 수 있다. 이 2가지를 합치면 아래와 같은 모습이 가능하다. 두번째 Layer가 추가 된 것을 볼 수 있다. 즉 2개의 방정식을 하나로 합치는 또다른 방정식을 만든 것이다. 이것 역서 각각 weight를 줄수 있게 된다. w1에 0.5를 w2에 2 그리고 bias -1을 추가 한것 을 확인 할 수있다. 이 Network를 간단하게 그리면 다음과 같게 된다. 이것을 Matrix로 표현 하면 다음..

경사 하강법에 대해서 알아 보고자 한다. 기본 적인 Error Function의 구조는 아래 링크와 같다. 2021.07.17 - [AI] - Error Function $$ ErrorFunction() = - \frac{1}{n} \sum_{i=1}^n y_i*ln(\sigma(Wx_i + b)) + (1-y_i)*ln(1-\sigma(Wx_i + b)) $$ 이것을 3차원의 형태로 그려보면 아래와 같이 표현 할 수 있다. 아래 E 또는 Error 가 Error Function의 계산 결과 이다. 즉, w1의 변화량은 Error function의 결과 값에 어느 정도의 변화를 만들어 내는가? w2의 변화량은 Error function의 결과값에 어떤 변화를 만들어 내는가? 이것을 표현한 내용이라고 생각..

2021.07.17 - [AI] - Maximizing Probabilities, Cross Entropy 앞선 글에서 Cross Entropy를 어떻게 구하는 지 알아 보았다. 이를 통해서 Error Function을 구하고자 한다. $$ CrossEntropy() = - \sum_{i=1}^n y_i*ln(p_i) + (1-y_i)*ln(1-p_i) $$ Cross Entropy를 최소화 하는 것이 좋은 모델이라고 앞서 말을 했다. 최소화된 Cross Entropy를 sum한 갯수로 나누어 평균을 만들어 주면 우리는 이것을 Error Function이라고 부른다. 역시 이것도 최소화 하는 것을 목표로 한다. $$ ErrorFunction() = - \frac{1}{n} \sum_{i=1}^n y_i*..