1. Docker 설치

• https://docs.docker.com/engine/install/ubuntu/

1. ollama 설치 : https://ollama.com/download/linux

curl -fsSL <https://ollama.com/install.sh> | sh
ollama serve

1. 모델 다운로드 : llama3.1 과 relection-70b 설치

ollama run llama3.1:70b
ollama run vanilj/reflection-70b-iq2_xxs

1. Nvidia ToolKit 설치

• 레파지토리 설정

curl -fsSL <https://nvidia.github.io/libnvidia-container/gpgkey> | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \\
  && curl -s -L <https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list> | \\
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \\
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

• 패키지 업데이트 및 설치

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

1. ollama와 webui연결

Ollama와 WebUI를 연결하여 사용하려면 Ollama 서버를 백엔드로 실행한 뒤 WebUI에서 이를 프론트엔드로 연결하는 방식으로 진행할 수 있습니다. 아래 단계별로 Ollama와 WebUI를 연결하는 방법을 설명할게요.

1. Ollama Serve 실행하기

우선 Ollama 서버가 백그라운드에서 실행되어야 합니다. Ollama가 이미 설치되어 있다면, 다음 명령으로 Ollama 서버를 실행할 수 있어요:

bash
코드 복사
ollama serve

이 명령을 통해 Ollama 서버가 실행되며, 기본적으로 localhost에서 특정 포트(예: 11434)로 요청을 받을 준비가 됩니다. 필요하다면 포트를 지정하여 실행할 수 있습니다:

bash
OLAMA_HOST="<http://0.0.0.0:11434>" ollama serveve

2. WebUI 설정하기

이제 WebUI에서 Ollama 서버와 연결할 수 있도록 설정을 추가해야 합니다.