Maxwell GPU에서 Ollama 성능 개선: Flash Attention 비활성화
Maxwell GPU에서 Flash Attention을 비활성화해 Ollama 생성 속도를 개선한 과정을 정리했다.
GPU
TITAN X와 GTX 1070으로 로컬 AI 홈서버 구성
오래된 GPU 두 장으로 홈서버를 시작했다. 첫날부터 드라이버와 CUDA 버전이 맞지 않았다.
Maxwell GPU에서 Flash Attention을 비활성화해 Ollama 생성 속도를 개선한 과정을 정리했다.
오래된 GPU 두 장으로 홈서버를 시작했다. 첫날부터 드라이버와 CUDA 버전이 맞지 않았다.