기반 인프라 & 무검열 모델 라인업

1. Windows 11 보안 설정 및 필수 런타임 설치

Windows 환경에서 파이썬 C++ 컴파일 확장 모듈(bitsandbytes, onnxruntime, triton 등) 및 AI 가중치 로드 시 발생하는 실행 차단 알림과 바이러스 오탐지를 원천 차단하는 필수 사전 절차입니다.

필수 기반 소프트웨어 무인 설치

C++ 빌드 도구 누락 및 git 관련 종속성 오류를 예방하기 위해 아래 명령어를 순차 실행합니다.

# 1. Ollama for Windows 전역 설치 (LLM 서빙 엔진)
winget install --id Ollama.Ollama -e --source winget

# 2. Git for Windows 설치 (커스텀 노드 및 소스코드 클론 필수)
winget install --id Git.Git -e --source winget

# 3. 파이썬 3.10.11 다운로드 및 설치 마법사 실행
Invoke-WebRequest -Uri "https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe" -OutFile "$env:USERPROFILE\Downloads\python-3.10.11-amd64.exe"
Start-Process "$env:USERPROFILE\Downloads\python-3.10.11-amd64.exe"

# ※ 설치 창 필수 체크:
# [x] Add python.exe to PATH
# [x] Use admin privileges when installing py.exe
# [마지막 화면] Disable path length limit (260자 경로 제한 해제 클릭)

# 4. MSVC C++ 재배포 패키지 설치 (PyTorch C++ 확장 모듈 구동 필수)
Invoke-WebRequest -Uri "https://aka.ms/vs/17/release/vc_redist.x64.exe" -OutFile "$env:USERPROFILE\Downloads\vc_redist.x64.exe"
Start-Process "$env:USERPROFILE\Downloads\vc_redist.x64.exe" -ArgumentList "/install", "/passive", "/norestart"

# 5. PowerShell 스크립트 실행 권한 부여
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser

2. 파이썬 가상환경 구축 및 영구 보존 절대 수칙

표준 디렉터리 레이아웃 생성 및 최초 가상환경 초기화

# 1. 표준 디렉터리 구조 생성
New-Item -ItemType Directory -Path C:\ai_workspace -Force
New-Item -ItemType Directory -Path C:\ai_workspace\chroma_db -Force
New-Item -ItemType Directory -Path C:\ai_workspace\dataset -Force
New-Item -ItemType Directory -Path C:\ai_workspace\models -Force
Set-Location C:\ai_workspace

# 2. [최초 1회만 실행] 가상환경 생성 및 활성화
py -3.10 -m venv ai_env
.\ai_env\Scripts\activate

# 3. [일상 작업 시작 퀵 루틴] 앞으로 터미널 켤 때마다 이 2줄만 실행
# Set-Location "C:\ai_workspace"
# .\ai_env\Scripts\activate

3. 파이썬 패키지 설치 및 4대 의존성 완전 패치 (순서 엄수)

Windows 환경에서 Unsloth, Docling, Triton 설치 시 CPU 버전 PyTorch로 자동 덮어쓰기되는 문제와 최신 라이브러리 간 버전 충돌을 완벽히 해결하는 순차적 설치 공식입니다.

# [단계 1] pip 업그레이드 및 기본 문서 처리/RAG/오디오 패키지 설치
python -m pip install --upgrade pip
python -m pip install chromadb sentence-transformers langchain-text-splitters duckduckgo-search requests tqdm docling pypdf
python -m pip install faster-whisper kokoro-onnx soundfile sounddevice
python -m pip install triton-windows
python -m pip install unsloth

# [단계 2] ★ 핵심 복구: CUDA 12.1 버전 강제 재설치
# (triton/unsloth가 덮어씌운 CPU 전용 파이토치를 제거하고 GPU 가속 CUDA 파이토치 복원)
python -m pip install --force-reinstall --no-cache-dir torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# [단계 3] torchao 다운그레이드 (PyTorch 2.5.1의 AttributeError: int1 에러 원천 해결)
python -m pip install "torchao==0.7.0"

# [단계 4] fsspec 버전 고정 및 xformers 제거
# (최신 fsspec 호환성 충돌 방지 및 Windows Unsloth 환경에서 불필요한 xformers 간섭 제거)
python -m pip install "fsspec<=2025.9.0"
python -m pip uninstall -y xformers
python -m pip install --no-deps trl peft accelerate bitsandbytes

# [단계 5] 환경 무결성 최종 검증 (가상환경 활성화 상태에서 실행)
python -c "import torch; print('GPU 인식 성공:', torch.cuda.get_device_name(0), '| CUDA 가속 지원:', torch.cuda.is_available())"
python -c "import bitsandbytes as bnb; print('4-bit 가속 모듈(bitsandbytes) 로드 성공!')"
python -c "import docling; print('IBM Docling 엔진 정상 로드!')"

4. 100% 비(非)중국산 무검열 모델 3단계 라인업

데이터 주권 보장 및 시스템 가드레일/도덕성 설교가 배제된 미국·유럽 오픈소스 가중치 기준 매트릭스입니다. 12GB VRAM 제약 조건에 맞추어 최적의 양자화 포맷을 지정했습니다.

Ollama 메모리 최적화 및 모델 일괄 다운로드

비주얼 도구(ComfyUI)나 파인튜닝 학습으로 전환할 때 VRAM 충돌(OOM)을 방지하기 위해 Ollama의 메모리 상주 대기 시간을 기본 5분에서 1분으로 축소합니다.

# Ollama VRAM 상주 시간 1분 설정 (시스템 환경변수 등록)
[Environment]::SetEnvironmentVariable("OLLAMA_KEEP_ALIVE", "1m", "User")

# 검증 완료된 핵심 모델 일괄 풀링 (새 PowerShell 창에서 실행 가능)
ollama pull nomic-embed-text
ollama pull hermes3:8b
ollama pull llama3.2:3b
ollama pull codestral:22b

# 모델 다운로드 정상 완료 확인
ollama list

5. 인프라 긴급 자가진단 및 복구 명령표