keum님의 블로그

QLoRA 원리: NF4·Double Quantization·Paged Optimizer

TECHNICAL CONCEPT · LLM TRAININGQLoRA는 4비트로 양자화한 거대 언어모델의 기본 가중치는 고정하고, 작은 LoRA 어댑터만 학습해 파인튜닝 메모리를 줄이는 방법입니다. 단순한 4비트 추론과 무엇이 다르고, NF4·double quantization·paged optimizer가 왜 필요한지 설명합니다.한 줄 정의QLoRA = 동결된 4비트 base model을 통과해 gradient를 계산하되, 업데이트는 저랭크 LoRA adapter에만 저장하는 파인튜닝 방식입니다.목차등장 이유전체 구조세 가지 핵심 기술학습 흐름LoRA·양자화와 차이오해와 FAQ1. QLoRA가 등장한 이유전체 파인튜닝은 base model의 모든 가중치뿐 아니라 gradient와 optimizer sta..

Microsoft AI Code of Conduct 발표: MAI 모델은 어떻게 통제되나

TECH NEWS · 2026-09-14 발표Microsoft Humanist AI Code of Conduct 초안이 2026년 9월 14일 공개됐습니다. 현재 제품 정책이 즉시 바뀐 것이 아니라, MAI 모델을 향후 어떻게 훈련·평가·운영할지 공개 협의에 부친 문서라는 점이 핵심입니다.핵심 판단이번 발표는 완성된 규정이나 오늘 적용된 모델 업데이트가 아닙니다. 6주간 의견을 받고 연말에 수정본을 내며, Microsoft는 2027년 이후 모델 개발 지침으로 사용할 계획이라고 밝혔습니다.목차무슨 일이 있었나문서 구조핵심 원칙개발자 영향중요성과 한계1. Microsoft가 공개한 것Microsoft AI는 9월 14일 MAI 모델의 의도된 행동과 가치를 정의한 Code of Conduct 초안을 공개했습..

Ollama CPU fallback 해결: Windows·Linux GPU 진단법

TROUBLESHOOTING · OLLAMA / GPUOllama가 GPU를 사용하지 않고 CPU로 실행되면 모델을 다시 설치하기 전에 GPU 지원 여부, 드라이버, Ollama 로그, 실제 모델 적재 상태를 순서대로 확인해야 합니다. Windows의 NVIDIA GPU와 Linux·Docker 환경에서 어디가 끊겼는지 판별하는 방법을 정리합니다.핵심 요약nvidia-smi로 운영체제가 GPU를 보는지 확인하고, ollama ps의 PROCESSOR 열과 서버 로그로 Ollama가 GPU에 어느 정도 적재됐는지 확인하세요. 모델이 VRAM보다 크면 CPU·GPU 혼합 적재는 정상일 수 있습니다.목차증상 구분지원 하드웨어 확인Windows 진단Linux·Docker 진단VRAM과 혼합 적재FAQ1. 먼저 ..

GitHub가 pull request에서 새로 노출된 비밀정보 경고가 해결되지 않으면 병합을 막는 ruleset 규칙을 공개 미리보기로 제공했습니다. GitHub Secret Protection 또는 GitHub Advanced Security를 사용하는 조직이 대상입니다. 2026년 9월 9일 발표 내용과 push protection과의 차이, 적용 전 점검 항목을 정리합니다.핵심 요약발표일·제공 시작: 2026년 9월 9일. 상태: public preview.새 규칙은 PR head commit의 secret scan 완료와 해당 PR이 도입한 미해결 경고가 없는지를 확인합니다. push 전에 차단하는 push protection을 대체하지 않고 PR 병합 단계의 방어층을 추가합니다.목차발생한 일검사..

실행 중인 Docker 컨테이너에서 소스와 패키지를 수정한 뒤 이미지로 남길 수는 있습니다. 하지만 docker commit과 Dockerfile은 목적이 다릅니다. 빠른 진단용 스냅샷과 다시 만들 수 있는 배포 이미지 중 무엇을 선택해야 하는지, volume 누락과 비밀정보 위험까지 비교합니다.핵심 요약일회성 조사·복구 지점은 docker commit이 유용할 수 있습니다. 팀 배포와 반복 빌드는 변경 과정을 Dockerfile·의존성 파일·소스 관리에 기록하세요. commit에는 mounted volume 데이터가 포함되지 않습니다.목차핵심 차이commit이 저장하는 범위재현성과 보안크기·성능·비용상황별 추천과 전환FAQ1. docker commit vs Dockerfile 핵심 차이기준docker ..

인터넷이 차단된 서버에 Docker 이미지를 옮길 때는 레지스트리 대신 docker save와 docker load를 사용할 수 있습니다. 개발 PC에서 이미지 아카이브와 체크섬을 만들고, 대상 서버에서 무결성·태그·플랫폼을 확인해 실행하는 절차를 설명합니다.핵심 요약docker save는 이미지 레이어와 지정한 태그를 아카이브하고 docker load는 이미지와 태그를 복원합니다. 컨테이너 파일시스템을 내보내는 docker export와 혼동하지 마세요.목차목표와 준비이미지 고정과 저장파일 전송과 무결성 검증대상 서버에서 불러오기실행 검증오류 해결과 FAQ1. 목표와 준비 사항출발지와 대상 서버 모두에 Docker Engine 또는 호환되는 Docker CLI·daemon 환경이 필요합니다. 대상 CP..

error: externally-managed-environment는 pip 자체가 고장 났다는 뜻이 아닙니다. 운영체제가 관리하는 Python에 pip가 직접 패키지를 덮어쓰지 못하도록 막은 상태입니다. Ubuntu·Debian 계열에서 이 오류를 만난 개발자가 프로젝트 라이브러리, CLI 도구, 시스템 패키지를 안전하게 나눠 설치하도록 해결 순서를 정리합니다.핵심 요약프로젝트 라이브러리는 venv, 독립 실행형 Python CLI는 pipx, 운영체제 구성요소는 apt를 먼저 검토하세요. --break-system-packages는 보호 장치를 해제하는 옵션이지 일반 해결책이 아닙니다.목차증상과 원인현재 Python 확인프로젝트 패키지 해결CLI·시스템 패키지 해결추가 점검FAQ1. externall..

GitHub Actions 9월 업데이트는 runner 지원 종료일 조회, Dependabot 경고 읽기 권한, 재사용 워크플로 출처 확인을 다룹니다. CI를 관리하는 개발자를 위해 변경점과 적용 시 주의사항을 나눠 정리했습니다. 발표일은 2026년 9월 3일이며, 문서 확인일은 9월 9일입니다.핵심 요약발표는 9월 3일에 현재 사용 가능한 변경으로 소개됐습니다. 별도의 전체 계정 적용 완료일은 명시되지 않았으며, 아래 job.workflow_* 속성은 GitHub Enterprise Server에서 지원되지 않습니다.목차GitHub Actions 9월 업데이트에서 발생한 일runner 등록 종료와 실행 종료는 구분Dependabot 읽기 권한이 분리됩니다재사용 워크플로의 실제 출처 확인사용자 영향과 중..

KV cache는 LLM이 앞선 토큰에서 계산한 Key와 Value를 저장해 다음 토큰 생성에 재사용하는 추론용 캐시입니다. 모델은 GPU에 올라가는데 긴 질문에서 메모리 부족이 생기는 개발자를 위해 작동 원리와 크기 계산을 설명합니다. 모델 가중치와 대화 처리 중 생기는 메모리를 구분하는 것이 핵심입니다.핵심 요약모델 파일 크기가 전체 추론 메모리는 아닙니다. 일반적인 전체 문맥 KV cache는 저장 토큰 수와 동시 처리량이 커질수록 증가합니다.목차KV cache가 필요한 이유입력 처리와 토큰 생성의 흐름가중치와 캐시를 나눠 계산하기Ollama에서 무엇을 확인할까?메모리를 줄이는 선택과 다른 캐시와의 차이FAQ1. KV cache가 필요한 이유자기회귀 모델은 새 토큰을 순서대로 생성합니다. 매번 이전..

conda vs venv는 어느 도구가 더 유명한지보다 무엇을 격리하고 관리할지의 문제입니다. 새 Python 프로젝트를 시작하는 개발자를 위해 런타임, 패키지 범위, 환경 공유와 운영 부담을 비교합니다. 이미 잘 동작하는 환경을 무조건 교체하라는 안내는 아닙니다.핵심 요약설치된 Python으로 프로젝트 패키지를 분리하려면 venv부터 검토하세요. Python 버전과 채널에서 제공하는 비Python 패키지까지 함께 관리해야 한다면 conda가 적합할 수 있습니다.목차conda vs venv 핵심 차이기본 생성 명령과 실제 차이성능·가격을 비교할 때 생기는 오해장단점과 상황별 추천혼용·환경 공유 점검FAQ1. conda vs venv 핵심 차이기준venv + pipconda역할venv가 환경 분리, pip..