keum님의 블로그

COMPARISON · LOCAL LLMOllama vs LM Studio는 CLI와 GUI의 차이만으로 결정할 문제가 아닙니다. 모델 탐색과 수동 튜닝이 중요한지, 스크립트·서비스 자동화가 중요한지, 애플리케이션이 어떤 API를 요구하는지에 따라 선택이 달라집니다.핵심 요약GUI에서 모델을 탐색하고 설정을 관찰하려면 LM Studio가 편하고, CLI·Modelfile·자동화 중심이면 Ollama가 단순합니다. 두 제품 모두 OpenAI 호환 API를 제공하지만 지원 endpoint와 세부 동작이 완전히 같다고 가정해서는 안 됩니다.목차핵심 차이API 호환성모델 관리와 UX비용과 라이선스상황별 추천1. 핵심 차이기준OllamaLM Studio주 사용 흐름CLI·REST API·ModelfileGUI 모..

TECHNICAL CONCEPT · AI AGENTAI Agent Memory와 RAG 차이는 데이터가 vector DB에 있느냐가 아니라 누가 무엇을 언제 쓰고 갱신하는지에 있습니다. RAG는 질문에 필요한 외부 지식을 검색하고, Agent Memory는 사용자·작업·경험 상태를 다음 상호작용까지 이어 줍니다.한 줄 정의RAG는 외부 지식을 읽어 오는 파이프라인이고, Agent Memory는 상호작용에서 얻은 상태를 선택적으로 쓰고 갱신하고 잊는 시스템입니다.목차둘이 혼동되는 이유구조 비교동작 원리실제 Agent 예시설계 체크리스트1. 둘이 혼동되는 이유RAG와 Memory 모두 embedding과 vector search를 사용할 수 있기 때문입니다. 하지만 저장 기술이 같더라도 역할은 다릅니다.제품..

TECH NEWS · 2026-09-15 발표Google은 2026년 9월 15일 Zero-Trust AI Agent 시리즈 Part 2를 공개했습니다. 핵심은 프롬프트 필터만 두는 것이 아니라 도구 호출 직전에 사용자 의도와 업무 정책을 평가하고, 여러 턴에 걸친 이상 행동까지 관찰하는 런타임 거버넌스입니다.핵심 판단이번 발표는 범용 Gemini 모델 업데이트가 아닙니다. Gemini Enterprise Agent Platform에서 Model Armor, Semantic Governance Policies와 Agent Anomaly Detection을 조합하는 설계 및 참조 구현입니다.목차무슨 일이 있었나세 가지 런타임 통제Syntax 검사만으로 부족한 이유개발자에게 미치는 영향중요성과 한계1. 무슨..

TECHNICAL CONCEPT · LLM TRAININGQLoRA는 4비트로 양자화한 거대 언어모델의 기본 가중치는 고정하고, 작은 LoRA 어댑터만 학습해 파인튜닝 메모리를 줄이는 방법입니다. 단순한 4비트 추론과 무엇이 다르고, NF4·double quantization·paged optimizer가 왜 필요한지 설명합니다.한 줄 정의QLoRA = 동결된 4비트 base model을 통과해 gradient를 계산하되, 업데이트는 저랭크 LoRA adapter에만 저장하는 파인튜닝 방식입니다.목차등장 이유전체 구조세 가지 핵심 기술학습 흐름LoRA·양자화와 차이오해와 FAQ1. QLoRA가 등장한 이유전체 파인튜닝은 base model의 모든 가중치뿐 아니라 gradient와 optimizer sta..

TECH NEWS · 2026-09-14 발표Microsoft Humanist AI Code of Conduct 초안이 2026년 9월 14일 공개됐습니다. 현재 제품 정책이 즉시 바뀐 것이 아니라, MAI 모델을 향후 어떻게 훈련·평가·운영할지 공개 협의에 부친 문서라는 점이 핵심입니다.핵심 판단이번 발표는 완성된 규정이나 오늘 적용된 모델 업데이트가 아닙니다. 6주간 의견을 받고 연말에 수정본을 내며, Microsoft는 2027년 이후 모델 개발 지침으로 사용할 계획이라고 밝혔습니다.목차무슨 일이 있었나문서 구조핵심 원칙개발자 영향중요성과 한계1. Microsoft가 공개한 것Microsoft AI는 9월 14일 MAI 모델의 의도된 행동과 가치를 정의한 Code of Conduct 초안을 공개했습..

TROUBLESHOOTING · OLLAMA / GPUOllama가 GPU를 사용하지 않고 CPU로 실행되면 모델을 다시 설치하기 전에 GPU 지원 여부, 드라이버, Ollama 로그, 실제 모델 적재 상태를 순서대로 확인해야 합니다. Windows의 NVIDIA GPU와 Linux·Docker 환경에서 어디가 끊겼는지 판별하는 방법을 정리합니다.핵심 요약nvidia-smi로 운영체제가 GPU를 보는지 확인하고, ollama ps의 PROCESSOR 열과 서버 로그로 Ollama가 GPU에 어느 정도 적재됐는지 확인하세요. 모델이 VRAM보다 크면 CPU·GPU 혼합 적재는 정상일 수 있습니다.목차증상 구분지원 하드웨어 확인Windows 진단Linux·Docker 진단VRAM과 혼합 적재FAQ1. 먼저 ..

GitHub가 pull request에서 새로 노출된 비밀정보 경고가 해결되지 않으면 병합을 막는 ruleset 규칙을 공개 미리보기로 제공했습니다. GitHub Secret Protection 또는 GitHub Advanced Security를 사용하는 조직이 대상입니다. 2026년 9월 9일 발표 내용과 push protection과의 차이, 적용 전 점검 항목을 정리합니다.핵심 요약발표일·제공 시작: 2026년 9월 9일. 상태: public preview.새 규칙은 PR head commit의 secret scan 완료와 해당 PR이 도입한 미해결 경고가 없는지를 확인합니다. push 전에 차단하는 push protection을 대체하지 않고 PR 병합 단계의 방어층을 추가합니다.목차발생한 일검사..

실행 중인 Docker 컨테이너에서 소스와 패키지를 수정한 뒤 이미지로 남길 수는 있습니다. 하지만 docker commit과 Dockerfile은 목적이 다릅니다. 빠른 진단용 스냅샷과 다시 만들 수 있는 배포 이미지 중 무엇을 선택해야 하는지, volume 누락과 비밀정보 위험까지 비교합니다.핵심 요약일회성 조사·복구 지점은 docker commit이 유용할 수 있습니다. 팀 배포와 반복 빌드는 변경 과정을 Dockerfile·의존성 파일·소스 관리에 기록하세요. commit에는 mounted volume 데이터가 포함되지 않습니다.목차핵심 차이commit이 저장하는 범위재현성과 보안크기·성능·비용상황별 추천과 전환FAQ1. docker commit vs Dockerfile 핵심 차이기준docker ..

인터넷이 차단된 서버에 Docker 이미지를 옮길 때는 레지스트리 대신 docker save와 docker load를 사용할 수 있습니다. 개발 PC에서 이미지 아카이브와 체크섬을 만들고, 대상 서버에서 무결성·태그·플랫폼을 확인해 실행하는 절차를 설명합니다.핵심 요약docker save는 이미지 레이어와 지정한 태그를 아카이브하고 docker load는 이미지와 태그를 복원합니다. 컨테이너 파일시스템을 내보내는 docker export와 혼동하지 마세요.목차목표와 준비이미지 고정과 저장파일 전송과 무결성 검증대상 서버에서 불러오기실행 검증오류 해결과 FAQ1. 목표와 준비 사항출발지와 대상 서버 모두에 Docker Engine 또는 호환되는 Docker CLI·daemon 환경이 필요합니다. 대상 CP..

error: externally-managed-environment는 pip 자체가 고장 났다는 뜻이 아닙니다. 운영체제가 관리하는 Python에 pip가 직접 패키지를 덮어쓰지 못하도록 막은 상태입니다. Ubuntu·Debian 계열에서 이 오류를 만난 개발자가 프로젝트 라이브러리, CLI 도구, 시스템 패키지를 안전하게 나눠 설치하도록 해결 순서를 정리합니다.핵심 요약프로젝트 라이브러리는 venv, 독립 실행형 Python CLI는 pipx, 운영체제 구성요소는 apt를 먼저 검토하세요. --break-system-packages는 보호 장치를 해제하는 옵션이지 일반 해결책이 아닙니다.목차증상과 원인현재 Python 확인프로젝트 패키지 해결CLI·시스템 패키지 해결추가 점검FAQ1. externall..