개요Docker로 CVAT(Computer Vision Annotation Tool)을 운영하던 중 갑자기 아래와 같은 팝업이 발생했다.Cannot connect to the serverMake sure the CVAT backend and all necessary services(Database, Redis and Open Policy Agent) are running and available.If you upgraded from version 2.2.0 or earlier, manual actions may be needed,see the Upgrade Guide.모든 컨테이너는 정상적으로 Up 상태였고, API도 응답하고 있었다.원인을 찾는 데 예상보다 시간이 걸렸으며, 최종 원인은 WSL2 디스크..
전체 글
공부한 것, 배운 것들을 기록합니다환경: RTX 5090 (Blackwell, sm_120) / PyTorch 2.8.0+cu129 / ultralytics YOLOv8 / FastAPI상황1초에 1번씩 이미지를 분석하는 서버에서 갑자기 아래와 같은 TIMEOUT 에러가 발생했다.[ENGINE] timeouttime1: 3.003807306289673정상적으로 동작할 때는 time1이 약 0.02초(20ms)였는데, 특정 요청부터 3초가 넘어가기 시작했다.원인 찾기실제 hang 위치 특정각 단계별 로그를 추가했다.print("[DEBUG] predict start")torch.cuda.synchronize()print("[DEBUG] pre-forward sync complete")result = self.model(im, ...)tor..
1. EC2 고속 저장소의 비밀: /dev/mapper와 LVMAI 학습 인스턴스에서 보이는 /dev/mapper 경로는 고성능을 위한 스토리지 구성의 핵심1.1. /dev/mapper의 정의와 역할정의: /dev/mapper는 Linux Device Mapper (장치 매퍼) 시스템에 의해 생성된 가상 장치 파일비유: 여러 개의 작은 창고'(디스크)를 하나로 합쳐서 쓰는 '가상의 대형 창고 관리 시스템'역할: 하위의 물리적 장치(/dev/nvme0n1 등)와 상위의 파일 시스템 사이에 위치하며, 물리적 디스크를 논리적으로 조합하고 관리할 수 있게 해주는 Linux 커널 프레임워크.1.2. vg.01-lv_ephemeral의 구성 원리/dev/mapper/vg.01-lv_ephemeral은 Device ..
본 포스팅은 아래 유투브 방송을 기반으로 정리하였습니다.https://www.youtube.com/live/zHN2jDZHvI0?si=6qdOcUgd0PvbX_ke GraphRAG의 경우 기술 자체의 매력도 있지만, 빅테크의 기술 마케팅 활동, 마이크로 소프트의 GraphRAG 기술 공개, (확실하진 않지만) 팔란티어 사례로 주목을 받고 있는 것으로 판단됨하지만, GraphRAG의 경우 비용 문제가 큰 걸림돌인데, 그 이유는 특정 기준을 만족할 때까지 계속 반복되는 현상 때문임. 따라서, 엔티티의 정확도를 기반으로 비용이 달라질 수 있음. 따라서, 문서간의 데이터나 관계 파악이 중요하지 않는다면 기존 RAG를 사용하는 것이 더 나을 수 있음. 특히 관계 정의가 부실하다면 기존 벡터 기반 RAG보다 성능이..
문제 상황환경: AWS g5.12xlarge, CUDA 12.4, PyTorch 2.4 + DeepSpeed ZeRO-3 + Flash-Attn + InternVL3-2B에러 증상: 학습 도중 !block->expandable_segment_ 발생RuntimeError: !block->expandable_segment_ INTERNAL ASSERT FAILED at "../c10/cuda/CUDACachingAllocator.cpp":2586특징:특정 step에서 GPU OOM으로 터짐expandable_segments=True 설정 시 주로 재현DeepSpeed ZeRO-3 + gradient checkpointing이 켜진 상태에서 자주 발생원인 분석PyTorch CUDA allocator의 expa..
그 어디에도 문서가 친절하게 되어 있지 않아서, 작성해본다.- 환경 : WSL Ubuntu 24.04LTS, CUDA 12.4, Docker Desktop 설치 완료1. https://org.ngc.nvidia.com/ 계정 생성 및 API key 받기 2. 환경 설치$ git clone https://github.com/NVIDIA/tao_tutorials.git$ cd tao_tutorials/setup$ bash quickstart_launcher.sh --install이런 식으로 docker login nvcr.io 를 하라고 나온다. 이 때, 다시 dockr login을 하고, 생성한 API key를 입력한다$ docker login nvcr.ioUsername: $oauthtokenPasswo..