Chamber: GPU 인프라 관리를 위한 AI 에이전트

Chamber는 Amazon의 GPU 인프라 운영 경험을 가진 팀이 구축한 GPU 인프라 관리를 위해 설계된 AI 에이전트입니다. 이 에이전트는 노드, 워크로드, 팀 구조, 클러스터 상태를 포함한 GPU 플릿의 라이브 모델을 유지하는 제어 평면 역할을 합니다.

핵심 기능

Chamber는 AI 에이전트가 호출할 수 있는 구조화된 작업을 통해 인프라 작업을 처리합니다:

• 노드 상태 점검
• 클러스터 토폴로지 읽기
• 워크로드 라이프사이클 관리
• 리소스 구성 조정
• 인프라 프로비저닝

이러한 작업에는 단순한 셸 명령어를 넘어서는 검증 및 롤백 기능이 포함됩니다. 플랫폼에 새로운 기능이 추가되면 자동으로 에이전트에서 사용할 수 있게 됩니다.

안전성과 자율성

이 시스템은 안전을 위해 점진적 자율성을 구현합니다:

• 일상적인 작업은 자동으로 처리: 실패한 작업 진단, 수정된 리소스로 재제출, 불량 노드 격리
• 다른 팀의 워크로드나 프로덕션 작업에 영향을 미치는 작업은 인간 승인 필요
• 모든 작업은 에이전트가 관찰한 내용, 행동한 이유, 변경한 사항과 함께 기록됨

진단 기능

실패를 조사할 때 Chamber는 여러 데이터 소스를 쿼리합니다:

• GPU 상태
• 워크로드 기록
• 노드 상태 타임라인
• 클러스터 토폴로지

이를 통해 일반적인 "작업이 OOMed되었습니다"에서 "이 노드의 사용 가능한 VRAM을 초과하는 배치 크기 때문에 작업이 OOMed되었습니다. 수정된 구성은 다음과 같습니다."와 같은 상세한 설명으로 구체적인 근본 원인 분석이 가능해집니다.

플랫폼 기능

가져온 페이지 내용을 바탕으로, Chamber에는 다음이 포함됩니다:

• 고급 검색 및 필터링 기능을 갖춘 워크로드 탐색기
• GPU 사용률을 보여주는 대시보드 (예: 256개 GPU 중 198개 활성)
• 성공률 추적 (24시간 동안 94.9%, 7개 실패)
• 대기열 깊이 및 예상 대기 시간 모니터링
• 워크로드별 비용 추적

지원 인프라

Chamber는 다음과 함께 작동합니다:

• 멀티 클라우드: AWS, GCP, Azure
• 온프레미스 클러스터
• Slurm 및 Kubernetes
• 모든 환경을 아우르는 하이브리드 설정

보안 및 설정

• SOC 2 Type I 인증 획득
• 사용자의 인프라 내에서 실행 (모델, 데이터셋, 코드는 사용자 환경을 벗어나지 않음)
• 기존 워크플로우에 지장 없이 Chamber 팀이 배포 처리

이 도구는 창립자들이 관찰한 일반적인 문제점을 해결합니다: 플랫폼 엔지니어가 유지 관리 작업에 상당한 시간을 소비하고, 연구원들이 분리된 도구들 사이에서 실패를 디버깅하는 데 시간을 잃으며, 높은 하드웨어 비용에도 불구하고 팀이 GPU 사용률에 대한 가시성이 부족한 문제입니다.