Django에서 OpenAI API로 LLM 스트림 출력 시 실시간 출력 문제 해결AS-IS문제상황 인지Django를 사용하여 OpenAI API로 LLM의 스트림 출력 구현 시, HTML에서 실시간 출력이 되지 않는 문제 발생 해결하려고 하는 문제스트림 데이터를 HTML에서 지연 없이 실시간으로 출력 만들고 싶은 기능OpenAI API의 스트림 결과를 HTML 화면에 실시간으로 출력 Challenge문제해결을 위해 고민한 내용 Django에서 OpenAI API를 사용해 스트림 데이터를 반환 HTML에서 서버로부터 전달된 스트림 데이터를 실시간으로 렌더링 Nginx를 사용한 리버스 프록시 설정 문제 확인 어떻게 기술적으로 해결했는지Nginx 설정에서 proxy_buffering 옵션이 켜져..

AS-IS현재 상황에서 인식한 문제점과 해결하고자 하는 내용입니다.문제상황 인지 EC2에서 Docker와 Nginx를 통해 MLflow 서버를 실행하고 있음. MLflow 서버에 별도의 인증 절차가 없어 누구나 접속 가능한 보안 문제가 발생. 보안 그룹 설정은 있지만 근본적으로 접근 통제를 위한 추가적인 보안이 필요함.Challenge문제를 해결하기 위해 고민하고 기술적으로 접근한 과정입니다.문제 해결을 위해 고민한 내용 Nginx에서 인증 절차를 구현하기 위한 방법을 찾아야 함. 검색을 통해 Nginx에서 사용자 인증을 제공하는 htpasswd 방법을 발견함. 참고한 자료: htpasswd로 ID, 패스워드 생성시에 SHA 암호화방식으로 암호생성하기htpasswd 설치 방법 htpasswd..

MLflow란?MLflow는 머신러닝 모델 실험, 관리, 배포, 모니터링, 재현성을 지원하는 오픈 소스 플랫폼임. 다양한 머신러닝 프레임워크(TensorFlow, PyTorch, Scikit-learn 등)와 호환되며, 실험 기록, 모델 관리, 배포 워크플로우를 간소화함. 특히, 중앙화된 실험 관리와 프로덕션 단계까지의 일관된 프로세스를 제공하여 머신러닝 프로젝트의 생산성을 높이는 데 기여함.MLflow의 주요 구성 요소1. MLflow Tracking실험 기록 및 관리.하이퍼파라미터, 모델 메트릭, 결과 등을 체계적으로 관리.2. MLflow Projects프로젝트 종속성을 명시적으로 정의하여 재현성을 보장.3. MLflow Models모델 저장 및 배포 표준화.다양한 배포 환경에 적합한 모델 변환 및..

Nginx를 이용한 라우팅과 프록시의 차이Nginx는 웹 서버이자 리버스 프록시, 로드 밸런서로 널리 사용되는 도구로, 웹 애플리케이션의 성능과 보안을 강화하는 데 중요한 역할을 함.Nginx의 주요 기능 중 라우팅과 프록시의 차이를 명확히 이해하는 것은 효율적인 서버 설정에 필수적임.1. 라우팅(Routing)과 프록시(Proxy) 개념라우팅정의: 클라이언트의 요청을 처리하기 위해 특정 URL 경로를 설정하고, 요청을 적합한 처리기로 전달하는 작업.주요 목적:URL 경로에 따라 정적 파일, 특정 애플리케이션, 또는 다른 서버에 요청 전달.요청 경로 기반으로 다중 서비스 분기.특징:라우팅은 프록시를 포함하는 개념임. 즉, 요청을 특정 서버로 전달하는 작업은 프록시의 역할을 수행함.하지만 모든 프록시가 반..