본문 바로가기

분류 전체보기207

Redis를 데이터베이스 답게 사용하는 다양한 방법 안녕하세요. POD 백엔드팀 고희광입니다.이전에 redis를 이용한 분산락 적용으로 이벤트 참여 동시성 이슈를 개선한 것과 더불어 다양한 방법으로 redis를 활용하는 방법을 소개하고자 합니다.먼저 사내에서 redis를 사용하는 사례에는 대표적으로 세가지가 있습니다.JWT 토큰 저장캐시 저장분산락흔히 redis가 뭔지 물어보면 메모리기반이라 빠르다, 싱글스레드이다 등의 답변을 받습니다.하지만 redis가 휘발성 데이터만 저장한다 생각하며 NoSQL 데이터베이스라는 성격을 띄고있는 것에 관심가지지 않는 것 같아 몇가지 사례를 예로 들고자 합니다.이벤트 중복 참여 제한하기이벤트 중복 참여의 경우 분산락을 통해 중복참여 체크 로직에서 걸러지게 되어있습니다.하지만 락을 사용하지 않은 경우 한 회원의 연속된 쿠폰.. 2025. 1. 23.
S3 파일업로드, 어떻게 하고 계세요? 안녕하세요.지난 2년이 넘는 기간동안 이미지, PDF 리소스를 중심으로 서비스를 제공하며 겪었던 문제를 AWS에서 제공하는 pre signed url로 해결한 경험을 공유하고자 합니다.기술 스택SpringBootS3IDC, AWS EC2, AWS ECS문제먼저 기존의 파일 업로드 과정은 다음과 같습니다. 이러한 형태의 파일 업로드는 가장 일반적으로 사용하는 파일 업로드 과정이며 MultipartFile 등을 이용해 백엔드 서버에서 S3 스토리지로 직접 업로드를 수행합니다.저희 서비스의 경우 이미지를 주로 다루며 고해상도 이미지 사용과 PDF 업로드를 제공하기 위해 파일 업로드 용량 제한을 크게 설정해 두었습니다.그리고 다음과 같은 장애가 간헐적으로 발생했습니다.대용량 파일을 연속적으로 업로드하는 경우 g.. 2025. 1. 23.
Feign에서 multipart/form-data json 조금 더 잘 다루기 업무 중 외부 API 호출이 필요한 상황이 생겼습니다. 이미 사용하고 있던 ClientAPI는 FeignClient였고, 평소 Get, Post 그리고 application/json 형식의 요청을 주로 사용했습니다. 하지만 이번 경우에는 Multipart/form-data 형태의 요청 그리고 File과 json을 함께 전송하는 것을 필요로 했습니다. (예시) 외부 API의 컨트롤러 형태는 다음과 같습니다. Post 요청의 consumes는 Multipart/form-data 이며, 각각의 mapVlues, longValues, fileValue는 모두 @RequestPart로 요청받고 있습니다. 단순히 생각했을 때, 이 API를 feignClient로 요청한다면 아마 다음과 같은 interface를 구성.. 2024. 3. 10.
LOKI + Grafana를 사용한 분산 환경의 로그 수집 서버 개발을 진행하고 운영하면서 누구나 맞이하는 상황 중 하나는 로그 수집입니다.최근 대부분의 서비스는 최소 2대 이상의 서버를 운용해 고가용성을 보장하고, 자원 사용량에 따라 오토스케일링 등의 스케일 아웃을 구성합니다.이전에 ELK 스택을 사용해 Springboot 로그 수집하기 와 같이 ELK 스택을 사용해서 분산환경의 로그를 수집했지만, 관리포인트 증가로 인해 불편함이 있었고, 매트릭 수집을 위한 Prometheus + Grafana 도 함께 사용하기 위해 프로메테우스 제단의 로그 수집 툴 Loki를 적용했으며 이 과정을 공유합니다.Loki 설치로그 수집 시스템을 구축하면서 가장 중요하게 생각한것은 스토리지에 대한 문제입니다.로그 특성상 항상 새로운 데이터가 스토리지에 저장되고, 시간이 지남에 따라.. 2024. 3. 3.
백엔드 서비스 운영시 고려해야할 점 지난 한 해 동안 사내에서 신규 서비스를 개발 및 오픈하게 되었습니다.🎉 보통 주니어 개발자는 입사 후 아래와 같은 상황인 경우가 많을 것이라 생각됩니다. 기존 운영되고 있던 서비스를 운영 개인(토이) 프로젝트 개발 -> 때에 따라 실제 서비스 오픈 (하지만 서비스 이용자가 많이 없어 배포까지만 완료하는 경우가 많음) 시니어 개발자가 프로젝트 설정 후 API 개발만을 담당함 저 또한 같은 주니어 개발자 입장이지만 팀 내 프로젝트 개발 표준 구성 데브옵스 & 인프라 구성 를 모두 담당하게 되면서 단순히 API 개발만 했더라면 알지 못하고 넘어갔을 내용들을 정리하여 공유하려 합니다. Java + Springboot 환경을 기준으로 작성합니다👋 요청 당 로그 트레이싱 서비스를 오픈하고 운영하는 단계 또는 그 .. 2024. 1. 21.
스프링부트 커넥션 설정도 체크하자 Issue 배치를 통해 async로 호출하는 API에서 응답시간이 60초 또는 30초, 심지어 에러까지 발생해서 정상 응답하지 않는 문제가 발생했습니다. 위 내용을 보면 HikariPool에서 커넥션을 30초동안 얻지 못해 생긴 에러임을 알 수 있습니다. TroubleShooting 첫 번째 의심 API 요청에 대한 응답이 너무 느려 타임아웃이 나는건가? 아닙니다. 직전 요청이 외부 서비스에 주문상태를 전달하는 Feign 요청이지만, 그렇다면 우리의 DB에서 커넥션을 얻지 못한다는 내용을 이렇게 상세하게 추적할 수 있을 리가 없습니다. 두 번째 의심 우리 DB가 문제가 있나? 아닙니다. 에러로그도 없고 데이터베이스 헬스체크 실패에 대한 로그도 없을 뿐더러, 동시간대 같은 API에 요청이 정상 응답한 경우.. 2024. 1. 21.
3년차 백엔드 개발자의 2023년 회고 2023년의 나, 참 열심히 했고 고생했다! 벌써 3년이라니? 2020년, 대학교 교양강의를 통해 개발자라는 길로 들어선지 벌써 4년째 그리고 실무에서 개발을 한 지 벌써 3년이 되었다. 마냥 개발자가 되겠어! 라는 생각을 가지고 달려왔고 수학교육 전공, 국비 교육, SI 부터 서비스회사로 이직하기까지 돌아보면 꽤나 괜찮게 2023년을 마무리 하는 것 같다. 백엔드 개발자로서 할 수 있는 많은 것들을 해보았다. 신규 서비스 구축 및 운영 올해 현재 내가 속하고 있는 조직은 두가지 서비스를 운영중이고, B to C 가 아닌 B to B 서비스로 신규 개발, 운영하는 것이 가장 큰 과제였다. 10년 가까이 운영되고 있던 두가지 서비스의 메인 기능을 외부 기업에 제공한다는 것은 생각보다 복잡한 과제였다. 10.. 2024. 1. 2.
AWS ECS + Fargate 를 이용해 애플리케이션 배포하기 현재 저희 백엔드 팀 신규 프로젝트의 인프라는 AWS ECS + fargate 으로 운영되고 있습니다. 저희 팀의 데브옵스 성격의 작업을 대부분 담당하는 입장에서 팀원 모두가 기본적인 인프라 구성을 이해해야 하고, 신규 서버 생성시 배포환경을 구성하는 과정을 정리할 필요성이 있다고 느껴 해당 글을 작성합니다. 왜 ECS + Fargate 인가? ECS를 선택한 이유는 여러가지 있습니다. 별도의 인스턴스 설정을 AWS 웹 또는 CLI에서 편리하게 설정할 수 있습니다. 데브옵스를 담당하는 팀(개발자) 인력이 별도로 존재하지 않을 때, ECS에 대한 이해도만 어느정도 있다면 서비스 운영을 할 수 있습니다. 기존 운영되고 있던 두개 서비스 모두 EC2 인스턴스 또는 마이그레이션 되지 않은 IDC 서버에서 운영되.. 2024. 1. 1.
Mysql 데이터정렬 collation 이슈 해결하기 Mysql 데이터정렬 collation 이슈 해결하기 Issue Springboot + jpa + querydsl 환경의 백엔드 개발 도중 당황스러운 에러가 나타났습니다. queryFactory.select() .from(entityA) .leftJoin(entityB) .on(entityA.entityBIdString.eq(entityB.entityBId.stringValue())) .fetch(); 먼저 간단히 환경은 entityA와 entityB는 논리상 N : 1 관계 데이터베이스 설계상 entityB의 id (entityBId) 컬럼은 bigint이고, entityA의 entityBIdString 컬럼은 varchar 타입 entityA와 entityB는 jpa entity에서 manyToOne.. 2023. 12. 22.

티스토리툴바