redis clients springboot springboot_connection_pool

Redis Connection Pool and Thread

Redis Developer Course	Redis Technical Support	Redis Enterprise Server

Redis Connection Pool and Thread

Spring Boot에서 Redis Connection Pool 사용 방법과 Thread로 테스트 결과를 설명합니다.

• Spring Boot: 3.1.4
• Spring: 6.0.12
• Lettuce: 6.2.6
• commons-pool2: 2.11.1

Connection Pool 설정 - LettuceConnectionFactory

• Connection Pool을 사용하지 않을 경우: LettuceClientConfiguration를 사용합니다. LettuceClientConfiguration clientConfig = LettuceClientConfiguration.builder() .clientName(clientName) .build();
• Connection Pool을 사용할 경우: GenericObjectPoolConfig에 연결 수를 설정하고, LettucePoolingClientConfiguration를 사용해서 poolConfig(genericObjectPoolConfig)를 설정합니다. GenericObjectPoolConfig genericObjectPoolConfig = new GenericObjectPoolConfig(); genericObjectPoolConfig.setMaxTotal(10000); genericObjectPoolConfig.setMaxIdle(10000); genericObjectPoolConfig.setMinIdle(10); LettucePoolingClientConfiguration clientConfig = LettucePoolingClientConfiguration.builder() .clientName(clientName) .poolConfig(genericObjectPoolConfig) .build();
• connectionFactory.setShareNativeConnection(true/false) 설정: 기본값은 true입니다. LettuceConnectionFactory connectionFactory = new LettuceConnectionFactory(redisConfig, clientConfig); connectionFactory.setShareNativeConnection(true);
  • TRUE: Connection Pool을 설정해도 Redis와 연결은 1개만 맺습니다. Connection Pool을 적용하려면 false로 설정해야 합니다.
  • FALSE: Connection Pool을 사용하려면 false로 설정해야 합니다. 이 경우 스레드마다 스레드 시작 시 Redis 서버와 연결을 하나씩 맺습니다. 스레드가 100개이면 Redis 서버에 100개의 연결이 생깁니다.
  • Connection Pool을 설정하지 않은 상태에서 FALSE로 했을 경우: 명령 실행 시 연결이 필요하다고 판단되면 연결을 맺습니다. 연결 개수가 일정하지 않습니다.
    테스트해보면 연결 시에도 문제가 발생할 수 있고, 성능에도 좋지 않습니다. 권장하지 않습니다.

RedisConfig.java

package com.redisgate.redisthread; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.apache.commons.pool2.impl.GenericObjectPoolConfig; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.connection.RedisStandaloneConfiguration; import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory; import org.springframework.data.redis.connection.lettuce.LettucePoolingClientConfiguration; @Configuration @Slf4j @RequiredArgsConstructor public class RedisConfig { @Value("${redis.host}") private String host; @Value("${redis.port}") private int port; @Value("${redis.password}") private String password; @Value("${redis.clientName}") private String clientName; @Bean public LettuceConnectionFactory redisConnectionFactory() { log.info("host: {}", host); log.info("port: {}", port); // Redis Config RedisStandaloneConfiguration redisConfig = new RedisStandaloneConfiguration(host, port); redisConfig.setPassword(password); // Client Config // Connection Pool을 사용하지 않을 경우 이 설정 사용 // LettuceClientConfiguration clientConfig = LettuceClientConfiguration.builder() // .clientName(clientName) // .build(); // Connection Pool을 사용할 경우 이 설정 사용 GenericObjectPoolConfig genericObjectPoolConfig = new GenericObjectPoolConfig(); genericObjectPoolConfig.setMaxTotal(10000); genericObjectPoolConfig.setMaxIdle(10000); genericObjectPoolConfig.setMinIdle(10); LettucePoolingClientConfiguration clientConfig = LettucePoolingClientConfiguration.builder() .clientName(clientName) .poolConfig(genericObjectPoolConfig) .build(); LettuceConnectionFactory connectionFactory = new LettuceConnectionFactory(redisConfig, clientConfig); connectionFactory.setShareNativeConnection(true); return connectionFactory; } }

Thread 설정

Thread 개수를 입력 받아 실행합니다. 각 thread 당 1000번 save(set 명령)을 실행합니다.

StringController.java

package com.redisgate.redisthread; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.*; import java.sql.Timestamp; @RestController @Slf4j @RequestMapping("/api/") public class StringController { @Autowired StringRepository stringRepository; @GetMapping("save/{size}") public void saveTest(@PathVariable("size") int size) { Thread[] thread = new Thread[size]; for (int i=0; i < size; i++) { thread[i] = new Thread(new Runnable() { @Override public void run() { save(); } }); } for (int i=0; i < size; i++) { thread[i].setName("Thread"+i); thread[i].start(); } } public void save() { int count = 1000; // save Thread thread = Thread.currentThread(); String threadName = thread.getName(); log.info("Redis Multi Thread 성능 테스트 - Save: {}", threadName); Timestamp startTime = new Timestamp(System.currentTimeMillis()); for (int i=0; i<count; i++) { stringRepository.save(threadName+"-"+i, "value-"+threadName+"-"+i); } Timestamp endTime = new Timestamp(System.currentTimeMillis()); log.info("{} 소요시간: {}회 -> {} ms (시작:{} ~ 종료: {})", threadName, count, endTime.getTime()-startTime.getTime(), startTime, endTime); // millis } }

Repository 설정

Save 메소드에서 set 명령을 실행합니다.

StringRepository.java

package com.redisgate.redisthread; import lombok.extern.slf4j.Slf4j; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.core.ValueOperations; import org.springframework.stereotype.Repository; @Repository @Slf4j public class StringRepository { private ValueOperations redisString; public void save(String key, String value) { redisString.set(key, value); } }

Project 생성

start.spring.io
common-pool2는 dependencies에 없습니다.

Project: Gradle Language: Java Spring Boot 3.1.4 Group: com.redisgate Artifact: redis-thread Packaging: Jar Java: 17 Dependencies Spring Web Lombok Spring Data Redis(Access+Driver)

build.gradle

dependencies에 implementation 'org.apache.commons:commons-pool2' 추가했습니다.

plugins { id 'java' id 'org.springframework.boot' version '3.1.4' id 'io.spring.dependency-management' version '1.1.3' } java { sourceCompatibility = '17' } dependencies { implementation 'org.springframework.boot:spring-boot-starter-data-redis' implementation 'org.springframework.boot:spring-boot-starter-web' implementation 'org.apache.commons:commons-pool2' compileOnly 'org.projectlombok:lombok' annotationProcessor 'org.projectlombok:lombok' testImplementation 'org.springframework.boot:spring-boot-starter-test' }

성능 테스트 Performance Test

레디스 서버와 연결(connection)이 1개일 때와 여러 개(스레드 당 1개)일 때 성능 비교.

• 일반적으로 여러 스레드가 1개 연결을 사용하는 것보다는 스레드당 1개 연결을 사용하는 것이 성능이 더 좋을 거라는 생각.
  
• 1개 연결을 공유하게 하는 setShareNativeConnection()의 기본 값이 왜 true로 했을까에 대한 의문

결과: 스레드(1~100)까지는 Case 1,2의 성능이 거의 같다. (약간의 숫자 차이는 있지만 성능 테스트마다 숫자는 조금씩 다르게 나올 수 있으므로 가의 같은 것으로 본다.)
스레드(500, 1000)에서는 Case 2가 성능이 떨어진다. Case 2에서 스레드 5000은 스레드 시작 시 레디스 서버와 연결을 맺는데 연결 맺는 시간이 너무 오래 걸려서 테스트가 불가능했다.
결론: 연결 1개를 사용하는 것이 성능에 좋다.

Case 1: 연결 1개

setShareNativeConnection(true), true는 기본값이다.

Case 2: 연결 여러 개

setShareNativeConnection(false), setMaxTotal(10000);

• SET(us): Client 기준으로 SET 명령 1개당 걸린 시간(microsecond, μs), 레디스 서버 기준으로 약 3μs 정도 걸린다.
• 서버CPU: 20%를 넘지 못했다. 서버 CPU를 100% 다 사용하게 하려면 client(agent) 개수를 늘려야 한다.