728x90 AI26 Kafka Consumer 성능향상 Kafka Consumer Thread(하나의 스레드)에 멀티 스레드를 추가하여 성능을 향상시키는 방법은 몇 가지가 있습니다. 일반적으로 Kafka의 poll() 메서드는 단일 스레드에서 실행해야 하지만, 그 후의 데이터 처리는 멀티 스레드로 확장할 수 있습니다.1. 기본 개념Kafka Consumer Thread(단일 스레드): poll()을 실행하고 메시지를 가져옴.멀티 스레드(Worker Threads): 가져온 메시지를 병렬로 처리.💡 Kafka Consumer는 병렬 처리를 위해 poll()을 여러 개의 스레드에서 실행할 수 없음.➡ 따라서 한 개의 Consumer Thread에서 poll()을 실행하고, 데이터를 Worker Threads로 분배하는 방식이 필요함.2. 구현 방식(1) Con.. 2025. 3. 21. Trino(트리노) 설치 1. 사전 준비(1) CentOS 버전 확인cat /etc/os-releaseCentOS 7 이상 권장(2) Java 설치 (Trino는 Java 11 이상 필요)sudo yum install -y java-11-openjdk설치 확인:java -versionOpenJDK 11 또는 그 이상이 출력되어야 합니다.2. Trino 다운로드 및 설치(1) Trino 서버 다운로드wget https://repo1.maven.org/maven2/io/trino/trino-server/414/trino-server-414.tar.gz최신 버전은 공식 다운로드 페이지에서 확인 가능(2) 압축 해제 및 이동tar -xvzf trino-server-414.tar.gzsudo mv trino-server-414 /opt/.. 2025. 3. 20. 온도 데이터를 활용한 예측 시스템 Java로 RDB의 온도 데이터를 활용한 예측 시스템에 적용할 수 있는 최적화된 알고리즘은 여러 가지가 있습니다. 데이터의 특성과 예측 목적에 따라 다음과 같은 알고리즘들이 효과적입니다:시계열 예측 알고리즘ARIMA(AutoRegressive Integrated Moving Average)시간적 의존성을 모델링하는 데 탁월함계절성, 추세, 주기성을 포함한 복잡한 시계열 패턴 처리 가능Java 구현: Apache Commons Math, Weka 라이브러리 활용 가능지수 평활법(Exponential Smoothing)단순/이중/삼중 지수 평활법 및 Holt-Winters 방법계산 비용이 낮으면서도 효과적인 단기 예측 제공냉장고 온도와 같은 점진적 변화에 적합ProphetFacebook에서 개발한 시계열 예.. 2025. 3. 14. Precise Throughput Timer를 사용하여 TPS(초당 요청 수) 를 조절하는 방법 ✅ Precise Throughput Timer를 이용한 TPS 설정 방법1. Thread Group 설정JMeter 실행 후 Test Plan 생성Thread Group 추가Test Plan > Add > Threads (Users) > Thread GroupThread Group 기본 설정Number of Threads (Users): 50Ramp-Up Period (초): 0 (즉시 시작)Loop Count: Forever (또는 특정 횟수 지정)Duration (초): 3600 (1시간 동안 실행)2. HTTP Request 추가Thread Group 선택 후:Add > Sampler > HTTP RequestHTTP Request 설정Server Name or IP: 서버 주소 입력Method:.. 2025. 3. 6. DB 데이터를 직접 머신러닝 모델 학습에 활용하는 방법 📌 DB 데이터를 직접 머신러닝 모델 학습에 활용하는 방법JDBC를 사용하여 MySQL (또는 다른 DB)에서 데이터 가져오기데이터를 Weka, Smile, DL4J 등의 라이브러리를 활용하여 학습학습된 모델을 저장 및 예측 API로 제공🔹 1. Weka를 활용한 Random Forest 학습📌 1️⃣ DB에서 데이터 가져오기 (MySQL 예제)먼저, 데이터베이스에서 냉장고 온도 데이터를 가져와서 Weka Instances 형식으로 변환합니다.import weka.classifiers.trees.RandomForest;import weka.core.Instances;import weka.core.converters.ConverterUtils.DataSource;import weka.experimen.. 2025. 3. 3. 이전 1 2 3 4 ··· 6 다음 728x90