본문 바로가기

System

Podman Rootless Container 의 PID/User Namespace
2024. 2. 15. PID Namespaces PID Namespace는 PID에 대한 격리를 제공하는 Namespace로 자신의 PID 네임스페이스 내의 다른 프로세스만 볼 수 있고, 상위 혹은 다른 PID Namespace 내의 프로세스 정보는 확인할 수 없다. 즉, Process 에 대한 격리를 위하여 사용된다. 기능 자체가 Kernel 단에서 처리되는 것이기 때문에 100% 안전할 수 있다고 없지만 Container에서 Process 격리를 위해 선택되고 있다. 만약 좀 더 보안을 강화 한다면 SandBox 형태의 kata-container에 대한 부분도 고려하는 것이 좋아 보인다. 아래와 같이 lsns 명령을 이용하여 Namespace 사용 중인 리스트를 출력할 수 있고, "-t pid" 옵션을 추가하여, PID ..
Podman short-name 설정
2023. 12. 30. 일반적으로 docker 를 사용하여 container image 를 pull 하는 경우 아래와 같이 docker.io에 있는 정보를 확인 하여 container image 를 pull 하게 된다. root@cyyoon-mgt:~# docker version Client: Docker Engine - Community Version: 20.10.11 API version: 1.41 Go version: go1.16.9 //.. root@cyyoon-docker-os:~# docker pull nginx Using default tag: latest //.. Status: Downloaded newer image for nginx:latest 하지만, podman의 경우는 동일하게 pull 하게 된다면, "..
Nginx Architecture 분석
2021. 12. 31. 아래 작성된 글은 개인적으로 Nginx에 대하여 분석하기 위하여 여러 정보들을 수집 및 테스트한 결과를 정리한 것으로 잘못된 부분이 있거나, 인용이 잘못된 부분이 있을 수도 있습니다. 피드백 주시면 수정 하겠습니다 :) Traditional Web Server 전통적인 웹서버에서는 threads/process 기반으로 사용하는 경우가 많다. 이러한 경우 Client 요청당 하나의 Thread 가 처리하는 구조로 요청하는 량이 많아 짐에 따라서 생성되는 Thread 가 많아지게 된다. 이러한 방법은 메모리에 TCB나 PCB를 생성 하기 위한 공간이 많아지고 , Process 나 Thread를 관리하기 위한 추가 적인 CPU 작업이 많아지게 되고 이는 잦은 Context Switching으로 연결된다. 그래..
Curator 를 이용한 오래된 index 자동 삭제
2018. 10. 21. Curator? Curator는 elasticsearch 의 관리를 위하여 반복적인 작업을 ymal파일 형태로 저장 하여 실행하는 기능을 수행 한다. 인덱스의 삭제/생성, 스냅샷의 생성/삭제, shard routing allocation 변경 등을 진행 한다. 참조: https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/about-features.html Curator 설치 내부망 환경에서 설치 되어 있기때문에 외부 인터넷 망에서 virtualenv로 설치 후, 해당 폴더를 그래도 이동 하여 사용 중임 pip을 이용 하여 elasticsearch-curator 설치(elasticsearch-curator5 버전으로 elasticsearch5,..
Elasticsearch Hot Warm Architecture
2018. 9. 9. Hot/Warm Architecture• 데이터 별로 저장 할 데이터 노드를 구성 하여 Cluster를 구성 할 수 있다. Elasticsearch에서 원할한 검색 속도를 보장 받기 위해서는 SSD 디스크를 이용 하여 Node를 구성 하지만, 저장 되는 데이터가 많아 지면 고민에 빠질 수 밖에 없다. 그럴 경우 자주 사용 되는 Index에 대하여 성능이 좋은 Node에 저장 하여 사용 하고, 사용을 많이 하고 간혈적으로 사용 하는 Index 에 대하여 비교적 성능이 낮은 Node에 저장 하여 구성 할 수 있다.• 이러한 구성을 Hot/Warm Architecture 라고 불리며, Node를 제어 하려는 시나리오에 유용 하여, 데이터에 대한 세밀한 제어가 가능하다.• 전용 데이터 노드는 다음과 같이 사용할..
Elasticsearch Cluster
2018. 7. 25. 1. Elasticsearch Cluster Node Master-eligible node(Master node) - Cluster - Node - Shard 의 mapping 정보를 담고있는 node로 , index의 생성이나 삭제, 노드 추적등 전반적인 클러스터 전체에 걸친 간단한 작업을 담당 - SPOF 를 위하여 "node.master : true "로 설정되어 있는 Node 중 Master 를 선출 하며, Master 장애시 재선출을 진행 - "node.master : true "로 설정 하며, 기본 값은 true 로 설정 split brain 방지 Master node들의 split brain을 방지하고자 "discovery.zen.minimum_master_nodes" 지시자 를 설정 해야 ..
Logstash Drop filter
2018. 7. 22. logstash Drop 함수는 특정 조건문에 해당하는 데이터에 대하여 삭제 하는 기능을 하고 있어서, 불필요하게 저장 할 데이터를 줄일 수 있다( 공식문서 )기본 형식은 아래와 같이 loglevel 라는 field 에 대하여 debug라는 문자가 조건문에 걸릴 경우 drop 함수를 통하여 삭제 하게 된다.Drop Filter filter { if [loglevel] == "debug" { drop { } }} client 에서 아래와 같이 access_log를 192.168.10.190 서버의 logstash(5044)로 전송 하도록 구성 하였다.filebeat.yml filebeat.inputs:- type: log enabled: true paths: - /var/log/httpd/httpd-acc..
kafka manager
2018. 7. 8. kafka manager ?Kafka 를 CLI 환경에서 운영을 할 수 있지만, 대세는 웹 GUI환경이다. 하지만, kafka 자체적으로 웹 GUI환경을 제공하지 않고 있다. 그래서 yahoo 에서 자체적으로 운영 하던 kafka manager 라는 웹GUI를 오픈소스로 공개 하였으며, 실제로 많은 Kafka운영에서 적용되고 있다.kafka manager를 통하여 클러스터 상태를확인 하고 여러가지 운영에 필요한 기능을 웹GUI환경에서 설정 할 수 있도록 도와 주고 있다.https://github.com/yahoo/kafka-manager kafka manager install 가장 최신 버전으로 릴리즈된 1.3.3.18 버전 다운로드하여 진행 한다.*JAVA-HOME 환경 변수 설정이 사전에 설정 Dow..
kafka partition, replication(ISR)
2018. 7. 7. Why Kafka?Multiple Producers/Consumers. 하나의 topic에 대하여 여러 Producers 가 message 를 전송하고 여러 Consumers 가 message 를 소비하는 구조로 주아앙 집중형 구조로 구성 Disk-Based Retention . 다른 message system과 틀리게 일정 기간동안 디스크에 message를 저장 -> 메시지의 손실을 방지 Scalable . kafka cluster를 통하여 확장이 매우 용이 하게 설계 High Performance . 분산처리 - 동일한 기능을 하는 여러대의 서버로 이뤄진 분산 시스템으로 구성되어, 단일 시스템보다 더 높은 성능을 얻으며, SPOF 극복 . 배치 처리 - 작은 i/o 에 대하여 묶어서 처리 하여 속도 ..
zookeeper-kafka cluster install
2018. 7. 7. 0. 사전작업 테스트 환경은 아래와 같다.hostnameip addressresourcekafka-01172.16.194.24memory: 8G hdd:50Gkafka-02172.16.194.12memory: 8G hdd:50Gkafka-03172.16.194.16memory: 8G hdd:50G*사내오픈스택 구성 Kafka cluester 를 구성 하기 위한 ZooKeeper,kafka 모두 java기반으로 동작 하기 위해서 아래와 같이 jdk를 모든 노드에 설치 한다.openjdk install(ALL NODE)yum install java-1.8.0-openjdk.x86_64 -yjava -version openjdk version "1.8.0_171" OpenJDK Runtime Environme..
Fluent Bit -> Fluentd -> elasticsearch
2018. 6. 9. 1.Fluent Bit? Fluentd와 Fluent Bit 이름에서도 알 수 있는것 처럼 유사한 기능을 하고 있다. 둘다 Treasure Data 에서 제작/후원 하고 데이터 수집을 목적으로 개발 되고 있다.Fluentd가 server 범위에서 사용 된다면 Fluent Bit 는 좀더 경량화 되어 Embedded & IoT devices 같은 범위에서 사용 된다. FluentdFluent BitScopeServersEmbedded & IoT devicesLanguageC & RubyCMemory~20MB~150KBPerformanceHigh PerformanceHigh PerformanceDependenciesBuilt as a Ruby Gem, it requires a certain number of..
Docker init 를 이용한 Defunct Processes in Docker 해결
2018. 5. 26. Defunct Processes in Docker ?Docker container를 이용하여 서비스 중인 호스트에서 아래와 같이 지속적으로 Defunct Processes(=좀비프로세스) 가 상승 하는 이슈가 발생 하였다. 아래와 같이 프로세스들이 상태로 유지 되고 있는 것을 볼 수있다.사실 docker 환경과 같이 isolation되어 있는 환경이 아니라면 부모 프로세스를 kill 한다면 해결 될 수 있지만,docker 환경에서 해당 상태의 ppid 는 1 이라는 pid로 해당container 가 실행되는 프로세스이다.즉, 해당 pid를 kill 할 경우 해당 docker 도 종료 된다.container내부에서 프로세스 [root@controller02 zabbix]# ps auxfUSER PID %C..

티스토리툴바