0220 카프카 설정을 위해 알아야하는 것들

 - 운영체제

- 서버 아키텍처

- distributed computing

- cpu 

-network performance

-  disk I/O

- RAM , HEAP사이즈

- 페이지 캐시

- 카프카와 주키퍼

---

- swappiness설정 : 최대한 disk I/O를 줄이고 메모리를 사용하라

- KAFKA_HEAP_OPTS : java heap메모리설정 . Xms는 설정하지 않는다 시작하면서 점점 메모리 늘려가면 됨. starting heap메모리를 고정할 필요 x

- 나머지 남는 메모리는 페이지 캐시로서 이용한다

- 카프카는 데이터 파싱을 따로 하지 않으므로 빠르다. 그러나 SSL등 설정한경우 이에대한 cpu성능이 필요할 수 있음

- file 디스크립터 설정을 무지 크게 해두어야 함. 1개 파티션의 1개 세그먼트 별로 3개의 file오픈하기 때문에 부딪힐수있다

- delete토픽을 하면 일단 delete했다는 태그 표시를 달고 - 일정시간 경과후 실제 삭제된다. 이 시간 gap이 있으므로 여유있게 메모리 설정해두어야 함

- disk I/O : 부족한 경우 EBS 더 mount한다

- network : 카프카 클러스터 region최대한 가깝게. (latency) + bandwidth설정 고려