inode1 [ELK] Filebeat 8.7 로그 중복 수집 이슈 해결 트러블슈팅 (feat. Registry와 파일시스템 Inode) Filebeat 8.7 버전의 filestream input 타입으로 로그 파일을 수집하는 환경에서 로그 파일을 재수집하는 이슈가 발생했다. 배경은 다음과 같다. 배경지식 📚먼저, 이 이슈를 이해하기 위해서는 운영체제 파일시스템의 inode의 개념과 Filebeat에서 관리하는 registry 파일에 대해 짚고 넘어가는게 좋겠다.- registry 파일Filebeat는 파일의 inode마다 어디까지 읽었는지 registry 파일에 offset으로 저장하여 관리한다. 로그파일이 쌓이면 Filebeat는 registry에 저장된 offset부터 이어서 로그를 읽어들이는 방식으로 동작한다.- Inodeinode는 리눅스 운영체제에서 파일시스템에 사용되는 개념이다. 파일시스템에서 파일이나 디렉토리의 고유 값이.. 2024. 7. 14. 이전 1 다음