본문 바로가기

공부/기록8

Elasticsearch reindex 시 timestamp에 시간 더하는 쿼리 Elasticsearch 에서 data stream에서 다른 data stream으로 데이터를 옮기면서 타임스탬프 값을 증가 해야할 일이 있었습니다. (정확하게는 하나의 data stream에 속하는 index에서 다른 data stream에 속한 index로 옮기는 작업이 였습니다.) POST _reindex { "source": { "index": "src-index-name", "query": { "range": { "@timestamp": { "lt": "2023-04-10" } } } }, "dest": { "index": "dest-index-name", "op_type": "create" }, "script": { "lang": "painless", "source": """ DateTimeF.. 2023. 5. 3.
DB Fragmentation 공부 기록 Maria DB를 사용하는 서비스 준비 중 대량의 IO가 발생할 가능성이 있고 테스트 중 IO 속도가 느려지는 경우가 발생했습니다. 뭐 근본적으로는 로직 설계의 문제였고 해당 부분을 고쳐서 해결했지만 해당 문제 원인 파악중 공부한 내용을 간단하게 기록합니다. (Fragmentation 은 모든 DB에서 일어날 수 있는 문제이지만 제가 자주 사용하는 MariaDB를 기준으로 설명합니다) 검색하다보니 partioning 과 동일한 의미로 fragmentation 을 뜻하는 문서도 꽤나 보이는 데 해당 포스트에서는 partioning 과 동일한 의미가 아닌 메모리에서 일어나는 문제에 대해 말합니다. 선수 지식 1. MariaDB Delete 명령어는 삭제된 공간을 바로 반환하지 않는다. 2. MariaDB의 .. 2023. 3. 27.
DataGrip에서 SSH tunnel 사용하기 https://www.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS5064906327&cate_cd= SSH Tunneling 사용하기 SSH(Secure Shell)는 네트워크 보안에 있어 대중적이고 강력한 접근 방식을 제공하기 위해 만들어진 프로토콜이다. SSH에 기반한 제품은 서버와 클라이언트의 한 쌍으로 구성되어 있는데, 보통 사용 www.hanbit.co.kr SSH Tunnel에 관한 개념이 헷갈리신다면 위의 글을 일고 오시는 걸 추천합니다. 그래도 읽고 오기 귀찮으신 분들을 위해서 간단하게 그림 예제로 넘어가겠습니다. Host A에 올라가 있는 APP에서 Host B에 있는 DB에 접근해서 데이터를 받아와야 한다고 생각해봅시다... 2021. 9. 14.
oracle database 11g Release 2 다운로드 방법 인터넷에 있는 방법들이 거의 안먹히게 되었습니다. 간단하게 정리하겠습니다. 준비물 : 오라클 계정, 인내심 일단 아래의 페이지에 접속하여 로그인을 합니다. https://edelivery.oracle.com/osdc/faces/Home.jspx Oracle Software Delivery Cloud See a quick, introductory tour of the download process edelivery.oracle.com 로그인한다면 이러한 화면이 나오게 될 것입니다. 이제 여기까지 오면 다들 본능적으로 치고 있을 Oracle Database 11g 11.2.0을 입력하고 검색합니다. 아마 우리가 원하던 것이 나왔습니다. 11.2.x.x 는 release 2를 의미하는 듯 합니다. 기쁜 마음으.. 2021. 8. 25.