引用

https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-index-lifecycle-management.html

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html#plugins-outputs-elasticsearch-ilm

涉及的概念

1. 索引生命周期
2. 索引模板
3. 索引别名

索引生命周期

PUT /_ilm/policy/<索引生命周期名>
{
    "policy": {
        "phases": {
            "hot": {
                "actions": {
                    "rollover": {
                        "max_age": "1d",
                        "max_size": "1gb",
                        "max_docs": 10000
                    },
                    "set_priority": {
                        "priority": 100
                    }
                }
            },
            "warm": {
                "min_age": "7d",
                "actions": {
                    "allocate": {
                      "require": {
                        "box_type": "warm"
                    },
                    "forcemerge": {
                        "max_num_segments": 1
                    },
                    "shrink": {
                        "number_of_shards": 1
                    },
                    "set_priority": {
                        "priority": 50
                    }
                }
            },
            "cold": {
                "min_age": "30d",
                "actions": {
                    "allocate": {
                      "require": {
                        "box_type": "cold"
                      }
                    },
                    "set_priority": {
                        "priority": 0
                    }
                }
            },
            "delete": {
                "min_age": "90d",
                "actions": {
                    "delete": {}
                }
            }
        }
    }
}

上面 json 的配置意思如下：

假设初始索引是-000001，它当前位于 hot 阶段。（所有索引初始的时候都是 hot 阶段，因为phases.hot.min_age默认是0）

hot 阶段下，-000001满足下列任一条件，滚动生成新索引-000002：

• 存活1天
• 索引大于1GB
• 索引大于10000行

滚动更新后，当-000001

• 存活 7 天，就会进入warm 阶段，并开始强制合并和压缩，以及将-000001转移到 warm 节点上。

  ​ 🚨需要先存在warm角色的节点

• 存活 30 天，就会进入 cold 阶段，并将-000001转移到cold节点上。

  ​ 🚨需要先存在cold角色的节点

• 存活 90 天，就会进入 delete 阶段，将-000001索引删除。

索引模板

PUT _template/<索引模板名>
{
  "index_patterns": ["app-prod-*"],
  "settings": {
    "number_of_shards": 1,
    "index.lifecycle.name": "app-prod", 
    "index.lifecycle.rollover_alias": "app-prod"
  }
}

索引别名

生命周期滚动更新必须的东西。

因为要支持生命周期滚动更新，则索引初始名必须是xxx-000001

PUT /<索引名>/_alias/<索引别名>

logstash

    output {
      elasticsearch {
        ilm_rollover_alias => "app-prod"
        ilm_pattern => "{now/d}-00001"
        ilm_policy => "app-prod"
      }
    }