Python日期存入elasticsearch遇到的问题分析

今天在消费kafka数据到elasticsearch（以下简称es）中的时候遇到一个问题，也是一个坑，折腾了半天，后来发现得来全不费工夫，全是白忙活啊！！！

问题如下：

kafka数据中有一个字段是时间字符串，格式为：‘2018-05-31 16：33:45：234’

为了方便以后根据日期检索数据，es里已将该字段设置为date类型，

接下来便开始了str到date转换的艰辛之路......

尝试过的解决办法如下：

1、使用datetime将str转换为datetime对象

输出结果如下：

好像成功了，于是开始导入es，但是出错了

这种转换对数据的格式要求比较苛刻，一旦原始字符串格式稍有变化，则抛出异常

所以下一步，捕获异常，将kafka中日期格式不符合要求的数据写到日志文件中，个别处理

最后：

elasticsearch原生支持date类型,json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型，参考elasticsearch官网介绍https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html。

date类型是包含时区信息的，如果我们没有在json代表日期的字符串中显式指定时区，对es来说没什么问题，但是如果通过kibana显示es里的数据时，就会出现问题，数据的时间会晚8个小时。因为kibana从es里读取的date类型数据，没有时区信息，kibana会默认当作0时区来解析，但是kibana在通过展示的时候，会通过js获取当前客户端机器所在的时区，也就是东八区，所以kibana会把从es得到的日期数据减去8小时。这里就会导致kibana经常遇到的“数据时间延迟8小时”的问题。

所以最佳实践方案就是：我们在往es提交日期数据的时候，直接提交带有时区信息的日期字符串，如：“2016-07-15t12:58:17.136+0800”。