Python-同步MongoDB数据到ElasticSearch

同步MongoDB数据到ElasticSearch，支持全量同步、增量同步、实时同步，支持全操作，支持中间数据处理

# -*- coding: utf-8 -*-

import pydash as _
import fire
import arrow
import json

from config import settings

from common.etcd_config import mongo2es
from common.log import logger

mode = _.get（settings.SYNC ‘rts.mode‘）
settings.SYNC[‘rts‘][‘mode‘] = ‘direct‘

from common.elasticsearch.queue_2_elasticsearch.queue_2_elasticsearch_client import Queue2ElasticsearchClient

from module.elasticsearch import const
from module import elasticsearch


class Sync（object）:
    def index_all（self）:
        # 清除queue遗留消息
        client = Queue2ElasticsearchClient（mode=mode）.client
        if client:
            client.clear（）

        # 记录当前时间，后续作为实时同步启动的时间点
        now = arrow.utcnow（）.timestamp

        # 全量同步
        self.__index_all（）

        # 设置停止时间为实时同步开始时间
        mongo2es.set（const.rts_reset_key json.dumps（{“ts“: {“time“: now “inc“: 1}}））

    def __index_all（self）:
        elasticsearch.es_errors.index（）
        elasticsearch.tracks.index（）
        elasticsearch.car_change_plans.index（）

    def index（self *indices）:
        if isinstance（indices tuple）:
            for index in indices:
                if not hasattr（elasticsearch index）:
                    logger.warning（‘elasticsearch has no index “{0}“‘.format（index））
                    return
            for index in indices:
                getattr（elasticsearch index）.index（）
        else:
            logger.error（‘Invalidate type indices must be str or tuple.‘）


fire.Fire（Sync）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-03-12 06:30  mongo2es-master\
     文件        1219  2019-03-12 06:30  mongo2es-master\.gitignore
     文件       11357  2019-03-12 06:30  mongo2es-master\LICENSE
     文件        3799  2019-03-12 06:30  mongo2es-master\README.md
     文件          46  2019-03-12 06:30  mongo2es-master\app.json
     目录           0  2019-03-12 06:30  mongo2es-master\common\
     文件          24  2019-03-12 06:30  mongo2es-master\common\__init__.py
     文件        1049  2019-03-12 06:30  mongo2es-master\common\business_exception.py
     文件         323  2019-03-12 06:30  mongo2es-master\common\constant.py
     目录           0  2019-03-12 06:30  mongo2es-master\common\elasticsearch\
     文件           0  2019-03-12 06:30  mongo2es-master\common\elasticsearch\__init__.py
     目录           0  2019-03-12 06:30  mongo2es-master\common\elasticsearch\elasticsearch_client\
     文件         284  2019-03-12 06:30  mongo2es-master\common\elasticsearch\elasticsearch_client\__init__.py
     文件        5120  2019-03-12 06:30  mongo2es-master\common\elasticsearch\elasticsearch_client\elasticsearch_2_kafka_client.py
     文件        4780  2019-03-12 06:30  mongo2es-master\common\elasticsearch\elasticsearch_client\elasticsearch_2_redis_client.py
     文件        1415  2019-03-12 06:30  mongo2es-master\common\elasticsearch\elasticsearch_client\elasticsearch_client.py
     文件        3873  2019-03-12 06:30  mongo2es-master\common\elasticsearch\elasticsearch_client\elasticsearch_direct_client.py
     文件         418  2019-03-12 06:30  mongo2es-master\common\elasticsearch\elasticsearch_util.py
     目录           0  2019-03-12 06:30  mongo2es-master\common\elasticsearch\queue_2_elasticsearch\
     文件          61  2019-03-12 06:30  mongo2es-master\common\elasticsearch\queue_2_elasticsearch\__init__.py
     文件        6548  2019-03-12 06:30  mongo2es-master\common\elasticsearch\queue_2_elasticsearch\base.py
     文件        2190  2019-03-12 06:30  mongo2es-master\common\elasticsearch\queue_2_elasticsearch\kafka_2_elasticsearch.py
     文件         584  2019-03-12 06:30  mongo2es-master\common\elasticsearch\queue_2_elasticsearch\queue_2_elasticsearch_client.py
     文件        1242  2019-03-12 06:30  mongo2es-master\common\elasticsearch\queue_2_elasticsearch\redis_2_elasticsearch.py
     文件        1246  2019-03-12 06:30  mongo2es-master\common\etcd_config.py
     文件        1991  2019-03-12 06:30  mongo2es-master\common\event_emitter.py
     目录           0  2019-03-12 06:30  mongo2es-master\common\kafka\
     文件          24  2019-03-12 06:30  mongo2es-master\common\kafka\__init__.py
     文件        2824  2019-03-12 06:30  mongo2es-master\common\kafka\consumer.py
     文件        1255  2019-03-12 06:30  mongo2es-master\common\kafka\producer.py
     文件         512  2019-03-12 06:30  mongo2es-master\common\log.py
............此处省略131个文件信息