Python-python3实现互信息和左右熵的新词发现

python3利用互信息和左右信息熵的中文分词新词发现

#!/usr/bin/env python
# encoding: utf-8

import os

basedir = os.path.abspath（os.path.dirname（__file__））


class Config（object）:
    DEBUG = False
    TESTING = False
    REQUEST_STATS_WINDOW = 15


class DevelopmentConfig（Config）:
    DEBUG = True


class ProductionConfig（Config）:
    DEBUG = False


class TestingConfig（Config）:
    TESTING = True


config = {
    ‘development‘: DevelopmentConfig
    ‘production‘: ProductionConfig
    ‘testing‘: TestingConfig
}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-10-25 11:37  Chinese_segment_augment-master\
     文件         165  2018-10-25 11:37  Chinese_segment_augment-master\Pipfile
     文件         453  2018-10-25 11:37  Chinese_segment_augment-master\Pipfile.lock
     文件        3137  2018-10-25 11:37  Chinese_segment_augment-master\README.md
     文件         469  2018-10-25 11:37  Chinese_segment_augment-master\config.py
     目录           0  2018-10-25 11:37  Chinese_segment_augment-master\data\
     文件        4302  2018-10-25 11:37  Chinese_segment_augment-master\data\demo.txt
     文件     5071852  2018-10-25 11:37  Chinese_segment_augment-master\data\dict.txt
     文件        2590  2018-10-25 11:37  Chinese_segment_augment-master\data\stopword.txt
     文件        2663  2018-10-25 11:37  Chinese_segment_augment-master\demo_run.py
     文件        9522  2018-10-25 11:37  Chinese_segment_augment-master\model.py
     文件        1216  2018-10-25 11:37  Chinese_segment_augment-master\utils.py