自然语言处理中一些模型的实现

nlp-tutorial-master.zip自然语言处理中一些模型的实现

# code by Tae Hwan Jung @graykode
import tensorflow as tf
import numpy as np

tf.reset_default_graph（）

sentences = [ “i like dog“ “i love coffee“ “i hate milk“]

word_list = “ “.join（sentences）.split（）
word_list = list（set（word_list））
word_dict = {w: i for i w in enumerate（word_list）}
number_dict = {i: w for i w in enumerate（word_list）}
n_class = len（word_dict） # number of Vocabulary

# NNLM Parameter
n_step = 2 # number of steps [‘i like‘ ‘i love‘ ‘i hate‘]
n_hidden = 2 # number of hidden units

def make_batch（sentences）:
    input_batch = []
    target_batch = []

    for sen in sentences:
        word = sen.split（）
        input = [word_dict[n] for n in word[:-1]]
        target = word_dict[word[-1]]

        input_batch.append（np.eye（n_class）[input]）
        target_batch.append（

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-02-20 14:03  nlp-tutorial-master\
     文件           6  2019-02-20 14:03  nlp-tutorial-master\.gitignore
     目录           0  2019-02-20 14:03  nlp-tutorial-master\1-1.NNLM\
     文件        2209  2019-02-20 14:03  nlp-tutorial-master\1-1.NNLM\NNLM-Tensor.py
     文件        2514  2019-02-20 14:03  nlp-tutorial-master\1-1.NNLM\NNLM-Torch.py
     文件        4218  2019-02-20 14:03  nlp-tutorial-master\1-1.NNLM\NNLM_Tensor.ipynb
     文件        4716  2019-02-20 14:03  nlp-tutorial-master\1-1.NNLM\NNLM_Torch.ipynb
     目录           0  2019-02-20 14:03  nlp-tutorial-master\1-2.Word2Vec\
     文件        2849  2019-02-20 14:03  nlp-tutorial-master\1-2.Word2Vec\Word2Vec-Skipgram-Tensor（NCE_loss）.py
     文件        2663  2019-02-20 14:03  nlp-tutorial-master\1-2.Word2Vec\Word2Vec-Skipgram-Tensor（Softmax）.py
     文件        3085  2019-02-20 14:03  nlp-tutorial-master\1-2.Word2Vec\Word2Vec-Skipgram-Torch（Softmax）.py
     文件       23978  2019-02-20 14:03  nlp-tutorial-master\1-2.Word2Vec\Word2Vec_Skipgram_Tensor（NCE_loss）.ipynb
     文件       22782  2019-02-20 14:03  nlp-tutorial-master\1-2.Word2Vec\Word2Vec_Skipgram_Tensor（Softmax）.ipynb
     文件       22332  2019-02-20 14:03  nlp-tutorial-master\1-2.Word2Vec\Word2Vec_Skipgram_Torch（Softmax）.ipynb
     目录           0  2019-02-20 14:03  nlp-tutorial-master\1-3.FastText\
     文件       57631  2019-02-20 14:03  nlp-tutorial-master\1-3.FastText\FastText.ipynb
     文件          17  2019-02-20 14:03  nlp-tutorial-master\1-3.FastText\test.txt
     文件         150  2019-02-20 14:03  nlp-tutorial-master\1-3.FastText\train.txt
     目录           0  2019-02-20 14:03  nlp-tutorial-master\2-1.TextCNN\
     文件        3640  2019-02-20 14:03  nlp-tutorial-master\2-1.TextCNN\TextCNN-Tensor.py
     文件        3567  2019-02-20 14:03  nlp-tutorial-master\2-1.TextCNN\TextCNN-Torch.py
     文件        5978  2019-02-20 14:03  nlp-tutorial-master\2-1.TextCNN\TextCNN_Tensor.ipynb
     文件        6616  2019-02-20 14:03  nlp-tutorial-master\2-1.TextCNN\TextCNN_Torch.ipynb
     目录           0  2019-02-20 14:03  nlp-tutorial-master\3-1.TextRNN\
     文件        2256  2019-02-20 14:03  nlp-tutorial-master\3-1.TextRNN\TextRNN-Tensor.py
     文件        2863  2019-02-20 14:03  nlp-tutorial-master\3-1.TextRNN\TextRNN-Torch.py
     文件        4671  2019-02-20 14:03  nlp-tutorial-master\3-1.TextRNN\TextRNN_Tensor.ipynb
     文件        5147  2019-02-20 14:03  nlp-tutorial-master\3-1.TextRNN\TextRNN_Torch.ipynb
     目录           0  2019-02-20 14:03  nlp-tutorial-master\3-2.TextLSTM\
     文件        2186  2019-02-20 14:03  nlp-tutorial-master\3-2.TextLSTM\TextLSTM-Tensor.py
     文件        2502  2019-02-20 14:03  nlp-tutorial-master\3-2.TextLSTM\TextLSTM-Torch.py
............此处省略32个文件信息