• 大小: 5.87KB
    文件类型: .py
    金币: 1
    下载: 0 次
    发布日期: 2021-03-03
  • 语言: Python
  • 标签: tensorflow  Word  实战  

资源简介

word2vec的tensorflow实现,来自黄文坚的“tensorflow实战”

资源截图

代码片段和文件信息

#!/usr/bin/env python
#*- coding: utf-8 -*-
from __future__ import print_function
import os
import math
import urllib.request
import zipfile
import random
import collections
import numpy as np
import tensorflow as tf
url = ‘http://mattmahoney.net/dc/‘

‘‘‘Step1:  download dataset‘‘‘
def may_download(filename expected_bytes):
if not os.path.exists(filename):
filename _ = urllib.request.urlretrieve(url + filename filename)
statinfo = os.stat(filename)
if statinfo.st_size == expected_bytes:
print(‘Found and verified‘ filename)
else:
print(statinfo.st_size)
raise Exception(‘Failed to verify ‘ + filename)
return filename

filename = may_download(‘text8.zip‘ 31344016)

‘‘‘Step2: data transformation‘‘‘
def read_data(filename):
with zipfile.ZipFile(filename) as f:
data = tf.compat.as_str_any(f.read(f.namelist()[0])).split()
return data

“““Test“““
words = read_data(filename)
print(‘Datas size‘ len(words))

‘‘‘Step3: make dataset‘‘‘
vocabulary_size = 50000

def build_data

评论

共有 条评论