《Spark高级数据分析》源代码

《Spark高级数据分析》源代码

# coding=utf-8

# Copyright 2015 and onwards Sanford Ryza Uri Laserson Sean Owen and Joshua Wills
#
# See LICENSE file for further information.

# CTCF PWM from suppl. to  https://dx.doi.org/10.1016/j.cell.2012.12.009

import numpy as np
import pandas as pd

n = 17
bases = [‘A‘ ‘C‘ ‘G‘ ‘T‘]
raw = {
    ‘A‘: ‘5423    2600    0   64  641 46  5823    87  0   37  10566   90  183 2   406 2660    4213‘
    ‘C‘: ‘546 371 8052    0   9591    10107   5201    7091    8872    49  290 1616    5157    0   114 4936    3590‘
    ‘G‘: ‘1733    11366   0   12480   8   0   207 0   1   23  1625    9828    0   8472    7463    143 2456‘
    ‘T‘: ‘4208    632 505 86  46  0   241 3888    0   14151   1355    764 7952    121 2221    9766    1302‘}
counts = [map（float raw[base].split（）） for base in bases]
pseudocounts = pd.Dataframe（counts index=bases） + 1
pwm = pseudocounts / pseudocounts.sum（）

# generate the PWM in Scala
maps = []
for pos in xrange（n）:
    pairs = []
    for base in bases:
        pairs.append（“‘%s‘->%.4f“ % （base pwm.ix[base pos]））
    maps.append（‘Map（‘ + ‘‘.join（pairs） + ‘）‘）
print ‘val pwmData = sc.broadcast（Vector（\n  ‘ + ‘\n  ‘.join（maps） + ‘））‘

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        291  2017-06-09 14:16  aas\.git\config

     文件         73  2017-06-09 14:15  aas\.git\description

     文件         23  2017-06-09 14:16  aas\.git\HEAD

     文件        478  2017-06-09 14:15  aas\.git\hooks\applypatch-msg.sample

     文件        896  2017-06-09 14:15  aas\.git\hooks\commit-msg.sample

     文件        189  2017-06-09 14:15  aas\.git\hooks\post-update.sample

     文件        424  2017-06-09 14:15  aas\.git\hooks\pre-applypatch.sample

     文件       1642  2017-06-09 14:15  aas\.git\hooks\pre-commit.sample

     文件       1348  2017-06-09 14:15  aas\.git\hooks\pre-push.sample

     文件       4951  2017-06-09 14:15  aas\.git\hooks\pre-rebase.sample

     文件        544  2017-06-09 14:15  aas\.git\hooks\pre-receive.sample

     文件       1239  2017-06-09 14:15  aas\.git\hooks\prepare-commit-msg.sample

     文件       3610  2017-06-09 14:15  aas\.git\hooks\update.sample

     文件      32112  2017-06-09 15:00  aas\.git\index

     文件        240  2017-06-09 14:15  aas\.git\info\exclude

     文件        176  2017-06-09 14:16  aas\.git\logs\HEAD

     文件        176  2017-06-09 14:16  aas\.git\logs\refs\heads\master

     文件        176  2017-06-09 14:16  aas\.git\logs\refs\remotes\origin\HEAD

     文件         86  2017-06-09 15:00  aas\.git\objects\d3\df52959739c052f2c913970d37045fb0d9d230

     文件      97364  2017-06-09 14:16  aas\.git\objects\pack\pack-679b491dd2aefdd4483a7d98cc3a637fb29373ec.idx

     文件    2544003  2017-06-09 14:16  aas\.git\objects\pack\pack-679b491dd2aefdd4483a7d98cc3a637fb29373ec.pack

     文件        744  2017-06-09 14:16  aas\.git\packed-refs

     文件         41  2017-06-09 14:16  aas\.git\refs\heads\master

     文件         32  2017-06-09 14:16  aas\.git\refs\remotes\origin\HEAD

     文件         65  2017-06-09 14:16  aas\.gitignore

     文件         17  2017-06-09 14:36  aas\.idea\.name

     文件       2680  2017-06-09 14:59  aas\.idea\artifacts\ch06_lsa_jar.xml

     文件       1482  2017-06-09 14:49  aas\.idea\compiler.xml

     文件        857  2017-06-09 14:49  aas\.idea\encodings.xml

     文件        514  2017-06-09 14:49  aas\.idea\libraries\Maven__aopalliance_aopalliance_1_0.xml

............此处省略668个文件信息