核主成分分析（Kernel Principal Component Analysis KPCA）（Python）

核主成分分析(Kernel Principal Component Analysis, KPCA) PCA方法假设从高维空间到低维空间的函数映射是线性的，但是在不少现实任务中，可能需要非线性映射才能找到合适的低维空间来降维。 非线性降维的额一种常用方法是基于核技巧对线性降维方法进行核化(kernelized)。这是对PCA的一种推广。

# -*- coding: utf-8 -*-
“““
    KernelPCA
“““
import numpy as np
import matplotlib.pyplot as plt
from sklearn import   datasetsdecomposition

def load_data（）:
    ‘‘‘
    加载用于降维的数据

    :return: 一个元组，依次为训练样本集和样本集的标记
    ‘‘‘
    iris=datasets.load_iris（）# 使用 scikit-learn 自带的 iris 数据集
    return  iris.datairis.target

def test_KPCA（*data）:
    ‘‘‘
    测试 KernelPCA 的用法

    :param data: 可变参数。它是一个元组，这里要求其元素依次为：训练样本集、训练样本的标记
    :return: None
    ‘‘‘
    Xy=data
    kernels=[‘linear‘‘poly‘‘rbf‘‘sigmoid‘]
    for kernel in kernels:
        kpca=decomposition.KernelPCA（n_components=Nonekernel=kernel） # 依次测试四种核函数
        kpca.fit（X）
        print（‘kernel=%s --> lambdas: %s‘% （kernelkpca.lambdas_））
def plot_KPCA（*data）:
    ‘‘‘
    绘制经过 KernelPCA 降维到二维之后的样本点

    :param data: 可变参数。它是一个元组，这里要求其元素依次为：训练样本集、训练样本的标记
    :return: None
    ‘‘‘
    Xy=data
    kernels=[‘linear‘‘poly‘‘rbf‘‘sigmoid‘]
    fig=plt.figure（）
    colors=（（100）（010）（001）（0.50.50）（00.50.5）（0.500.5）
        （0.40.60）（0.60.40）（00.60.4）（0.50.30.2））# 颜色集合，不同标记的样本染不同的颜色

    for ikernel in enumerate（kernels）:
        kpca=decomposition.KernelPCA（n_components=2kernel=kernel）
        kpca.fit（X）
        X_r=kpca.transform（X）# 原始数据集转换到二维
        ax=fig.add_subplot（22i+1） ## 两行两列，每个单元显示一种核函数的 KernelPCA 的效果图
        for label color in zip（ np.unique（y）colors）:
            position=y==label
            ax.scatter（X_r[position0]X_r[position1]label=“target= %d“%label
            color=color）
        ax.set_xlabel（“X[0]“）
        ax.set_ylabel（“X[1]“）
        ax.legend（loc=“best“）
        ax.set_title（“kernel=%s“%kernel）
    plt.suptitle（“KPCA“）
    plt.show（）
def plot_KPCA_poly（*data）:
    ‘‘‘
    绘制经过 使用 poly 核的KernelPCA 降维到二维之后的样本点

    :param data: 可变参数。它是一个元组，这里要求其元素依次为：训练样本集、训练样本的标记
    :return: None
    ‘‘‘
    Xy=data
    fig=plt.figure（）
    colors=（（100）（010）（001）（0.50.50）（00.50.5）（0.500.5）
        （0.40.60）（0.60.40）（00.60.4）（0.50.30.2））# 颜色集合，不同标记的样本染不同的颜色
    Params=[（311）（3101）（3110）（31010）（1011）（10101）（10110）（101010）] # poly 核的参数组成的列表。
            # 每个元素是个元组，代表一组参数（依次为：p 值， gamma 值， r 值）
            # p 取值为：3，10
            # gamma 取值为 ：1，10
            # r 取值为：1，10
            # 排列组合一共 8 种组合
    for i（pgammar） in enumerate（Params）:
        kpca=decomposition.KernelPCA（n_components=2kernel=‘poly‘
        gamma=gammadegree=pcoef0=r）  # poly 核，目标为2维
        kpca.fit（X）
        X_r=kpca.transform（X）# 原始数据集转换到二维
        ax=fig.add_subplot（24i+1）## 两行四列，每个单元显示核函数为 poly 的 KernelPCA 一组参数的效果图
        for label color in zip（ np.unique（y）colors）:
            position=y==label
            ax.scatter（X_r[position0]X_r[position1]label=“target= %d“%label
            color=color）
        ax.set_xlabel（“X[0]“）
        ax.set_xticks（[]） # 隐藏 x 轴刻度
        ax.set_ytic