搜索

核函数

统计学术语

核函数，统计学术语，支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =φ( x) ⋅φ( x′) ; 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

历史
早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。
定义
核函数包括线性核函数、多项式核函数、高斯核函数等，其中高斯核函数最常用，可以将数据映射到无穷维，也叫做径向基函数（Radial Basis Function 简称 RBF），是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数，可记作 k（||x-xc||）， 其作用往往是局部的，即当x远离xc时函数取值很小。
分类
核函数的选择要求满足Mercer定理（Mercer's theorem），即核函数在样本空间内的任意格拉姆矩阵（Gram matrix）为半正定矩阵（semi-positive definite）。常用的核函数有：线性核函数，多项式核函数，径向基核函数，Sigmoid核函数和复合核函数，傅立叶级数核，B样条核函数和张量积核函数等。
平稳和各向同性核函数
具有平稳性（stationarity）的核函数仅是特征空间下样本间向量的函数，对指数集的平移变换保持不变（translation invariant）。若样本的协方差与其向量的方向无关，即仅与距离有关，则可使用具有各向同性（isotropy）的核函数。很多核函数同时满足平稳性和各向同性，这里给出其常见例子：
1. 径向基函数核（RBF kernel）
式中，为RBF核的超参数，定义了学习样本间相似性的特征长度尺度（characteristic length-scale），即权重空间视角下特征空间映射前后样本间距离的比例。
2. 马顿核（Matérn kernel）
式中为核函数的超参数，为修正贝塞尔函数（modified Bessel function）。由修正贝塞尔函数的定义可知，马顿核是指数函数与多项式函数的乘积，其可导性，或平滑程度与有关，的常见选择为1.5和2.5。当时，马顿核等价于以为特征尺度的RBF核。
3. 指数函数核（exponential kernel）
指数函数核是马顿核在的特殊形式，通常对应奥恩斯坦-乌伦贝克过程（Ornstein-Uhlenbeck Process, OU）。OU过程是一个连续但不平滑（均方不可导）的随机过程。其对应的数学模型是维纳过程（Wiener process）下质点运动的速度。
4. 二次有理函数核（rational quadratic kernel, RQ kernel）
式中为超参数。可以证明，RQ核是无穷个RBF核的线性叠加，当趋于无穷时，RQ核等价于以为特征尺度的RBF核。
其它
1. 周期核函数（periodickernel）
平稳核函数可以用于构建周期核函数：式中，表示该核函数具有的周期，例如由RBF核得到的周期核的形式为：。
2. 内积核函数（dot product kernel）
内积核函数也被称为多项式核函数，其形式为：，式中表示多项式的阶数。
3. 各向异性核函数
对各向同性核函数，定义可将各向同性核函数转化为各向异性核函数，式中是表征各向异性的函数，其格拉姆矩阵的对角元素表示对不同维度所取的不同尺度。
理论
根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间，非线性函数Φ实现输入空间X到特征空间F的映射，其中F属于R（m），n<
K(x,z) =<Φ(x)，Φ(z) > (1)
其中：<, >为内积，K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
性质
核函数具有以下性质：
（1）核函数的引入避免了“维数灾难”，大大减小了计算量。而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。
（2）无需知道非线性变换函数Φ的形式和参数.
（3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。
（4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。
全国各地天气预报查询

上海市

  • 市辖区

    • 云南省

  • 临沧市

    • 云南省

  • 丽江市

    • 云南省

  • 保山市

    • 云南省

  • 大理白族自治州

    • 云南省

  • 德宏傣族景颇族自治州

    • 云南省

  • 怒江傈僳族自治州

    • 云南省

  • 文山壮族苗族自治州

    • 云南省

  • 昆明市

    • 云南省

  • 昭通市

    • 云南省

  • 普洱市

    • 云南省

  • 曲靖市

    • 云南省

  • 楚雄彝族自治州

    • 云南省

  • 玉溪市

    • 云南省

  • 红河哈尼族彝族自治州

    • 云南省

  • 西双版纳傣族自治州

    • 云南省

  • 迪庆藏族自治州

    • 内蒙古自治区

  • 乌兰察布市

    • 内蒙古自治区

  • 乌海市

    • 内蒙古自治区

  • 兴安盟

    • 内蒙古自治区

  • 包头市

    • 内蒙古自治区

  • 呼伦贝尔市

    • 内蒙古自治区

  • 呼和浩特市

    • 内蒙古自治区

  • 巴彦淖尔市

    • 内蒙古自治区

  • 赤峰市

    • 内蒙古自治区

  • 通辽市

    • 内蒙古自治区

  • 鄂尔多斯市

    • 内蒙古自治区

  • 锡林郭勒盟

    • 内蒙古自治区

  • 阿拉善盟

    • 北京市

  • 市辖区

    • 吉林省

  • 吉林市

    • 吉林省

  • 四平市

    • 吉林省

  • 延边朝鲜族自治州

    • 吉林省

  • 松原市

    • 吉林省

  • 白城市

    • 吉林省

  • 白山市

    • 吉林省

  • 辽源市

    • 吉林省

  • 通化市

    • 吉林省

  • 长春市

    • 四川省

  • 乐山市

    • 四川省

  • 内江市

    • 四川省

  • 凉山彝族自治州

    • 四川省

  • 南充市

    • 四川省

  • 宜宾市

    • 四川省

  • 巴中市

    • 四川省

  • 广元市

    • 四川省

  • 广安市

    • 四川省

  • 德阳市

    • 四川省

  • 成都市

    • 四川省

  • 攀枝花市

    • 四川省

  • 泸州市

    • 四川省

  • 甘孜藏族自治州

    • 四川省

  • 眉山市

    • 四川省

  • 绵阳市

    • 四川省

  • 自贡市

    • 四川省

  • 资阳市

    • 四川省

  • 达州市

    • 四川省

  • 遂宁市

    • 四川省

  • 阿坝藏族羌族自治州

    • 四川省

  • 雅安市

    • 天津市

  • 市辖区

    • 宁夏回族自治区

  • 中卫市

    • 宁夏回族自治区

  • 吴忠市

    • 宁夏回族自治区

  • 固原市

    • 宁夏回族自治区

  • 石嘴山市

    • 宁夏回族自治区

  • 银川市

    • 安徽省

  • 亳州市

    • 安徽省

  • 六安市

    • 安徽省

  • 合肥市

    • 安徽省

  • 安庆市

    • 安徽省

  • 宣城市

    • 安徽省

  • 宿州市

    • 安徽省

  • 池州市

    • 安徽省

  • 淮北市

    • 安徽省

  • 淮南市

    • 安徽省

  • 滁州市

    • 安徽省

  • 芜湖市

    • 安徽省

  • 蚌埠市

    • 安徽省

  • 铜陵市

    • 安徽省

  • 阜阳市

    • 安徽省

  • 马鞍山市

    • 安徽省

  • 黄山市

    • 山东省

  • 东营市

    • 山东省

  • 临沂市

    • 山东省

  • 威海市

    • 山东省

  • 德州市

    • 山东省

  • 日照市

    • 山东省

  • 枣庄市

    • 山东省

  • 泰安市

    • 山东省

  • 济南市

    • 山东省

  • 济宁市

    • 山东省

  • 淄博市

    • 山东省

  • 滨州市

    • 山东省

  • 潍坊市

    • 山东省

  • 烟台市

    • 山东省

  • 聊城市

    • 山东省

  • 菏泽市

    • 山东省

  • 青岛市

    • 山西省

  • 临汾市

    • 山西省

  • 吕梁市

    • 山西省

  • 大同市

    • 山西省

  • 太原市

    • 山西省

  • 忻州市

    • 山西省

  • 晋中市

    • 山西省

  • 晋城市

    • 山西省

  • 朔州市

    • 山西省

  • 运城市

    • 山西省

  • 长治市

    • 山西省

  • 阳泉市

    • 广东省

  • 东莞市

    • 广东省

  • 中山市

    • 广东省

  • 云浮市

    • 广东省

  • 佛山市

    • 广东省

  • 广州市

    • 广东省

  • 惠州市

    • 广东省

  • 揭阳市

    • 广东省

  • 梅州市

    • 广东省

  • 汕头市

    • 广东省

  • 汕尾市

    • 广东省

  • 江门市

    • 广东省

  • 河源市

    • 广东省

  • 深圳市

    • 广东省

  • 清远市

    • 广东省

  • 湛江市

    • 广东省

  • 潮州市

    • 广东省

  • 珠海市

    • 广东省

  • 肇庆市

    • 广东省

  • 茂名市

    • 广东省

  • 阳江市

    • 广东省

  • 韶关市

    • 广西壮族自治区

  • 北海市

    • 广西壮族自治区

  • 南宁市

    • 广西壮族自治区

  • 崇左市

    • 广西壮族自治区

  • 来宾市

    • 广西壮族自治区

  • 柳州市

    • 广西壮族自治区

  • 桂林市

    • 广西壮族自治区

  • 梧州市

    • 广西壮族自治区

  • 河池市

    • 广西壮族自治区

  • 玉林市

    • 广西壮族自治区

  • 百色市

    • 广西壮族自治区

  • 贵港市

    • 广西壮族自治区

  • 贺州市

    • 广西壮族自治区

  • 钦州市

    • 广西壮族自治区

  • 防城港市

    • 新疆维吾尔自治区

  • 乌鲁木齐市

    • 新疆维吾尔自治区

  • 伊犁哈萨克自治州

    • 新疆维吾尔自治区

  • 克孜勒苏柯尔克孜自治州

    • 新疆维吾尔自治区

  • 克拉玛依市

    • 新疆维吾尔自治区

  • 博尔塔拉蒙古自治州

    • 新疆维吾尔自治区

  • 吐鲁番市

    • 新疆维吾尔自治区

  • 和田地区

    • 新疆维吾尔自治区

  • 哈密市

    • 新疆维吾尔自治区

  • 喀什地区

    • 新疆维吾尔自治区

  • 塔城地区

    • 新疆维吾尔自治区

  • 巴音郭楞蒙古自治州

    • 新疆维吾尔自治区

  • 昌吉回族自治州

    • 新疆维吾尔自治区

  • 自治区直辖县级行政区划

    • 新疆维吾尔自治区

  • 阿克苏地区

    • 新疆维吾尔自治区

  • 阿勒泰地区

    • 江苏省

  • 南京市

    • 江苏省

  • 南通市

    • 江苏省

  • 宿迁市

    • 江苏省

  • 常州市

    • 江苏省

  • 徐州市

    • 江苏省

  • 扬州市

    • 江苏省

  • 无锡市

    • 江苏省

  • 泰州市

    • 江苏省

  • 淮安市

    • 江苏省

  • 盐城市

    • 江苏省

  • 苏州市

    • 江苏省

  • 连云港市

    • 江苏省

  • 镇江市

    • 江西省

  • 上饶市

    • 江西省

  • 九江市

    • 江西省

  • 南昌市

    • 江西省

  • 吉安市

    • 江西省

  • 宜春市

    • 江西省

  • 抚州市

    • 江西省

  • 新余市

    • 江西省

  • 景德镇市

    • 江西省

  • 萍乡市

    • 江西省

  • 赣州市

    • 江西省

  • 鹰潭市

    • 河北省

  • 保定市

    • 河北省

  • 唐山市

    • 河北省

  • 廊坊市

    • 河北省

  • 张家口市

    • 河北省

  • 承德市

    • 河北省

  • 沧州市

    • 河北省

  • 石家庄市

    • 河北省

  • 秦皇岛市

    • 河北省

  • 衡水市

    • 河北省

  • 邢台市

    • 河北省

  • 邯郸市

    • 河南省

  • 三门峡市

    • 河南省

  • 信阳市

    • 河南省

  • 南阳市

    • 河南省

  • 周口市

    • 河南省

  • 商丘市

    • 河南省

  • 安阳市

    • 河南省

  • 平顶山市

    • 河南省

  • 开封市

    • 河南省

  • 新乡市

    • 河南省

  • 洛阳市

    • 河南省

  • 漯河市

    • 河南省

  • 濮阳市

    • 河南省

  • 焦作市

    • 河南省

  • 省直辖县级行政区划

    • 河南省

  • 许昌市

    • 河南省

  • 郑州市

    • 河南省

  • 驻马店市

    • 河南省

  • 鹤壁市

    • 浙江省

  • 丽水市

    • 浙江省

  • 台州市

    • 浙江省

  • 嘉兴市

    • 浙江省

  • 宁波市

    • 浙江省

  • 杭州市

    • 浙江省

  • 温州市

    • 浙江省

  • 湖州市

    • 浙江省

  • 绍兴市

    • 浙江省

  • 舟山市

    • 浙江省

  • 衢州市

    • 浙江省

  • 金华市

    • 海南省

  • 三亚市

    • 海南省

  • 三沙市

    • 海南省

  • 儋州市

    • 海南省

  • 海口市

    • 海南省

  • 省直辖县级行政区划

    • 湖北省

  • 十堰市

    • 湖北省

  • 咸宁市

    • 湖北省

  • 孝感市

    • 湖北省

  • 宜昌市

    • 湖北省

  • 恩施土家族苗族自治州

    • 湖北省

  • 武汉市

    • 湖北省

  • 省直辖县级行政区划

    • 湖北省

  • 荆州市

    • 湖北省

  • 荆门市

    • 湖北省

  • 襄阳市

    • 湖北省

  • 鄂州市

    • 湖北省

  • 随州市

    • 湖北省

  • 黄冈市

    • 湖北省

  • 黄石市

    • 湖南省

  • 娄底市

    • 湖南省

  • 岳阳市

    • 湖南省

  • 常德市

    • 湖南省

  • 张家界市

    • 湖南省

  • 怀化市

    • 湖南省

  • 株洲市

    • 湖南省

  • 永州市

    • 湖南省

  • 湘潭市

    • 湖南省

  • 湘西土家族苗族自治州

    • 湖南省

  • 益阳市

    • 湖南省

  • 衡阳市

    • 湖南省

  • 邵阳市

    • 湖南省

  • 郴州市

    • 湖南省

  • 长沙市

    • 甘肃省

  • 临夏回族自治州

    • 甘肃省

  • 兰州市

    • 甘肃省

  • 嘉峪关市

    • 甘肃省

  • 天水市

    • 甘肃省

  • 定西市

    • 甘肃省

  • 平凉市

    • 甘肃省

  • 庆阳市

    • 甘肃省

  • 张掖市

    • 甘肃省

  • 武威市

    • 甘肃省

  • 甘南藏族自治州

    • 甘肃省

  • 白银市

    • 甘肃省

  • 酒泉市

    • 甘肃省

  • 金昌市

    • 甘肃省

  • 陇南市

    • 福建省

  • 三明市

    • 福建省

  • 南平市

    • 福建省

  • 厦门市

    • 福建省

  • 宁德市

    • 福建省

  • 泉州市

    • 福建省

  • 漳州市

    • 福建省

  • 福州市

    • 福建省

  • 莆田市

    • 福建省

  • 龙岩市

    • 西藏自治区

  • 山南市

    • 西藏自治区

  • 拉萨市

    • 西藏自治区

  • 日喀则市

    • 西藏自治区

  • 昌都市

    • 西藏自治区

  • 林芝市

    • 西藏自治区

  • 那曲市

    • 西藏自治区

  • 阿里地区

    • 贵州省

  • 六盘水市

    • 贵州省

  • 安顺市

    • 贵州省

  • 毕节市

    • 贵州省

  • 贵阳市

    • 贵州省

  • 遵义市

    • 贵州省

  • 铜仁市

    • 贵州省

  • 黔东南苗族侗族自治州

    • 贵州省

  • 黔南布依族苗族自治州

    • 贵州省

  • 黔西南布依族苗族自治州

    • 辽宁省

  • 丹东市

    • 辽宁省

  • 大连市

    • 辽宁省

  • 抚顺市

    • 辽宁省

  • 朝阳市

    • 辽宁省

  • 本溪市

    • 辽宁省

  • 沈阳市

    • 辽宁省

  • 盘锦市

    • 辽宁省

  • 营口市

    • 辽宁省

  • 葫芦岛市

    • 辽宁省

  • 辽阳市

    • 辽宁省

  • 铁岭市

    • 辽宁省

  • 锦州市

    • 辽宁省

  • 阜新市

    • 辽宁省

  • 鞍山市

    • 重庆市

  • 县

    • 重庆市

  • 市辖区

    • 陕西省

  • 咸阳市

    • 陕西省

  • 商洛市

    • 陕西省

  • 安康市

    • 陕西省

  • 宝鸡市

    • 陕西省

  • 延安市

    • 陕西省

  • 榆林市

    • 陕西省

  • 汉中市

    • 陕西省

  • 渭南市

    • 陕西省

  • 西安市

    • 陕西省

  • 铜川市

    • 青海省

  • 果洛藏族自治州

    • 青海省

  • 海东市

    • 青海省

  • 海北藏族自治州

    • 青海省

  • 海南藏族自治州

    • 青海省

  • 海西蒙古族藏族自治州

    • 青海省

  • 玉树藏族自治州

    • 青海省

  • 西宁市

    • 青海省

  • 黄南藏族自治州

    • 黑龙江省

  • 七台河市

    • 黑龙江省

  • 伊春市

    • 黑龙江省

  • 佳木斯市

    • 黑龙江省

  • 双鸭山市

    • 黑龙江省

  • 哈尔滨市

    • 黑龙江省

  • 大兴安岭地区

    • 黑龙江省

  • 大庆市

    • 黑龙江省

  • 牡丹江市

    • 黑龙江省

  • 绥化市

    • 黑龙江省

  • 鸡西市

    • 黑龙江省

  • 鹤岗市

    • 黑龙江省

  • 黑河市

    • 黑龙江省

  • 齐齐哈尔市