This book provides a versatile and lucid treatment of classic as well as modern probability theory, while integrating them with core topics in statistical theory and also some key tools in machine learning. It is written in an extremely accessible style, with elaborate motivating discussions and numerous worked out examples and exercises. The book has 20 chapters on a wide range of topics, 423 worked out examples, and 808 exercises. It is unique in its unification of probability and statistics, its coverage and its superb exercise sets, detailed bibliography, and in its substantive treatment of many topics of current importance. This book can be used as a text for a year long graduate course in statistics, computer science, or mathematics, for self-study, and as an invaluable research reference on probabiliity and its applications. Particularly worth mentioning are the treatments of distribution theory, asymptotics, simulation and Markov Chain Monte Carlo, Markov chains and martingales, Gaussian processes, VC theory, probability metrics, large deviations, bootstrap, the EM algorithm, confidence intervals, maximum likelihood and Bayes estimates, exponential families, kernels, and Hilbert spaces, and a self contained complete review of univariate probability.

Theoretical results suggest that in order to learn the kind of complicated functions that can represent high-level abstractions (e.g., in vision, language, and other AI-level tasks), one may need deep architectures. Deep architectures are composed of multiple levels of non-linear operations, such as in neural nets with many hidden layers or in complicated propositional formulae re-using many sub-formulae. Searching the parameter space of deep architectures is a difficult task, but learning algorithms such as those for Deep Belief Networks have recently been proposed to tackle this problem with notable success, beating the stateof- the-art in certain areas. This monograph discusses the motivations and principles regarding learning algorithms for deep architectures, in particular those exploiting as building blocks unsupervised learning of single-layer models such as Restricted Boltzmann Machines, used to construct deeper models such as Deep Belief Networks.

《神经网络与机器学习(英文版第3版)》的可读性非常强，作者举重若轻地对神经网络的基本模型和主要学习理论进行了深入探讨和分析，通过大量的试验报告、例题和习题来帮助读者更好地学习神经网络。神经网络是计算智能和机器学习的重要分支，在诸多领域都取得了很大的成功。在众多神经网络著作中，影响最为广泛的是SimonHaykin的《神经网络原理》(第4版更名为《神经网络与机器学习》）。在《神经网络与机器学习(英文版第3版)》中，作者结合近年来神经网络和机器学习的最新进展，从理论和实际应用出发，全面。系统地介绍了神经网络的基本模型、方法和技术，并将神经网络和机器学习有机地结合在一起。《神经网络与机器学习(英文版第3版)》不但注重对数学分析方法和理论的探讨，而且也非常关注神经网络在模式识别、信号处理以及控制系统等实际工程问题中的应用。 本版在前一版的基础上进行了广泛修订，提供了神经网络和机器学习这两个越来越重要的学科的最新分析。

在线阅读本书 The EM Algorithm and Extensions remains the only single source to offer a complete and unified treatment of the theory, methodology, and applications of the EM algorithm. The highly applied area of statistics here outlined involves applications in regression, medical imaging, finite mixture analysis, robust statistical modeling, survival analysis, and repeated–measures designs, among other areas. The text includes newly added and updated results on convergence, and new discussion of categorical data, numerical differentiation, and variants of the EM algorithm. It also explores the relationship between the EM algorithm and the Gibbs sampler and Markov Chain Monte Carlo methods.

本书是最全面的机器学习教材之一。书中首先介绍了机器学习的构成要素（任务、模型、特征）和机器学习任务，接着详细分析了逻辑模型（树模型、规则模型）、几何模型（线性模型和基于距离的模型）和概率模型，然后讨论了特征、模型的集成，以及被机器学习研究者称为“实验”的方法。作者不仅使用了已有术语，还引入了一些新的概念，同时提供了大量精选的示例和插图解说。

译 者 序 信息时代，无处不有模式识别的需求。概括地讲，模式识别是一门以应用数学为理论基础，利用计算机应用技术，解决实际分类及识别问题的学问。按照研究问题的特点及解决问题的手段特征，通常有统计模式识别和结构模式识别之分，前者以多元统计理论为数学基础，以数据特征的形式对问题进行描述，而后者则以形式语言为数学基础，以结构图元的形式对问题进行描述，它们都致力于将隐含在大量样本中的类间差异的规律归纳出来，并综合成适当的分类、识别乃至预测模型。 从发展的角度看，在传统的、较成熟的分类和识别方法的基础上，模糊数学思想方法的介入，人工神经网络对统计模型类型的丰富、进化算法等一批优秀算法的出现，支持向量机、复杂网络、极度学习和深度学习等一些新方法的提出和介入等，使统计模式识别的研究和应用充满活力。 英国著名学者Andrew R. Webb所著《统计模式识别》一书对统计模式识别的理论、概念和方法进行了全面介绍，并在以下方面具有鲜明特点。 1．编写体系。本书以“分类与识别”为主线，在“基本概念理论分析方法讲解应用实例拓展研究”的框架下，介绍统计模式识别的每一个具体方法； 再以应用研究、建议、参考文献等，对由若干方法形成的一类问题进行综述。其中，“拓展研究”能够使读者从知识点伸展到面，进一步了解相关问题的研究动态及人们普遍关注的问题； 而“应用研究”则将模式识别技术与广泛的实际问题紧密相联，颇具启迪性； “总结”及“建议”凝结了作者的体会和经验，颇具指导性； “参考文献”给出了所列文献与书中内容的联系及其特色。这样的组织格局使读者从局部到全局、从理论到方法、从方法到应用、从研究动态到问题展望，一览无余。 2．清晰的分类方法的主线设计。作者将各种分类器学习方法收纳于统计决策、超特征空间划分这两条主线中，从第2章到第9章，用了共八章的篇幅。统计决策重点解决类概率密度函数的训练，除了非参数法和参数法之外，增加了贝叶斯方法的介绍，特别是按照近邻法直方图法核函数法级数法逐步展开的概率密度估计的讲解，对学习者理解、掌握和用好相关技术大有益处； 超特征空间划分按照线性和非线性线条展开，自然引出对支持向量机和多层感知器的介绍，规则归纳法反映了模式识别与智能方法的有机联系，搭建起从分类模型的判别分析到可解释规则的桥梁。 3．将最新研究方法融入统计模式识别框架。作者在“分类与识别”主线下带出对统计模式识别概念、新方法（例如人工神经网、模糊思想用于聚类、支持向量机、新的非参数方法、谱聚类、复杂网络等）的较详尽介绍，使读者能够更深层次地理解它们的构成内涵及其识别行为属性，从而为根据具体问题特点灵活、合理地选用它们提供帮助。 4．内容前后呼应。作者在保持各章节内容相对独立的前提下，特别加强了“谈此及彼”，使读者能够对一种重要方法进行多角度的理解和消化。 5．辩证评述和比较性研究。模式识别问题本身决定了目前实用的模式识别方法和技术没有绝对的好与坏。相信读者会从本书的字里行间领略到作者科学严谨的理论分析及辩证客观的方法评述，并从中受益。另外，本书特别强调并略加笔墨的“分类器优化组合”、“比较性研究”，近年来受到模式识别学者和专家的重视，值得读者关注。 本书对上一版的大部分章节内容都进行了重新编写和组织，包括内容顺序的梳理和调整，使其内容的模块性更强，分类方法的线条更清晰，与机器学习、数据挖掘及知识发现的关联更紧密； 配置了更多的例子和图表，使内容更易读、易理解。 本书的中译本在上版译稿基础上完成。上一版翻译工作由王萍、杨培龙和罗颖昕完成。在这个版本的翻译过程中，范凯波、王娟、王迪、闫春遐和杜雪峰等，在新增内容初译和公式整理等方面提供了帮助。全书由王萍统稿和定稿。 在这里向为本书的翻译工作做出贡献的所有人表示感谢，包括已经毕业的学生杨培龙、罗颖昕和杜雪峰，以及即将毕业的博士生王娟和硕士生闫春遐，在读的博士生范凯波、王迪和石君志。谢谢你们！ 由于译者水平所限，译文中难免有疏漏和不妥之处，恳请读者不吝赐教。 王 萍 2014年9月 于天津大学 本书介绍统计模式识别的基本理论和技术，其中大部分内容涉及识别和分类问题，并取材于工程学、统计学、计算机科学和社会学等领域的相关文献。在这些文献中，反映了许多当今最有用的模式处理技术，包括许多最新的非参数识别方法和贝叶斯计算方法，本书一并对它们进行介绍，并对使用这些技术方法的起因和支撑这些技术方法的理论展开讨论，以使读者在使用那些流行软件包解决问题时获益最大。本书对各项技术均附以应用研究实例说明之。至于书中涉及的模式识别的应用、对比研究法及理论进展的细节，可以在书后各类文献中找到。 本书内容源自我们对统计模式识别方法进展的研究，以及对传感器数据分析问题的实际应用，针对高年级本科生课程和研究生课程而写，其中有些材料已用于研究生的模式识别课程及模式识别暑期班。本书也是为模式识别领域的实际工作者及其研究者所设计的。作为学习本书内容的先决条件，学习者应具备概率论和线性代数的基本知识，掌握一些基本数学方法（例如，在一些推导中，用于解决具有等式约束和不等式约束问题的拉格朗日数乘法）。本书前版附录提供的一些基本材料可以在本书配套网站找到。 范围 本书展现绝大多数常用的统计模式识别方法。然而，模式识别的许多重要研究进展并非局限于统计学文献，而经常呈现于与机器学习交叉的研究领域。因此，打破传统的统计模式识别的框架将是有益的，本书正是这样做的。例如，我们把一些规则归纳方法作为一种补充方法添加进来，以通过决策树归纳掌控探索过程。本书谈到的大多数方法具有一般性，即这些方法并不要求指定数据或应用的特定类型，于是本书内容不涉及大家时常用到的信号(和图像)预处理方法，以及信号(和图像)滤波方法。 方法 本书每一章所讨论的方法，均会安排讲述与其相关的基本概念和算法，均会在章末给出引自参考文献的相关方法或分类技术的实际应用，其主要目是理解方法的基本概念。有时候需要进行一些详细的数学描述，因此有时不得不划一个界限，以掌控把哪个特定主题讨论到多深。本书涉及的大部分主题可以用整本书来论述，于是我们不得不对所拥有的材料进行取舍，因此每一章的最后一节均提供了主要的参考文献。章末所附习题与开卷式问题有所不同，开卷式问题涉及比较冗长的计算机工程项目。 第三版的新增内容 本书对前版的许多章节进行了重新编写，并添加了一些新的材料，新增内容特点如下。 第3章的内容是新增的，这一章讲述密度估计的贝叶斯法，包括对贝叶斯采样方案的内容拓展、马尔可夫链蒙特卡罗方法、序贯蒙特卡罗采样器和变分贝叶斯法。 新增一节专门讲述密度估计的非参数方法。 新增规则归纳方法。 为分类器的组合方法新增一章。 对特征选择内容进行了重新修订，增添了关于特征选择稳定性的章节。 新增谱聚类内容。 新增一章讲述复杂网络问题，这个问题与社会及计算机网络分析的高增长领域相关。 全书梗概 第1章作为统计模式识别的绪论，给出一些名词术语的定义，介绍监督型分类和无监督型分类。就监督型分类而言，有两种研究方法： 一种方法基于概率密度函数的运用； 另一种方法则基于判别函数的构建。在这一章的最后对模式识别的完整过程进行概括，细节问题则安排在后续章节中讨论。第2章至第4章讨论识别问题的密度函数法。其中，第2章讲解密度函数估计的参数法，它们在贝叶斯法上的进一步拓展安排在第3章，第4章讨论非参数分类器的实现方案，包括被广泛使用的k近邻法及与之相关的有效搜索算法。 第5章至第7章研究有监督分类问题的判别函数的构建方法。第5章集中讨论线性判别函数，其中所涉及的大多数判别法（包括优化、正则化和支持向量机）也适用于第6章展开的非线性研究。第6章探讨基于核函数的方法，特别是径向基函数网络和支持向量机，还讨论了基于投影的方法（多层感知器），这些通常称为神经网络方法。第7章讨论如何使分类函数变为可解释的规则，这种判别方法对一些应用来说非常重要。 第8章讨论分类器的集成方法，即为提高系统的鲁棒性，将多个分类器组合起来。第9章讲述如何测评分类器的性能。 第10章和第11章探讨数据分析和预处理技术（这些工作通常先于第5章至第7章介绍的有监督分类工作，尽管有时可以用来作为有监督方法的后置处理）。第10章讲述特征选择和特征提取方法，它们用以降低描述原始数据特征的维数，这项工作通常是分类器整体设计工作的一部分，只是被人为地将这一模式识别问题划分为相对独立的特征提取过程和模式分类过程。特征提取可以帮助我们深入了解数据结构及分类器需要选用的类型，因此该研究备受关注。第11章讲述无监督分类或称聚类问题，即在样本群中找到所存在的结构并借此将其分组的过程。这类技术的工程应用是对图像进行矢量量化及对语音编码。第12章讨论复杂网络问题，所述方法对待分析的数据用图形的数学概念进行表述，所述及问题与社会及计算机网络的关联很显著。 最后，即第13章，讨论一些重要的包括模型选择问题在内的研究课题。 本书网站 对如下问题提供了补充材料： 相异测度、估计方法、线性代数、数据分析和基本概率方法。 致谢 在编写本书第三版的过程中，我们得到了很多人的帮助。在此特别感谢East Anglia大学的Gavin Cawley博士所给予的帮助和建议，感谢朋友们和同事们(RSRE，DERA 和 QinetiQ的自始至终的帮助)，他们对原稿的不同部分提出了许多宝贵意见。还要特别感谢Anna Skeoch为第12章提供数据； 感谢Richard Davies和John Wiley的同事们为稿件的最终出版所给予的帮助。Andrew Webb特别感谢Rosemary所给予的爱、支持和耐心。

《python计算机视觉编程》是计算机视觉编程的权威实践指南，依赖python语言讲解了基础理论与算法，并通过大量示例细致分析了对象识别、基于内容的图像搜索、光学字符识别、光流法、跟踪、三维重建、立体成像、增强现实、姿态估计、全景创建、图像分割、降噪、图像分组等技术。另外，书中附带的练习还能让读者巩固并学会应用编程知识。 《python计算机视觉编程》适合的读者是：有一定编程与数学基础，想要了解计算机视觉的基本理论与算法的学生，以及计算机科学、信号处理、物理学、应用数学和统计学、神经生理学、认知科学等领域的研究人员和从业者。

《概率图模型学习理论及其应用》是系统论述概率图模型的基本理论、学习算法及其应用的中文专著，内容包括概率图模型基本概念；完整数据集的概率图模型的学习理论；不完整数据集的概率图模型学习理论；无向概率图模型学习；新型学习方法；概率图模型在计算机视觉、个人信用风险评估及语言识别领域中的应用等部分。《概率图模型学习理论及其应用》从实例出发，由浅入深，直观与严谨相结合，并提供了详尽的参考文献。

通过收集数据来学习和演进的计算机系统威力无穷。Mahout作为Apache的开源机器学习项目，把推荐系统、分类和聚类等领域的核心算法浓缩到了可扩展的现成的库中。使用Mahout，你可以立即在自己的项目中应用亚马逊、Netflix及其他互联网公司所采用的机器学习技术。 本书出自Mahout核心成员之手，得到Apache官方推荐，权威性毋庸置疑。作者凭借多年实战经验，为读者展现了丰富的应用案例，并细致地介绍了Mahout的解决之道。本书还重点讨论了可扩展性问题，介绍了如何利用Apache Hadoop框架应对大数据的挑战。 本书内容： • 利用分组数据实现个性化推荐； • 寻找数据中的逻辑簇； • 通过即时分类实现过滤与调优。

编辑推荐： 通过对本书的学习，读者不仅可以全面系统地了解该领域的基础原理，还能试验如何搭建一套真正的推荐系统。 —— 百度主任架构师、百度技术委员会主席 廖若雪 本书比较全面地介绍了推荐系统涉及的相关知识点，很适合对于推荐系统感兴趣的相关人员作为入门教程，目前能够系统全面介绍相关技术的中文书籍还显得匮乏，相信这本译著对于缓解这种情况大有裨益。 ——新浪微博数据挖掘技术专家 张俊林 本书不但介绍了比较成熟的经典算法，还介绍了最近几年的一些新进展，并辅之以实际应用的案例介绍。希望看到越来越多的朋友加入到推荐引擎的研究和应用中来！ ——百分点信息科技有限公司首席运营官兼技术副总裁 张韶峰 由蒋凡执笔翻译的这本《推荐系统》是一本从基础介绍推荐引擎的难得的好书，给人启迪良多。愿越来越多的互联网爱好者认真阅读本书，走在互联网发展大潮的前沿，成为下一代互联网产品真正需要的人才。 ——人民搜索商务搜索部总监 常兴龙 读者评价： 这是迄今为止市面上所有讲推荐系统的书中最全面、最实用的一本入门指南。如果你是教这门课的大学老师，万万不能错过这本“推荐系统大全”。尤其值得称道的是，这本书广泛涵盖了不同类型的推荐系统，并对它们逐一进行了鞭辟入里、细致入微的剖析。虽然这本书定位于初中级读者，但是我认为即使是经验丰富的专业人员，也会在其中发现新鲜有趣的内容。 ——Robin Burke, 芝加哥德保罗大学教授 本书涵盖了推荐系统领域的全部知识，并为应对未来新的挑战提供了前瞻性建议。书中全面解释了一系列生成推荐的经典算法和方法，概述了源自社交计算和语义网的新手段对推荐系统的作用。希望这本书能够点燃你的激情，释放你的创造力和进取精神，把推荐系统的研究与应用推向新的高度。 ——Joseph A. Konstan, 美国明尼苏达大学教授 内容简介： 本书全面阐述了开发最先进推荐系统的方法，其中呈现了许多经典算法，并讨论了如何衡量推荐系统的有效性。书中内容分为基本概念和最新进展两部分：前者涉及协同推荐、基于内容的推荐、基于知识的推荐、混合推荐方法，推荐系统的解释、评估推荐系统和实例分析；后者包括针对推荐系统的攻击、在线消费决策、推荐系统和下一代互联网以及普适环境中的推荐。此外，本书还包含大量的图、表和示例，有助于读者理解和把握相关知识。 本书适用于从事搜索引擎、推荐算法、数据挖掘等研发工作的专业人员以及对推荐系统感兴趣的读者。

大数据：互联网大规模数据挖掘与分布式处理，ISBN：9787115291318，作者：（美） Anand Rajaraman （美） Jeffrey David Ullman 著，王 斌 译

This third edition of a classic textbook presents a comprehensive introduction to Bayesian data analysis. Written for students and researchers alike, the text is written in an easily accessible manner with chapters that contain many exercises as well as detailed worked examples taken from various disciplines. This third edition provides two new chapters on Bayesian nonparametrics and covers computation systems BUGS and R. It also offers enhanced computing advice. The book's website includes solutions to the problems, data sets, software advice, and other ancillary material.

神经网络是计算智能和机器学习的重要分支，在诸多领域都取得了很大的成功。在众多神经网络著作中，影响最为广泛的是Simon Haykin的《神经网络原理》（第3版更名为《神经网络与机器学习》）。在本书中，作者结合近年来神经网络和机器学习的最新进展，从理论和实际应用出发，全面、系统地介绍了神经网络的基本模型、方法和技术，并将神经网络和机器学习有机地结合在一起。 本书不但注重对数学分析方法和理论的探讨，而且也非常关注神经网络在模式识别、信号处理以及控制系统等实际工程问题的应用。本书的可读性非常强，作者举重若轻地对神经网络的基本模型和主要学习理论进行了深入探讨和分析，通过大量的试验报告、例题和习题来帮助读者更好地学习神经网络。 本版在前一版的基础上进行了广泛修订，提供了神经网络和机器学习这两个越来越重要的学科的最新分析。 本书特色： 1. 基于随机梯度下降的在线学习算法；小规模和大规模学习问题。 2. 核方法，包括支持向量机和表达定理。 3. 信息论学习模型，包括连接、独立分量分析（ICA）、一致独立分量分析和信息瓶颈。 4. 随机动态规划，包括逼近和神经动态规划。 5. 逐次状态估计算法，包括卡尔曼和粒子滤波器。 6. 利用逐次状态估计算法训练递归神经网络。 7. 富有洞察力的面向计算机的试验。

《支持向量机：理论、算法与拓展》以分类问题（模式识别、判别分析）和回归问题为背景，介绍支持向量机的基本理论、方法和应用。特别强调对所讨论的问题和处理方法的实质进行直观的解释和说明，因此具有很强的可读性。为使具有一般高等数学知识的读者能够顺利阅读，书中首先介绍了最优化的基础知识。《支持向量机：理论、算法与拓展》可作为理工类、管理学等专业的高年级本科生、研究生和教师的教材或教学参考书，也可供相关领域的科研人员和实际工作者阅读参考。

《Web数据挖掘》旨在讲述这些任务以及它们的核心挖掘算法；尽可能涵盖每个话题的广泛内容，给出足够多的细节，以便读者无须借助额外的阅读，即可获得相对完整的关于算法和技术的知识。其中结构化数据的抽取、信息整合、观点挖掘和Web使用挖掘等4章是《Web数据挖掘》的特色，这些内容在已有书籍中没有提及，但它们在Web数据挖掘中却占有非常重要的地位。当然，传统的Web挖掘主题，如搜索、页面爬取和资源探索以及链接分析在书中也作了详细描述。 《Web数据挖掘》尽管题为“Web数据挖掘”，却依然涵盖了数据挖掘和信息检索的核心主题；因为Web挖掘大量使用了它们的算法和技术。数据挖掘部分主要由关联规则和序列模式、监督学习（分类）、无监督学习（聚类）这三大最重要的数据挖掘任务，以及半监督学习这个相对深入的主题组成。而信息检索对于Web挖掘而言最重要的核心主题都有所阐述。

《数据挖掘实用机器学习技术(原书第2版)》介绍数据挖掘的基本理论与实践方法。主要内容包括：各种模型(决策树、关联规则、线性模型、聚类、贝叶斯网以及神经网络)以及在实践中的运用，所存在缺陷的分析。安全地清理数据集、建立以及评估模型的预测质量的方法，并且提供了一个公开的数据挖掘工作平台Weka。Weka系统拥有进行数据挖掘任务的图形用户界面，有助于理解模型，是一个实用并且深受欢迎的工具。 海报：

支持向量机（SVM）是在统计学习理论的基础上发展起来的新一代学习算法，它在文本分类、手写识别、图像分类、生物信息学等领域中获行较好的应用。本书是第一本综合介绍支持向量机（SVM）的书籍，它从机器学习算法的基本问题开始，循序渐进地介绍相关的背景知识，包括线性分类器、核函数特征空间、推广性理论和优化理论，在此基础上很自然地引出了支持向量机的算法。本书末尾还详细讨论了一系列支持向量机的重要应用及其实现的技巧。本书的叙述清晰严谨，自包含性强，提供的大量相关文献引用以及网站链接可作为进一步学习的理想起始点。本书可作为计算机、自动化、机电工程、应用数学等专业的研究生教材，也可作为神经网络、机器学习、数据挖掘、人工智能等课程的参考教材，同时还是相关领域的教师和研究人员的参考书。