人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。为机器学习等许多问题的研究提供了一条新的思路，目前已经在模式识别、机器视觉、联想记忆、自动控制、信号处理、软测量、决策分析、智能计算、组合优化问题求解、数据挖掘等方面获得成功应用。
着重介绍最基本、最典型、应用最广泛的BP神经网络和Hopfield神经网络及其在模式识别、联想记忆、软测量、智能计算、组合优化问题求解等方面的应用。

神经网络（neural networks，NN）

生物神经网络( natural neural network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。
人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。
神经网络方法： 隐式的知识表示方法

生物神经元的结构

人脑构造:
皮层（cortex）
中脑（midbrain）
脑干（brainstem）
小脑（cerebellum）

人脑由一千多亿（1011亿－ 1014 亿）个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。
神经元约有1000种类型，每个神经元大约与103－ 104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。

生物神经元结构

树突（输入）

神经细胞利用电-化学过程交换信号
工作状态：
兴奋状态：细胞膜电位 > 动作电位的阈值 → 神经冲动
抑制状态：细胞膜电位 < 动作电位的阈值
学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱 。

神经元数学模型

人工神经元模型

1943年，麦克洛奇和皮兹提出M－P模型。


一般模型：





非线性激励函数（传输函数、输出变换函数）

神经网络结构与工作方式

决定人工神经网络性能的三大要素：

神经元的特性。
神经元之间相互连接的形式——拓扑结构。
为适应环境而改善性能的学习规则。

神经网络的结构

（1）前馈型（ 前向型）

（2）反馈型

神经网络的工作方式

同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。
异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。

神经网络的学习

神经网络方法是一种知识表示方法和推理方法。
神经网络知识表示是一种隐式的表示方法。
1944年赫布（Hebb）提出了改变神经元连接强度的Hebb学习规则。
Hebb学习规则：当某一突触两端的神经元同时处于兴奋状态，那么该连接的权值应该增强。
欢迎大家加我微信交流讨论（请备注csdn上添加）