+ All Categories
Home > Documents > Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

Date post: 11-Mar-2016
Category:
Upload: menez
View: 231 times
Download: 6 times
Share this document with a friend
Description:
Rongyong Ma, Leilei Yang, Zhichao Zhang
Popular Tags:
7
- 109 - www.ivypub.org/mc Mathematical Computation December 2013, Volume 2, Issue 4, PP.109-115 Analysis the Characteristic of C1, C2 based on the PSO of Iterative Shift and Trajectory of Particle Rongyong Ma, Leilei Yang, Zhichao Zhang # Institute of civil engineering and architecture, Guangxi University, Nanning, Guangxi, china # Email: [email protected] Abstract First of all, the fundamental model and operation mechanism of Particle Swarm Optimization(PSO) have been illustrated in this paper; then the effect of the parameters 1 2 , c c on particle behavior and the evolution of the algorithm has been examined through the particle displacement with iterative, the path analysis and the parameter testing of function. Further, several identified phenomena and the necessities of random selection in PSO have been discussed including the update space of the solution constantly collapses, the particles "wandering" and "vibration", the evolution and biodiversity loss of particles. Ultimately, the causes of premature and the local convergence have been explored. Through the mentioned above, the operation mechanism of the model and the properties parameters 1 2 , c c have been well learnt. Keywords: Particle Swarm Optimization (PSO); Inertia Weight Factor; Learning Factor; Parameter Characteristics 基于粒子迭代位移和轨迹的粒子群算法 C1C2 数特性分析 麻荣永,杨磊磊,张智超 广西大学 土木建筑工程学院,广西 南宁 530004 要:本文首先介绍了粒子群算法(PSO)的基本模型及其运行机制; 然后,通过粒子迭代位移、轨迹分析和函数上的 参数试验,研究了 1 2 , c c 参数对粒子行为和算法进化性能的影响,以及对粒子目标识别和方向感的影响; 接着,又探讨了 PSO 中的解的更新空间不断塌缩、粒子的“游荡”与“振荡”、粒子进化与多样性损失等几个确定性现象和随机性搜寻 的必要条件; 最后,分析了早熟收敛和局部收敛的原因。通过研究,加深了对粒子群算法(PSO)基本模型运行机制的认 识和对 1 2 , c c 参数特性的了解。 关键词:粒子群算法;惯性权重系数;学习因子;参数特性 引言 粒子群算法(PSO)是一种基于群种数量的自适应、随机优化方法,最先由 Kennedy Eberhart 1995 年提出,灵感来自于鸟群和鱼群的社会行为,初衷为解决非线性连续函数的全局最优化问题。该算法模拟鸟 群和鱼群的社会行为,认为在鸟群或者鱼群捕食过程中,团队里的任何一个成员都在分享着群体所有成员的 先前经验和最新发现。只要分布在定义区域中的资源是不可预测的,这一有益机制就能起到关键作用,它抵 消了食物竞争带来的不便和弊处。这意味着信息被鸟群或者鱼群进行了社会分享,并且形成了一种个体学习 和群体进化的势。 广西防灾减灾与工程安全重点实验室系统性研究项目:编号:2013ZDX04 国家自然科学基金资助项目 编号:51369005
Transcript
Page 1: Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

- 109 -

www.ivypub.org/mc

Mathematical Computation December 2013, Volume 2, Issue 4, PP.109-115

Analysis the Characteristic of C1, C2 based on

the PSO of Iterative Shift and Trajectory of

Particle Rongyong Ma, Leilei Yang, Zhichao Zhang #

Institute of civil engineering and architecture, Guangxi University, Nanning, Guangxi, china

#Email: [email protected]

Abstract

First of all, the fundamental model and operation mechanism of Particle Swarm Optimization(PSO) have been illustrated in this

paper; then the effect of the parameters 1 2,c c on particle behavior and the evolution of the algorithm has been examined through

the particle displacement with iterative, the path analysis and the parameter testing of function. Further, several identified

phenomena and the necessities of random selection in PSO have been discussed including the update space of the solution

constantly collapses, the particle’s "wandering" and "vibration", the evolution and biodiversity loss of particles. Ultimately, the

causes of premature and the local convergence have been explored. Through the mentioned above, the operation mechanism of the

model and the properties parameters 1 2,c c have been well learnt.

Keywords: Particle Swarm Optimization (PSO); Inertia Weight Factor; Learning Factor; Parameter Characteristics

基于粒子迭代位移和轨迹的粒子群算法 C1、C2 参

数特性分析 麻荣永,杨磊磊,张智超

广西大学 土木建筑工程学院,广西 南宁 530004

摘 要:本文首先介绍了粒子群算法(PSO)的基本模型及其运行机制; 然后,通过粒子迭代位移、轨迹分析和函数上的

参数试验,研究了 1 2,c c 参数对粒子行为和算法进化性能的影响,以及对粒子目标识别和方向感的影响; 接着,又探讨了

PSO 中的解的更新空间不断塌缩、粒子的“游荡”与“振荡”、粒子进化与多样性损失等几个确定性现象和随机性搜寻

的必要条件; 最后,分析了早熟收敛和局部收敛的原因。通过研究,加深了对粒子群算法(PSO)基本模型运行机制的认

识和对 1 2,c c 参数特性的了解。

关键词:粒子群算法;惯性权重系数;学习因子;参数特性

引言

粒子群算法(PSO)是一种基于群种数量的自适应、随机优化方法,最先由 Kennedy 和 Eberhart 在 1995

年提出,灵感来自于鸟群和鱼群的社会行为,初衷为解决非线性连续函数的全局最优化问题。该算法模拟鸟

群和鱼群的社会行为,认为在鸟群或者鱼群捕食过程中,团队里的任何一个成员都在分享着群体所有成员的

先前经验和最新发现。只要分布在定义区域中的资源是不可预测的,这一有益机制就能起到关键作用,它抵

消了食物竞争带来的不便和弊处。这意味着信息被鸟群或者鱼群进行了社会分享,并且形成了一种个体学习

和群体进化的势。

广西防灾减灾与工程安全重点实验室系统性研究项目:编号:2013ZDX04 国家自然科学基金资助项目 编号:51369005

Page 2: Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

- 110 -

www.ivypub.org/mc

1 PSO 基本模型与运行机制

1.1 PSO 基本模型

粒子群算法数学模型包括动力模型和相应的运动模型,可实现一个具有能动性的粒子群体。

根据文献,假设搜索区域为一 n 维空间,其中存在向量 X(x1,x2,…,xn),其中 xi代表第 i 个变量, 1,2,...,i n 。

我们可以设置用于搜索的粒子群数为 m 个,其中第 j 个粒子的搜索位置记为 1 2( , ,..., )j j j jnI x x x ,速度记为

1 2( , ,... )j j j jnV V V V , 1,2,...,j m 。基本 PSO 模型为

动力方程: ( 1) ( ) ( ) ( ) ( )( )1 1 2 2( ) ( )

k k k k kkj j j j jV V c pb I c gb I

(3-1)

运动方程: ( 1) ( ) ( 1)k k kj j jI I V

(3-2)

速度方程: max max,V V V V ; max max,V V V V ; (3-3)

美国的 Shi 和 Eberhart 在研究时发现,(3-1)式中的第一部分 ( )kjV 不仅具有随机性,而且不具备记忆功

能,在搜索过程中,其有扩大搜索空间,探索新区域的趋势,为此,设置了速度限制 maxV 。为消除对 maxV 的

依赖,引入惯性参数来控制 ( )kjV 对 ( 1)k

jV 的影响,这样也可以达到控制搜索区域的目的,改进模型如下:

动力方程: ( 1) ( ) ( ) ( ) ( )( )1 1 2 2( ) ( )

k k k k kkj j j j jV V c pb I c gb I

(3-4)

运动方程: ( 1) ( ) ( 1)k k kj j jI I V

(3-5)

式中:

k——当前迭代次数;

——惯性权重系数;

1 2,c c ——加速度系数或学习因子或学习能力系数,为正数;

1 2, ——为(0,1)之间的随机数向量。 1 11 12 1( , ,..., )nr r r , 2 21 22 2( , ,..., )nr r r 。

( ) ( 1),

k kj jV V

——分别为第 j 个粒子在第 k 次和第 k+1 次迭代中的速度;其中, ( ) ( ) ( ) ( )1 2( , ,..., )

k k k kj jnj jV V V V ,

( 1) ( 1) ( 1) ( 1)1 2( , ,..., )

k k k kj jnj jV V V V

( ) ( 1),

k kj jI I

——分别为第 j 个粒子在第 k 次、k+1 次迭代中的位置;其中, ( ) ( ) ( ) ( )1 2( , ,..., )

k k k kj jnj jI x x x ,

( 1) ( 1) ( 1) ( 1)1 2( , ,..., )

k k k kj jnj jI x x x

( )kjpb ——截止当前第 k 次迭代,j 粒子的个体历史最优位置(personal best position in history),记为 pbest。

即截止当前,j 粒子所经历过的最好位置,等同于 j 号鸟儿曾寻找到的最好食物源地;

( )kgb ——截止当前第 k 次迭代,整个群体的历史最优位置(group best position in history),记为 gbest,

即截止当前,粒子群体经历过的最优位置,等同于鸟群当前寻找到的最好食物源地;

maxV ——设置的最大速度;

1.2 PSO 运行机制

(1)动力机制和运动规律

由动力方程:j 粒子的下一迭代速度 ( 1)kjV 主要由三方面的动力构成,一是惯性势 ( )k

jV ,属于机械部分;

二是来自粒子个体当前历史最好位置 pbest 的引力势 ( ) ( )1 1( )

k kj jc pb I ,代表粒子“个体认知”;三是来自群

体当前历史最好位置 gbest 的引力势 ( )( )2 2( )

kkjc gb I ,代表粒子“社会认知”。

由运动方程知, ( 1) ( 1) ( )k k kj j jV I I

,等式右端是一位移向量,由起点位置 ( )kjI 指向终点位置 ( 1)k

jI 。可

知,迭代速度 ( 1)kjV 为粒子在单步迭代中的位移,象征着粒子的空间开拓能力,或者说惯性势 ( )k

jV 决定着

粒子的空间开拓能力。

(2)PSO 初始化

Page 3: Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

- 111 -

www.ivypub.org/mc

PSO 在初始时,先随机生成粒子的初始位置矩阵 (0) (0)(0) (0)1 2, ,...,

T

mI I I I

,其中 (0) (0) (0) (0)1 2( , ,..., )j jnj jI x x x ,

1,2,...,j m 。随机生成粒子的速度矩阵 (0) (0)(0) (0)1 2( , ,..., )TmV V V V ,其中 (0) (0) (0) (0)

1 2( , ,..., )j jnj jV v v v , 1,2,...,j m ;

然后代入模型进行迭代计算。

(3)迭代中的适应值择优

在 PSO 的每一步迭代中,粒子依照它们所处位置的适应值进行分类和推优,适应值大者为优。一般情况

下,适应值和优化问题有关,比如在当前群体中,x 和 y 代表两个不同的粒子位置,目标函数为 F(u),有

F(x)>F(y),如优化问题为最大化 F(u),则 x 的适应值大,即 x 更优;反之,如目标为最小化 F(u),则 y 的适

应值大,即 y 更优。无论个体最优位置 pbest 还是群体最优位置 gbest 都以该位置的适应值大小为判据。

(4)寻优过程

依据上述机制,PSO 运行前,先初始化粒子群的随机位置,随机速度,随机学习能力因子。在迭代前,

依据粒子当前位置的适应值择优选择,得出当前的 pbest 和 gbest,即得到初始加权中心,每个粒子在初始惯

性势和初始加权中心引力势的作用下进入第一次迭代,并发生迭代位移。依次下去,在每步迭代后,各粒子

的 pbest 得到更新,gbest 也随之更新,惯性势也得到更新,各粒子在当期新的惯性势和加权中心引力势作用

下发生新的迭代位移。如此这样,随着各粒子及 pbest 的不断更新,gbest 也实现更新和进化,直至进化到全

局最优解 GOS(Global Optimal Solution),所以 gbest 与 GOS 点之间的区域可称为 gbest 进化前沿区域。从

始到终,每个粒子的逐步迭代位移形成粒子搜索轨迹。在每次迭代中,总有一个粒子会处于当前的 gbest,也

是它的 pbest,它将在下一迭代中不发生位移。

2 参数意义与特性分析

学习因子 1 2,c c 作为粒子的“个体认知”和“社会认知”部分的主要加权系数,其影响着粒子从个体信息

和社会信息的学习继承程度,主要影响着粒子的目标识别能力。

pb(k)

1

2

Origin

Particle current position (k)

gb(k)

11

22

2

2

1

2(k+1)

1(k+1)

(k)

p(k+1)

00

g(k+

1)1

1

00(k+1), 1 2

(k+1

)

(k+1)

p(k+1)

g(k+1)1(k+1)

2(k+1)

>01>

02>

0

00(k+1)

'(k+1)

'(k+1) 1'< 1, 2'< 2

Single particle's displacement in single-step iteration in PSO

(mainly in different c1,c2)

Two-dimensional space

O(k+1)

O(k+1)0

图 1 不同学习因子下单粒子单步迭代位移图

图 1 主要展示不同 1 2,c c 下的粒子单步迭代位移图。

粒子当前位置和速度为 ( ), ( )I k V K ,下一迭代位置和速度为 ( 1), ( 1)I k V k ,当前惯性权重系数为。

图中,在仅 0 情况下绘出粒子单步迭代位移 0( 1)V k 和更新位置 0( 1)I k ,即当前粒子的 pbest 和 gbest

加权中心。主要分析五种工况:① 1 20, 0, 0c c ;②仅 2 0c ;③仅 1 0c ;④ 1 2 0c c ;⑤

1 1 2 2' , 'c c c c ;相应的粒子迭代位移和更新位置、迭代位移方向与加权中心方向夹角分别为 1 2 00, , , , ' ,

如图 1 所示。

Page 4: Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

- 112 -

www.ivypub.org/mc

(1) 1 2,c c 对粒子行为和算法进化性能的影响

当 1c 相对很小, 2c 相对很大时,特别仅当 1 0c 时,粒子在惯性势下可拓展搜索空间,但粒子的“社会

认知”比重很大,甚至全无“个体认知”,将盲目地向 gbest 快速聚集,算法收敛速度要快得多。但这种盲

目性使得粒子常错过更好解,算法易早熟收敛于某个位置,得不到最优解。如图 2 所示,在 PSO 中设置迭代

次数 300 次, 0.5 , 1 0.1c , 2 2c ,粒子向 gbest 快速群聚,发生早熟收敛。此时,如果粒子变为零,

则粒子在迭代中直接飞向 gbest,收敛速度将更快,如图 1 中位移向量 ( 1)gV k 。

图 2 1 0.1c , 2 2c 情况下的 PSO 搜寻过程

当 1c 相对很大, 2c 相对很小,特别仅当 2 0c 时,粒子“个体认知”比重很大,甚至全无“社会认知”。

粒子将独立而盲目地搜寻(当 2 0c 时相当于 m 个独立的 PSO 单粒子算法),粒子搜寻路线趋于多样化。粒

子行为分散,即使有群聚,也属“偶遇”。相应地,gbest 的进化也颇具盲目性,且进化速度慢,以至于在计

算过程的某个时候,gbest 的进化“举步维艰”,算法提前停滞,无法收敛。如图 3 所示,在 PSO 中设置迭

代次数 300 次, 0.5 , 1 2c , 2 0.1c ,粒子进化速度从开始一直在减速,在第 28 次迭代后,进化停滞

至最终,gbest 停滞在某随机位置。此时,如果变为零,则各粒子直接向各自的 pbest 移动,如图 1 中位移

向量 ( 1)pV k 。

图 3 1 2c , 2 0.1c 情况下的 PSO 搜寻过程

当 1 20, 0c c 时,粒子将不受最优位置加权中心吸引,只有惯性势。粒子在迭代中纯做机械运动,沿着

初始速度一直前行,直至达到边界,找不到解。如图 1 中的 00( 1)V k 和 00( 1)I k ,此时 PSO“智力”为零。

Page 5: Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

- 113 -

www.ivypub.org/mc

由上可知, 2c 相对越大,粒子群体意识越强,“群聚”现象越明显,算法进化速度越快,但易陷入早熟

收敛。 1c 相对越大,粒子行为越独立,“分散”现象越明显,算法进化速度越慢,甚至提前停滞。

pb(k)

1

2

Origin

Particle current position (k)

gb(k)

2

1

2(k+1)

1(k+

1)

(k)

00(k+1), 1 2

(k+

1)

(k+1)

1(k+1)2(k+1)

>0

1>0

2>0

00(k+1)

'(k+1)

'(k+1)

1'< 1, 2'< 2

Two-dimensional space

O(k+1)

1

'

2

00

Single particle's displacement orientation in single-step iteration in PSO

(mainly in different c1,c2)

< '; < 1< 00; < 2< 00

O(k

+1)

0

图 4 不同学习因子下单粒子单步迭代位移方向图

3 PSO 总析

3.1. PSO 中的几个确定现象

(1)解的更新空间不断塌缩

在 PSO 中,随着迭代进行,各粒子位置及 pbest 不断地更新进化,gbest 也不断地向全局最优位置 GOS

进化和靠近,其进化前沿区域也在不断缩小,解的更新空间不断塌缩。

(2)粒子的“游荡”与“振荡”

在 PSO 中,一方面,粒子的迭代速度即单步迭代位移是从当前位置到新位置的“蛙跳式”跳跃;另一方

面,迭代中,加权中心相对于粒子的方位在不断变化。这些使得粒子在运动中具有“游荡”、“振荡”的潜

在特性。较小时,它们不宜显现,较大的使得粒子运动显现出“振荡”现象,过大的使得粒子运动显

现出“游荡”现象。

(3)粒子进化与多样性损失

在 PSO 的更新机制下,粒子间的信息交流和经验共享必然产生粒子的群聚行为。伴随着群聚,粒子的适

应值、位置不断接近,搜寻路径逐渐归于一小片区域,粒子多样性也在遭受着损失。简言之,PSO 中,粒子

的进化必然带来多样性的损失和衰减。如图 5。

图 5 PSO 中粒子多样性损失示意图

初始化粒子 gbest 区域

GOS

多样性损失

多样性损失

学习,交流,群聚,进化

GOS 邻近区域

进化

进化

多样性损失

Page 6: Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

- 114 -

www.ivypub.org/mc

自然地,在 PSO 中,大量粒子在聚向 gbest 进化前沿区域的过程中,其多样性也在遭受着损失。那些处

于差等适应值区域的粒子即便保持足够高的多样性也无大用,因为这些粒子最终也要聚向 gbest 进化前沿区

域,多样性将面临不可避免的湮灭和损失,损失程度只取决于 gbest 附近的粒子数量,损失速度取决于群聚

的快慢。

3.2. 随机性搜索的必要条件探讨

PSO 中粒子的搜索是一定进化机制下,在一定空间区域中带有一定目标识别能力的随机性搜索,gbest

向 GOS 的进化路线具有随机性,并非确定性数学机制路线上的迭代逼近。

所以,PSO 要想搜寻到最优精确解,笔者认为至少需要具备几个条件:

①足够的样本容量和样本多样性。在 PSO 中就是粒子数量和粒子多样性,而特定区域下的粒子数量就是

粒子密度;

②进化机制。它使得搜索区域逐步缩小和精确化,使得粒子得以进化,使得 gbest 向最优解稳固进化成

为一种可能;

③粒子的平稳运动及合理、有序的进化。粒子要在 gbest 的进化前沿区域有序稳定地开拓,而非“游荡”、

“振荡”;搜索区域要有序缩小和逐步精确化,而非混乱、无序地进行等。其中,后两个条件属于进化机制

方面的,而好的进化机制能降低算法对粒子群容量的要求。

3.3. 主要问题及其原因分析

(1)早熟收敛。在算法的某时段出现适应值超高的“超级粒子”,导致其他粒子向其聚集,或者粒子

本身具有较高的群聚特性,适应值趋于集中化,造成多样性快速损失,算法提前收敛于某个值。主要原因是

多样性损失过快而又得不到有效补充。另外,其他原因可有:①群聚系数 偏大, 2c 相对偏大,粒子偏于聚

集,进化偏快。②偏小,粒子开拓能力不佳,群聚系数相对过大。总之,随着迭代进行至后期,解的更新

空间已愈来愈小,此时需要小尺度区域下拥有适宜的开拓性能,多样性丰富,数量足够的粒子。

(2)局部收敛。算法收敛于局部极值点,而非全局最优极值点,这主要发生在多峰值函数中,主要原

因为粒子在 GOS 附近缺乏进化或说 GOS 附近缺乏可进化的粒子,具体有:①GOS 附近粒子数量过少,粒子

难以在 GOS 附近形成“进化势”,甚至改变进化方向,朝局部最优位置进化。改善措施应为增加粒子容量

和多样性;②值偏小,粒子多样性不足,进化全局性不足;③ 值偏大,粒子群聚性强,粒子进化偏向局

部等。

可见,早熟收敛主要由于粒子多样性损失过快造成;局部收敛主要由于粒子多样性不足,进化全局性不

足所致。

4 结语

(1)惯性权重系数主要影响着粒子迭代位移转角,与粒子迭代位移转角反相关,影响粒子搜索轨迹,

“遥控”搜索区域和搜索模式。在进化上,主要影响粒子多样性的丰富与单调,平衡粒子在全局和局部的

进化。在搜寻中,的增大会逐步显现粒子运动的“振荡”性。

(2)学习因子 1 2,c c 主要影响粒子的目标方向感,即目标识别能力。在进化上, 1c 相对越大,粒子行为

越独立,“分散”现象越明显,算法进化速度越慢。 2c 相对越大,粒子群体意识越强,“群聚”现象越明显,

算法进化速度越快。

(3)PSO 中,随着进化,解空间不断塌缩,粒子多样性不断衰减,进化越快,衰减得越快。粒子运动

存在潜在的“振荡”现象。

(4)早熟收敛主要由于粒子多样性损失过快造成;局部收敛主要由于粒子多样性不足,进化全局性不

足所致。

Page 7: Analysis the characteristic of c1, c2 based on the pso of iterative shift and trajectory of particle

- 115 -

www.ivypub.org/mc

REFERENCES

[1] Kennedy J, Eberhart R. Particle swarm optimization. In: Proceedings of the IEEE international conference on neural networks

(Australia), 1995, 1942-1948. ISBN 0-7803-2768-3/95

[2] Shi Y, Eberhart R C. A modified particle swarm optimizer [A]. Proc of the IEEE World Congress on Computational Intelligence

[C]. 1998, 69-73

[3] Charles Elegbede. Structural reliability assessment based on particles swarm optimization. STRUCTURAL SAFETY. 2005, (27):

171-186

【作者简介】

1 麻荣永(1955-),男,壮族,硕士,教授,研究方向:水

利水电工程、防灾减灾工程与防护工程。学习经历:1986 年

8 月至 1988 年 12 月在河海大学水力发电工程专业学习,获

硕士学位;1992 年 8 月至 1993 年 7 月在广西民族学院进修

法语;1994 年 8 月至 1995 年 8 月在法国马赛第二大学进修。

Email: [email protected]

2 杨磊磊,男,汉,硕士,研究方向:水利水电工程。

3 张智超(1989-),男,汉,学士,研究方向:防灾减灾工

程与防护工程。Email: [email protected]


Recommended