人工神經(jīng)網(wǎng)絡(luò)與智能算法

《人工神經(jīng)網(wǎng)絡(luò)與智能算法》由會(huì)員分享，可在線閱讀，更多相關(guān)《人工神經(jīng)網(wǎng)絡(luò)與智能算法（75頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、智能算法（Intelligent Algorithm） 2 主 要 內(nèi) 容q人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）q模擬退火（Simulated Annealing，SA）q遺傳算法（Genetic Algorithm，GA） 3 人 工 神 經(jīng) 網(wǎng) 絡(luò) 參 考 文 獻(xiàn)q 陳 念 貽 ， 欽 佩 ， 陳 瑞 亮 ， 陸 文 聰 ， 模 式 識(shí) 別 方 法 在 化 學(xué) 化 工 中 的 應(yīng) 用 ， 科學(xué) 出 版 社 ， 北 京 ， 2000。 q 從 爽 ， 面 向 MATLAB工 具 箱 的 神 經(jīng) 網(wǎng) 絡(luò) 理 論 與 應(yīng) 用 ， 中 國(guó) 科 學(xué) 技 術(shù) 出

2、版社 ， 合 肥 ， 1998。q 焦 李 成 ， 神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 ， 西 安 電 子 科 技 大 學(xué) 出 版 社 ， 西 安 ， 1993。q 王 永 驥 ， 涂 健 ， 神 經(jīng) 元 網(wǎng) 絡(luò) 控 制 ， 機(jī) 械 工 業(yè) 出 版 社 ， 北 京 ， 1998。q Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press. q Carling, A. (1992). Introducing Neural Networks. Wilmslow, UK: Sigma Press.

3、q Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice Hall q Haykin, S. (1994). Neural Networks: A Comprehensive Foundation. New York: Macmillan Publishing. q Patterson, D. (1996). Artificial Neural Networks. Singapore: Prentice Hall. 4 生 物 神 經(jīng) 元 及 神 經(jīng) 網(wǎng) 絡(luò)神 經(jīng) 元 對(duì) 信 息 的 接 受 和 傳 遞

4、都 是 通 過(guò) 突 觸 來(lái) 進(jìn) 行 的 。 單 個(gè) 神 經(jīng) 元 可 以 從 別的 細(xì) 胞 接 受 多 個(gè) 輸 入 。 由 于 輸 入 分 布 于 不 同 的 部 位 ， 對(duì) 神 經(jīng) 元 影 響 的 比 例(權(quán) 重 )是 不 相 同 的 。 另 外 ， 各 突 觸 輸 入 抵 達(dá) 神 經(jīng) 元 的 先 后 時(shí) 間 也 不 一 祥 。因 此 ， 一 個(gè) 神 經(jīng) 元 接 受 的 信 息 ， 在 時(shí) 間 和 空 間 上 常 呈 現(xiàn) 出 一 種 復(fù) 雜 多 變 的 形 式 ， 需 要 神 經(jīng) 元 對(duì) 它 們 進(jìn) 行 積 累 和 整 合 加 工 ， 從 而 決 定 其 輸 出 的 時(shí) 機(jī) 和強(qiáng) 度 。 正

5、是 神 經(jīng) 元 這 種 整 合 作 用 ， 才 使 得 億 萬(wàn) 個(gè) 神 經(jīng) 元 在 神 經(jīng) 系 統(tǒng) 中 有 條不 紊 、 夜 以 繼 日 地 處 理 各 種 復(fù) 雜 的 信 息 ， 執(zhí) 行 著 生 物 中 樞 神 經(jīng) 系 統(tǒng) 的 各 種信 息 處 理 功 能 。 多 個(gè) 神 經(jīng) 元 以 突 觸 聯(lián) 接 形 成 了 一 個(gè) 神 經(jīng) 網(wǎng) 絡(luò) 。 5 一 、 人 工 神 經(jīng) 網(wǎng) 絡(luò)q 什 么 是 人 工 神 經(jīng) 網(wǎng) 絡(luò) ？ 它 就 是 在 對(duì) 大 腦 的 生 理 研 究 的 基 礎(chǔ) 上 ，用 模 擬 生 物 神 經(jīng) 元 的 某 些 基 本 功 能 元 件 （ 即 人 工 神 經(jīng) 元 ） ，按 各 種

6、 不 同 的 聯(lián) 結(jié) 方 式 組 織 起 來(lái) 的 一 個(gè) 網(wǎng) 絡(luò) 。q 其 目 的 在 于 模 擬 大 腦 的 某 些 機(jī) 理 與 機(jī) 制 ， 實(shí) 現(xiàn) 某 個(gè) 方 面 的 功能 ， 可 以 用 在 模 仿 視 覺(jué) 、 模 式 識(shí) 別 、 函 數(shù) 逼 近 、 模 式 識(shí) 別 、分 類 和 數(shù) 據(jù) 壓 縮 等 領(lǐng) 域 ， 是 近 年 來(lái) 人 工 智 能 計(jì) 算 的 一 個(gè) 重 要學(xué) 科 分 支 。q 人 工 神 經(jīng) 網(wǎng) 絡(luò) 有 多 種 形 式 ， 其 中 反 向 傳 播 人 工 神 經(jīng) 網(wǎng) 絡(luò)(Back-Propagation Artificial Network, 簡(jiǎn) 稱 BP網(wǎng) 絡(luò) )是 一

7、種 廣泛 使 用 的 神 經(jīng) 網(wǎng) 絡(luò) 模 型 ， 它 充 分 體 現(xiàn) 了 人 工 神 經(jīng) 網(wǎng) 絡(luò) 的 特 點(diǎn) 。BP網(wǎng) 絡(luò) 是 一 種 對(duì) 非 線 性 可 微 分 函 數(shù) 進(jìn) 行 權(quán) 值 訓(xùn) 練 的 多 層 網(wǎng) 絡(luò) ，在 人 工 神 經(jīng) 網(wǎng) 絡(luò) 的 實(shí) 際 應(yīng) 用 中 ， 80 90 的 人 工 神 經(jīng) 網(wǎng) 絡(luò)模 型 是 采 用 BP網(wǎng) 絡(luò) 或 它 的 變 化 形 式 。 6 1.1 BP神 經(jīng) 網(wǎng) 絡(luò)q 神 經(jīng) 元 的 結(jié) 構(gòu) 神 經(jīng) 元 是 人 工 神 經(jīng) 網(wǎng) 絡(luò) 的 基 本 處 理 單 元 ， 它 一 般 為 多 輸 入 /單 輸 出 的 非線 性 元 件 。 神 經(jīng) 元 輸 出 除 受

8、 輸 入 信 號(hào) 的 影 響 外 ， 還 受 神 經(jīng) 元 內(nèi) 部 其 它因 素 的 制 約 ， 因 此 在 人 工 神 經(jīng) 元 的 建 模 中 ， 常 常 加 一 額 外 輸 入 信 號(hào) ，稱 為 偏 差 (bais)， 并 取 值 為 1。 輸 入 分 量權(quán) 值 分 量 神 經(jīng) 元 的 輸 出 偏 差 權(quán) 值 激 活 函 數(shù) 輸 入 分 量 通 過(guò) 與 它 相 乘 的 權(quán) 值 分 量相 連 ， 求 和 后 與 偏 差 權(quán) 值 共 同 構(gòu) 成激 活 函 數(shù) 的 輸 入 。 )( 1 bpwfa jrj j 7 偏 差神 經(jīng) 元 的 輸 出 為 ： )( 1 bpwfa jrj j 偏 差 b被

9、 簡(jiǎn) 單 地 加 在 jrj jwp1 上 ， 作 為 激 活 函 數(shù) 的 一 個(gè) 輸 入 分 量 。偏 差 的 重 要 作 用 ， 它 使 得 激 活 函 數(shù) 的 圖形 可 以 左 右 移 動(dòng) ， 這 樣 可 增 加 網(wǎng) 絡(luò) 解 決問(wèn) 題 的 能 力 。 8 激 活 函 數(shù)q 激 活 函 數(shù) 具 有 模 擬 生 物 神 經(jīng) 元 的 非 線 性 特 性 。 Sigmoid函 數(shù) ： 雙 曲 正 切 tanh函 數(shù) ：xexf 1 1)( xx xx ee eexf )(Sigmoid函 數(shù) 和 雙 曲 正 切 tanh函 數(shù) 都 是 單 調(diào) 上 升 函 數(shù) ， 其 極 值 分 別 為 0、 1

10、和 1、 1， 且 都 是 可 微 的 。 9 激 活 函 數(shù) 的 一 階 導(dǎo) 數(shù)q 在 BP神 經(jīng) 網(wǎng) 絡(luò) 訓(xùn) 練 算 法 中 ， 要 用 到 激 活 函 數(shù) 的 一 階 導(dǎo) 數(shù) 。 Sigmoid函 數(shù) 的 導(dǎo) 數(shù) ： 雙 曲 正 切 tanh函 數(shù) 的 導(dǎo) 數(shù) ： )(1)(1 111 1)( xfxfeexf xx )(11)( 22 xfee eexf xx xx q 由 此 可 以 看 出 ， 由 于 激 活 函 數(shù) 的 特 點(diǎn) ， 用 神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 時(shí) ，需 對(duì) 輸 入 和 輸 出 的 值 進(jìn) 行 調(diào) 整 。 激 活 函 數(shù) 是 采 用 Sigmoid函 數(shù) 時(shí) ， 輸

11、 入 和 輸 出 的 值 應(yīng)在 0,1之 間 ； 激 活 函 數(shù) 是 雙 曲 正 切 tanh函 數(shù) 時(shí) ， 輸 入 和 輸 出 的 值 范圍 則 在 1,1之 間 。 10 1.2 BP網(wǎng) 絡(luò) 的 模 型 結(jié) 構(gòu) q BP網(wǎng) 絡(luò) 是 一 種 在 輸 入 層 和 輸 出 層 之 間 具 有 一 層 或 多 層 隱 層 的網(wǎng) 絡(luò) 模 型 ， 而 其 典 型 的 結(jié) 構(gòu) 為 有 一 隱 層 、 包 含 輸 入 層 和 輸 出層 的 三 層 網(wǎng) 絡(luò) 模 型 。 典 型 BP網(wǎng) 絡(luò) 的 結(jié) 構(gòu) 示 意 圖 如 下 ：網(wǎng) 絡(luò) 的 輸 入 模 式向 量 為 P， 有 r個(gè)輸 入 神 經(jīng) 元 ， 對(duì)應(yīng) 輸

12、入 模 式 向 量的 每 個(gè) 元 素 。 隱 層 內(nèi) 有 s1個(gè) 神經(jīng) 元 ， 對(duì) 應(yīng) 隱 層輸 出 是 a1。 網(wǎng) 絡(luò) 的 輸 出 為 a2，有 s2個(gè) 神 經(jīng) 元 ，而 目 標(biāo) 輸 出 為 T。 三 層 BP神 經(jīng) 網(wǎng) 絡(luò) 不 同 層 神 經(jīng) 元 之 間 實(shí) 現(xiàn) 權(quán) 重 連 接 ， 而 每 層 內(nèi) 各 個(gè) 神 經(jīng) 元 之 間 不 連 接 。 11 BP網(wǎng) 絡(luò) 的 四 個(gè) 計(jì) 算 過(guò) 程q 輸 入 模 式 由 輸 入 層 經(jīng) 隱 含 層 向 輸 出 層 的“ 模 式 正 向 傳 播 ” 過(guò) 程 ； （ 神 經(jīng) 元 的 激 活值 從 輸 入 層 經(jīng) 隱 含 層 向 輸 出 層 傳 播 ， 在

13、輸出 層 各 神 經(jīng) 元 獲 得 網(wǎng) 絡(luò) 響 應(yīng) 。 ）q 網(wǎng) 絡(luò) 實(shí) 際 輸 出 與 希 望 輸 出 的 誤 差 信 號(hào) 由 輸出 層 經(jīng) 隱 含 層 向 輸 入 層 逐 層 修 正 連 接 權(quán) 和閡 值 的 “ 誤 差 反 向 傳 播 ” 過(guò) 程 ；q 由 “ 模 式 正 向 傳 播 ” 過(guò) 程 與 “ 誤 差 反 向 傳播 ” 過(guò) 程 的 反 復(fù) 交 替 進(jìn) 行 的 網(wǎng) 絡(luò) 學(xué) 習(xí) 訓(xùn) 練過(guò) 程 ；q 網(wǎng) 絡(luò) 全 局 誤 差 趨 向 極 小 的 學(xué) 習(xí) 收 斂 過(guò) 程 。（ 網(wǎng) 絡(luò) 對(duì) 輸 入 模 式 響 應(yīng) 的 正 確 率 也 不 斷 增 加 。 ） 12 BP網(wǎng) 絡(luò) 的 計(jì) 算 過(guò)

14、程 的 簡(jiǎn) 單 描 述 （ 1） ri jbijij bwpwfa 1 )11(11 1,2,1 sj 11 )212(22 sj kbjkjk bwawfa 2,2,1 sk q 模 式 正 向 傳 播 過(guò) 程 隱 含 層 中 第 j個(gè) 神 經(jīng) 元 的 輸 出 為 ： 輸 出 層 中 第 k個(gè) 神 經(jīng) 元 的 輸 出 為 ：q 誤 差 反 向 傳 播 過(guò) 程定 義 誤 差 函 數(shù) 為 ： 21 2)2(21 sk kk atE神 經(jīng) 網(wǎng) 絡(luò) 學(xué) 習(xí) 的 過(guò) 程 就 是 通 過(guò) 調(diào) 整 權(quán) 值 ， 使 誤 差 E最 小 ，此 時(shí) 可 利 用 最 速 下 降 法 求 權(quán) 值 及 誤 差 的 反

15、向 傳 播 。 13 BP網(wǎng) 絡(luò) 的 計(jì) 算 過(guò) 程 的 簡(jiǎn) 單 描 述 （ 2） 隱 含 層 中 第 j個(gè) 神 經(jīng) 元 的 輸 出 的 權(quán) 值 變 化 為 ： jkkkjkkkjkj afatwaaEwEw 12)2(22222 2)2(222 fatwaaEwEw kkkbkkkbkb 對(duì) 第 i個(gè) 輸 入 到 隱 含 層 中 第 j個(gè) 神 經(jīng) 元 輸 出 的 權(quán) 值 變 化 為 ： ikjsk kkjijjkkjiji pfwfatwaaaaEwEw 122)2(1112211 21 122)2(1122 21 fwfatwaaaaEwEw kjsk kkjbjjkkjbjb 修 正 后

16、 的 新 權(quán) 重 調(diào) 整 為 ： pnpnp WWW 1 稱 為 學(xué)習(xí) 系 數(shù) ，值 在 0,1之 間 。 14 加 快 BP網(wǎng) 絡(luò) 訓(xùn) 練 速 度 的 方 法 q BP網(wǎng) 絡(luò) 得 到 了 廣 泛 的 應(yīng) 用 ， 但 也 存 在 自 身 的 不 足 與 限 制 ， 主要 表 現(xiàn) 在 網(wǎng) 絡(luò) 訓(xùn) 練 需 較 長(zhǎng) 時(shí) 間 和 網(wǎng) 絡(luò) 有 可 能 達(dá) 到 局 部 最 小 。據(jù) 此 ， BP網(wǎng) 絡(luò) 有 各 種 改 進(jìn) 方 法 ， 以 加 快 訓(xùn) 練 速 度 ， 避 免 陷 入局 部 極 小 。q 主 要 的 改 進(jìn) 方 法 有 ： 增 加 動(dòng) 量 項(xiàng) ， 以 平 滑 權(quán) 的 變 化 ， 一 種 常 用

17、 形 式 是 ： )( 11 npnppnpnp WWWWW 為 動(dòng) 量 因 子 ， 值 在 0,1之 間 ， n為 迭 代 次 數(shù) 。 采 用 二 階 學(xué) 習(xí) 算 法 。 前 面 的 基 于 函 數(shù) 梯 度 的 算 法 屬 于 一 階算 法 ， 缺 點(diǎn) 就 是 在 極 值 點(diǎn) 附 近 收 斂 速 度 慢 。 采 用 二 階 算 法 ，如 牛 頓 法 、 共 軛 梯 度 法 等 ， 將 有 較 快 的 收 斂 速 度 。 模 擬 退 火 法 。 15 1.4 BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 （ 1） q 網(wǎng) 絡(luò) 的 層 數(shù) ： 在 運(yùn) 用 BP神 經(jīng) 網(wǎng) 絡(luò) 時(shí) ， 最 多 采 用 的 是 具 有

18、 一 層 或 兩 層 隱 層 的 網(wǎng) 絡(luò) 。 具 有 偏 差 和 至 少 一 個(gè) S型 隱 層 的 網(wǎng) 絡(luò) ， 可 以 近 似 任 何 函 數(shù) ， 這 已 成 為 設(shè)計(jì) BP神 經(jīng) 網(wǎng) 絡(luò) 的 原 則 。 網(wǎng) 絡(luò) 計(jì) 算 精 度 的 提 高 ， 可 以 通 過(guò) 采 用 一 個(gè) 隱 層 ， 而 增 加 隱 層 神 經(jīng) 元 數(shù)的 方 法 來(lái) 獲 得 ， 這 也 就 是 通 常 用 一 隱 層 、 包 含 輸 入 層 和 輸 出 層 的 三 層BP網(wǎng) 絡(luò) 模 型 的 原 因 。q 神 經(jīng) 元 數(shù) ： 輸 入 和 輸 出 的 神 經(jīng) 元 數(shù) 可 以 根 據(jù) 需 要 求 解 的 問(wèn) 題 和 數(shù) 據(jù) 所

19、表 示 的 方 式來(lái) 確 定 。 問(wèn) 題 確 定 后 ， 輸 入 層 與 輸 出 層 的 神 經(jīng) 元 數(shù) 也 就 隨 之 定 了 。 隱 層 神 經(jīng) 元 數(shù) 的 選 擇 有 較 廣 的 范 圍 ： 當(dāng) 隱 層 神 經(jīng) 元 數(shù) 較 少 時(shí) ， 誤 差 下 降 到 一 定 程 度 后 會(huì) 變 化 很 小 ； 當(dāng) 隱 層 神 經(jīng) 元 數(shù) 過(guò) 多 時(shí) ， 不 僅 網(wǎng) 絡(luò) 訓(xùn) 練 時(shí) 間 長(zhǎng) ， 還 會(huì) 出 現(xiàn) 過(guò) 擬 合 問(wèn) 題 ， 降低 神 經(jīng) 網(wǎng) 絡(luò) 的 預(yù) 測(cè) 功 能 。 通 常 隱 層 神 經(jīng) 元 數(shù) 的 選 擇 原 則 是 ： 在 能 解 決 問(wèn) 題 的 前 提 下 ， 再 加 上 1到2個(gè)

20、 神 經(jīng) 元 以 加 快 誤 差 的 下 降 速 度 即 可 。 16 BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 （ 2）q 初 始 權(quán) 值 的 選 取 權(quán) 重 初 始 值 的 選 取 ， 對(duì) 網(wǎng) 絡(luò) 訓(xùn) 練 學(xué) 習(xí) 是 否 達(dá) 到 局 部 最 小 ， 是 否 能 夠 收斂 以 及 訓(xùn) 練 時(shí) 間 的 長(zhǎng) 短 有 很 大 的 關(guān) 系 。 如 果 初 始 權(quán) 值 太 大 ， 使 得 加 和 后 的 值 落 在 激 活 函 數(shù) 的 飽 和 區(qū) ， 從 而 導(dǎo)致 激 活 函 數(shù) 的 導(dǎo) 數(shù) 非 常 小 ， 在 計(jì) 算 權(quán) 值 修 正 時(shí) ， 調(diào) 整 值 接 近 零 ， 網(wǎng) 絡(luò)的 學(xué) 習(xí) 訓(xùn) 練 幾 乎 處 在 停

21、 止 狀 態(tài) 。 所 以 一 般 總 是 希 望 經(jīng) 過(guò) 初 始 權(quán) 值 計(jì) 算 后 每 個(gè) 神 經(jīng) 元 的 輸 出 值 都 接 近 零 ，這 樣 可 以 保 證 每 個(gè) 神 經(jīng) 元 的 權(quán) 值 都 能 在 激 活 函 數(shù) 變 化 最 大 之 處 進(jìn) 行 調(diào)節(jié) 。 一 般 來(lái) 說(shuō) ， 初 始 權(quán) 值 取 -1,1之 間 的 隨 機(jī) 數(shù) 是 較 好 的 選 擇 。 17 BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 （ 3）q 學(xué) 習(xí) 速 率 學(xué) 習(xí) 速 率 決 定 每 一 次 循 環(huán) 訓(xùn) 練 中 所 產(chǎn) 生 的 權(quán) 值 變 化 量 。 大 的 學(xué) 習(xí) 速 率 可 能 導(dǎo) 致 系 統(tǒng) 的 不 穩(wěn) 定 ； 但 小

22、的 學(xué) 習(xí) 速 率 導(dǎo) 致 較 長(zhǎng) 的 訓(xùn) 練 時(shí) 間 ， 可 能 收 斂 很 慢 ， 不 過(guò) 能 保 證 網(wǎng) 絡(luò)的 誤 差 值 不 跳 出 誤 差 表 面 的 低 谷 而 最 終 趨 于 最 小 誤 差 值 。 所 以 在 一 般 情 況 下 ， 傾 向 于 選 取 較 小 的 學(xué) 習(xí) 速 率 以 保 證 系 統(tǒng) 的 穩(wěn) 定 性 。學(xué) 習(xí) 速 率 的 選 取 范 圍 在 0.010.8之 間 。 在 一 個(gè) 神 經(jīng) 網(wǎng) 絡(luò) 的 計(jì) 算 過(guò) 程 中 ， 使 網(wǎng) 絡(luò) 經(jīng) 過(guò) 幾 個(gè) 不 同 的 學(xué) 習(xí) 速 率 的 訓(xùn)練 ， 通 過(guò) 觀 察 每 一 次 訓(xùn) 練 后 的 誤 差 平 方 和 的 下

23、降 速 率 來(lái) 判 斷 所 選 定 的學(xué) 習(xí) 速 率 是 否 合 適 。 如 果 誤 差 平 方 和 下 降 很 快 ， 則 說(shuō) 明 學(xué) 習(xí) 速 率 合 適 若 誤 差 平 方 和 出 現(xiàn) 振 蕩 現(xiàn) 象 ， 則 說(shuō) 明 學(xué) 習(xí) 速 率 過(guò) 大 。 對(duì) 于 每 一 個(gè) 具 體 網(wǎng) 絡(luò) 都 存 在 一 個(gè) 合 適 的 學(xué) 習(xí) 速 率 。 但 對(duì) 于 較 復(fù) 雜 網(wǎng) 絡(luò) ，在 誤 差 曲 面 的 不 同 部 位 可 能 需 要 不 同 的 學(xué) 習(xí) 速 率 。 為 了 減 少 尋 找 學(xué) 習(xí)速 率 的 訓(xùn) 練 次 數(shù) 以 及 訓(xùn) 練 時(shí) 間 ， 比 較 合 適 的 方 法 是 采 用 變 化 的 學(xué)

24、 習(xí) 速率 ， 使 網(wǎng) 絡(luò) 的 訓(xùn) 練 在 不 同 的 階 段 自 動(dòng) 設(shè) 置 不 同 學(xué) 習(xí) 速 率 的 大 小 。 18 BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 程 序 BATCHNET簡(jiǎn) 介q BATCHNET是 一 個(gè) BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 的 DOS程 序 ， 程 序 由batchnet.exe和 weights.exe兩 個(gè) 可 執(zhí) 行 文 件 構(gòu) 成 。 batchnet為 網(wǎng) 絡(luò) 訓(xùn) 練 和 預(yù) 測(cè) 程 序 ， 激 活 函 數(shù) 為 Sigmoid函 數(shù) ， 輸 入 輸 出樣 本 值 范 圍 為 0,1。 weights程 序 產(chǎn) 生 初 始 權(quán) 值 。q 批 處 理 程 序 demo

25、.bat batchnet -e10 d1.0e-5 demo.run 說(shuō) 明 ：-e10 表 示 網(wǎng) 絡(luò) 每 迭 代 10步 后 顯 示 誤 差 ；d1.0e-5 表 示 網(wǎng) 絡(luò) 訓(xùn) 練 誤 差 ；demo.run 求 解 問(wèn) 題 的 網(wǎng) 絡(luò) 參 數(shù) 文 件 ， 由 batchnet調(diào) 用 ， 文 件 名 可 改 ， 但 擴(kuò) 展 名 run不 能 變 。 19 BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 程 序 BATCHNET簡(jiǎn) 介q 網(wǎng) 絡(luò) 參 數(shù) 文 件 demo.run的 格 式 4 train.out train.err train.pat weights.wts train.wts 100 10

26、00 9 4 2 0.15 0.075test.out test.err test.pat train.wts test.wts 166 1 9 4 2 0.15 0.075train.out train.err train.pat train.wts train.wts 100 1000 9 4 2 0.15 0.075test.out test.err test.pat train.wts test.wts 166 1 9 4 2 0.15 0.075 NumfOut fErr fPat fWts fWtso nPats nIter nInp nHid nOut eta alphaNum

27、運(yùn)行次數(shù)，本例為4； fOut 網(wǎng)絡(luò)計(jì)算結(jié)果輸出文件，輸出； fErr 網(wǎng)絡(luò)計(jì)算誤差文件，輸出；fPat 訓(xùn)練學(xué)習(xí)樣本文件，輸入；fWts 問(wèn)題的初始權(quán)值文件，輸入，由程序weights產(chǎn)生；fWtso 訓(xùn)練后的權(quán)值文件，輸出；nPats 訓(xùn)練樣本數(shù)，本例為100；nIter 訓(xùn)練迭代次數(shù)，本例為1000；nInp 輸入層神經(jīng)元數(shù)目，本例為9；nHid 隱層神經(jīng)元數(shù)目，本例為4；nOut 輸出層神經(jīng)元數(shù)目，本例為2；eta 學(xué)習(xí)速率，本例為0.15；alpha 動(dòng)量因子，本例為0.075。 表 示 用 BP神 經(jīng) 網(wǎng) 絡(luò) 先 對(duì) 100對(duì) 輸入 輸 出 樣 本 進(jìn) 行 學(xué) 習(xí) 訓(xùn) 練 1000

28、次 ，預(yù) 測(cè) 166個(gè) 樣 本 一 次 ， 然 后 繼 續(xù)學(xué) 習(xí) 訓(xùn) 練 1000次 后 再 進(jìn) 行 一 次 預(yù)測(cè) 。 Batchnet如 只 計(jì) 算 一 次 ， 則不 對(duì) 連 接 權(quán) 重 進(jìn) 行 更 新 。 20 BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 程 序 BATCHNET簡(jiǎn) 介q 程 序 weights的 運(yùn) 行 :weights int_num nInp nHid nOut ran_wts 說(shuō) 明 ：int_num 任 一 6位 整 數(shù) ；nInp 輸 入 層 神 經(jīng) 元 數(shù) 目 ；nHid 隱 層 神 經(jīng) 元 數(shù) 目 ；nOut 輸 出 層 神 經(jīng) 元 數(shù) 目 ， 這 3個(gè) 參 數(shù) 同 run

29、程 序 中 的相 一 致 ；ran_wts 初 始 權(quán) 值 取 值 范 圍 ， 實(shí) 數(shù) 1.表 示 取 值 范 圍在 -1,1之 間 。 Weights 123456 9 4 2 1.0 21 BP神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 程 序 BATCHNET簡(jiǎn) 介q 訓(xùn) 練 樣 本 文 件 fPat的 格 式 ： 說(shuō) 明 ：In_pat 樣 本 的 輸 入 ；Out_pat 對(duì) 應(yīng) 的 樣 本 輸 出 ；Id 對(duì) 應(yīng) 的 樣 本 標(biāo) 號(hào) ； In_pat Out_pat Id0.363636 0.191667 0.7 0.75 0.666667 0.531225 0.0898333 0.0504219 0

30、.6844341 0 1234567 0.327273 0.187501 0.733333 0.75 0.8 0.531038 0.0819442 0.0504219 0.8010571 0 1234567 22 STATISTICA Neural Networks (SNN) 簡(jiǎn) 介q 通 過(guò) 輸 入 數(shù) 值 變 量 (自 變 量 )可 以 用 神 經(jīng) 網(wǎng) 絡(luò) 來(lái) 計(jì) 算 輸 出 變 量(應(yīng) 變 量 )， 輸 出 變 量 的 類 型 可 以 是 數(shù) 值 型 的 ， 也 可 以 是 非 數(shù) 值型 的 。 q 在 SNN中 ， 求 解 問(wèn) 題 可 通 過(guò) 兩 種 基 本 方 式 來(lái) 進(jìn) 行 ：

31、智 能 問(wèn) 題求 解 器 (Intelligent Problem Solver) 或 程 序 的 菜 單 。 智 能 問(wèn) 題 求 解 器 引 導(dǎo) 使 用 者 建 立 求 解 問(wèn) 題 的 神 經(jīng) 網(wǎng) 絡(luò) 。 在 智 能 問(wèn) 題 求解 器 中 ， 有 基 本 型 和 高 級(jí) 型 兩 種 模 式 可 供 選 擇 。 基 本 型 中 ， 使 用 者 只 能 控 制 設(shè) 計(jì) 神 經(jīng) 網(wǎng) 絡(luò) 中 的 幾 個(gè) 關(guān) 鍵 點(diǎn) ， 包 括 問(wèn) 題類 型 (樣 本 相 互 獨(dú) 立 的 標(biāo) 準(zhǔn) 型 和 變 量 預(yù) 測(cè) 值 依 賴 先 前 值 的 時(shí) 間 序 列 )、輸 出 和 輸 入 變 量 、 求 解 器 篩 選

32、 優(yōu) 化 網(wǎng) 絡(luò) 的 計(jì) 算 時(shí) 間 控 制 、 在 網(wǎng) 絡(luò) 設(shè) 置中 需 保 存 的 網(wǎng) 絡(luò) 情 況 以 及 需 顯 示 的 結(jié) 果 與 統(tǒng) 計(jì) ， 其 余 的 網(wǎng) 絡(luò) 設(shè) 計(jì) 及 計(jì)算 由 求 解 器 自 動(dòng) 完 成 。 基 本 型 供 對(duì) 神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 了 解 不 多 者 使 用 。 高 級(jí) 型 中 ， 使 用 者 能 控 制 設(shè) 計(jì) 神 經(jīng) 網(wǎng) 絡(luò) 的 各 方 面 ， 包 括 網(wǎng) 絡(luò) 訓(xùn) 練 、 校驗(yàn) 、 測(cè) 試 時(shí) 所 用 數(shù) 據(jù) 的 分 割 、 置 信 度 的 類 型 選 擇 、 選 擇 需 產(chǎn) 生 網(wǎng) 絡(luò) 的類 型 及 復(fù) 雜 程 度 等 ， 供 對(duì) 神 經(jīng) 網(wǎng) 絡(luò) 計(jì)

33、 算 較 熟 悉 者 使 用 。 23 SNN中 的 神 經(jīng) 網(wǎng) 絡(luò) 方 法 q 多 層 網(wǎng) 絡(luò) (Multilayer Perceptrons)；q 徑 向 基 函 數(shù) 網(wǎng) 絡(luò) (Radial Basis Function Networks)；q 概 率 神 經(jīng) 網(wǎng) 絡(luò) (Probabilistic Neural Networks)；q 通 用 回 歸 神 經(jīng) 網(wǎng) 絡(luò) (Generalized Regression Neural Networks)；q 線 性 網(wǎng) 絡(luò) (Linear Networks)；q Kohonen網(wǎng) 絡(luò) (Kohonen Networks)； q 神 經(jīng) 網(wǎng) 絡(luò) 的

34、 時(shí) 間 序 列 預(yù) 測(cè) (Time Series Prediction)。 24 SNN菜 單 命 令 匯 總 25 SNN處 理 數(shù) 據(jù) 需 要 注 意 的 兩 個(gè) 問(wèn) 題 q 數(shù) 據(jù) 的 前 處 理 與 后 處 理 在 處 理 實(shí) 際 問(wèn) 題 的 數(shù) 據(jù) 時(shí) ， 數(shù) 據(jù) 要 進(jìn) 行 勻 整 處 理 ， 這 樣 的 處 理 包 括 計(jì)算 前 和 計(jì) 算 后 的 處 理 。 神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 用 的 數(shù) 據(jù) 類 型 應(yīng) 該 是 數(shù) 值 型 的 ， 當(dāng) 有 些 問(wèn) 題 的 變 量 是 多態(tài) 的 情 況 ， 如 對(duì) 與 錯(cuò) 等 ， 這 些 變 量 在 用 神 經(jīng) 網(wǎng) 絡(luò) 處 理 時(shí) ， 也

35、 需 將 其 數(shù)值 化 。 在 SNN中 有 Pre/post processing， 可 處 理 這 些 數(shù) 據(jù) 的 變 換 問(wèn) 題 ， 有 時(shí) 還可 以 用 Options菜 單 中 的 STATISTICA Transfer， 使 數(shù) 據(jù) 直 接 在STATISTICA中 處 理 。q 過(guò) 擬 合 問(wèn) 題 在 用 多 項(xiàng) 式 擬 合 數(shù) 據(jù) 時(shí) ， 就 會(huì) 出 現(xiàn) 過(guò) 擬 合 的 情 況 。 一 個(gè) 低 階 多 項(xiàng) 式 可能 做 不 到 很 好 地 擬 合 所 有 的 數(shù) 據(jù) 點(diǎn) ， 而 一 個(gè) 高 階 的 則 可 能 做 到 ， 但 實(shí) 際 上 沒(méi) 有 反 映 問(wèn) 題 的 性 質(zhì) 。

36、26 SNN處 理 過(guò) 擬 合 的 方 法q 神 經(jīng) 網(wǎng) 絡(luò) 計(jì) 算 有 同 樣 的 問(wèn) 題 ， 隱 層 神 經(jīng) 元 數(shù) 太 少 ， 不 能 很 好地 描 述 問(wèn) 題 ， 神 經(jīng) 元 數(shù) 過(guò) 多 ， 會(huì) 出 現(xiàn) 過(guò) 擬 合 ， 因 較 大 的 神 經(jīng)網(wǎng) 絡(luò) 總 能 使 誤 差 減 小 。q 解 決 過(guò) 擬 合 的 辦 法 之 一 是 用 交 替 有 效 法 (Cross-verification)。一 些 訓(xùn) 練 用 樣 本 不 參 加 神 經(jīng) 網(wǎng) 絡(luò) 的 學(xué) 習(xí) 訓(xùn) 練 ， 而 是 獨(dú) 立 地 在訓(xùn) 練 學(xué) 習(xí) 過(guò) 程 中 用 來(lái) 校 驗(yàn) 。q 當(dāng) 校 驗(yàn) 誤 差 出 現(xiàn) 同 訓(xùn) 練 學(xué) 習(xí)

37、 誤 差 不 一 樣 的 情 況 ， 即 不 是 隨 著訓(xùn) 練 學(xué) 習(xí) 的 進(jìn) 行 ， 訓(xùn) 練 誤 差 不 斷 減 小 ， 反 而 停 止 下 降 ， 開(kāi) 始升 高 ， 表 明 網(wǎng) 絡(luò) 有 過(guò) 擬 合 數(shù) 據(jù) 的 情 況 ， 這 時(shí) 應(yīng) 減 少 隱 層 神 經(jīng)元 數(shù) 。 q 在 SNN中 智 能 問(wèn) 題 求 解 器 具 有 自 動(dòng) 選 擇 隱 層 神 經(jīng) 元 數(shù) 的 功 能 。 27 SNN的 求 解 過(guò) 程q 在 神 經(jīng) 網(wǎng) 絡(luò) 的 研 究 和 計(jì) 算 中 ， 常 能 見(jiàn) 到 異 或 問(wèn) 題 的 求 解 與 討論 。 這 里 以 異 或 問(wèn) 題 的 求 解 為 例 介 紹 SNN的 求 解

38、過(guò) 程 ， 并 對(duì)SNN智 能 問(wèn) 題 求 解 器 中 的 各 項(xiàng) 選 擇 作 一 說(shuō) 明 。FIRSTSECONDXOR000101011110異 或 問(wèn) 題 兩 個(gè) 輸 入 變 量 為 二進(jìn) 制 的 數(shù) ， 其 可 能 的 取 值 及期 望 輸 出 如 右 表 所 示 ：異 或 問(wèn) 題 看 起 來(lái) 簡(jiǎn) 單 ， 但 具有 復(fù) 雜 的 特 征 ， 它 不 是 線 性可 分 的 ， 即 不 可 能 有 一 直 線使 同 類 在 線 的 一 邊 ， 如 右 圖 所 示 ： 28 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 1： 建 立 上 述 的 數(shù) 據(jù) 文 件 輸 入

39、變 量 類 型（Input or Output ）樣 本 分 組 （ Training、 Verification 、 Testing ） 29 q Step 2： 選 擇 求 解 問(wèn) 題 方 式 問(wèn) 題 類 型 （ Basic or Advanced） ，選 擇 “ Advanced” 。 30 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 3： 選 擇 問(wèn) 題 類 型 （ Problem Type） ， 選 擇 “ Standard ” 。 31 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 4： 選 擇 輸 出 變 量 （ Output V

40、ariable Selection ） ， 選 擇XOR變 量 作 為 輸 出 變 量 。 32 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 5： 選 擇 輸 入 變 量 （ Input Variable Selection ） ， 選 擇 變量 FIRST, SECOND作 為 輸 入 變 量 。 并 關(guān) 閉 選 項(xiàng) “ Search for an effective subset ” 。 33 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 6： 樣 本 分 組 （ Division of cases ） 。 控 制 訓(xùn) 練（ Trainin

41、g） 、 檢 驗(yàn) （ Verification） 和 測(cè) 試 （ Testing） 樣 本 的大 小 。采 用 自 定 義 分組 樣 本 34 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 7： 選 擇 網(wǎng) 絡(luò) 類 型 （ Type of Network ） 。 為 比 較 網(wǎng) 絡(luò) ， 幾種 網(wǎng) 絡(luò) 都 選 ， 即 線 性 、 徑 向 基 函 數(shù) (RBF)、 通 用 回 歸 神 經(jīng) 網(wǎng) 絡(luò)(GRNN)、 三 層 和 四 層 MLP 。 35 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 8： 控 制 網(wǎng) 絡(luò) 隱 層 數(shù) 目 （ Hidden U

42、nits ） 。 選 擇“ Determine network complexity automatically”自 動(dòng) 確 定 網(wǎng) 絡(luò)復(fù) 雜 性 ， 忽 略 數(shù) 值 選 定 。 36 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 9： 網(wǎng) 絡(luò) 設(shè) 計(jì) 過(guò) 程 （ Duration of Design Process ） 。 選 擇完 全 “ Thorough”項(xiàng) 。 37 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 10： 希 望 保 存 最 佳 網(wǎng) 絡(luò) 和 在 網(wǎng) 絡(luò) 確 定 過(guò) 程 中 增 加 網(wǎng) 絡(luò) 大小 （ Saving Networ

43、ks ） 。 選 擇 “ Keep networks” 和“ Increase ”項(xiàng) 。 38 SNN中 的 智 能 問(wèn) 題 求 解 器 使 用 步 驟q Step 11： 結(jié) 果 顯 示 （ Results Shown ） 。 選 擇 列 表 樣 本 結(jié) 果“ Datasheet”和 統(tǒng) 計(jì) 結(jié) 果 匯 總 “ Overall”。 SNN計(jì) 算 完 成后 ， 給 出 多 種 結(jié) 果 。 39 SNN的 求 解 異 或 問(wèn) 題 的 結(jié) 果Data Set Editor給出 了 訓(xùn) 練樣 本 。 Run Data Set是 訓(xùn) 練結(jié) 果 ， 有 目 標(biāo) 值 、計(jì) 算 值 和誤 差 。 Regre

44、ssion Statistics是最 優(yōu) 網(wǎng) 絡(luò) 計(jì) 算 的 統(tǒng) 計(jì) 結(jié)果 。 Network Set Editor則 是智 能 問(wèn) 題 求解 器 所 用 的各 種 網(wǎng) 絡(luò) 的計(jì) 算 結(jié) 果 。Network Illustration則 是 最 優(yōu) 網(wǎng)絡(luò) 的 圖 示 。 40 SNN的 求 解 異 或 問(wèn) 題 的 結(jié) 果q 計(jì) 算 結(jié) 果 表 明 了 多 層 網(wǎng) 絡(luò) 的 隱 層 神 經(jīng) 元 數(shù) 為 5時(shí) ， 計(jì) 算 的 誤 差已 達(dá) 10-5， 可 以 用 來(lái) 描 述 異 或 問(wèn) 題 。q 是 否 還 有 描 述 異 或 問(wèn) 題 更 好 的 網(wǎng) 絡(luò) 結(jié) 構(gòu) 呢 ？q 隱 層 數(shù) 為 4的 RB

45、F網(wǎng) 絡(luò) ， 計(jì) 算 異 或 問(wèn) 題 的 誤 差 達(dá) 到 10-15， 比 隱層 神 經(jīng) 元 數(shù) 為 5的 多 層 網(wǎng) 絡(luò) 的 計(jì) 算 誤 差 要 小 10個(gè) 數(shù) 量 級(jí) ， 完 全描 述 了 異 或 問(wèn) 題 。 41 1.4 關(guān) 于 ANN的 進(jìn) 一 步 說(shuō) 明q選 用 合 適 的 學(xué) 習(xí) 訓(xùn) 練 網(wǎng) 絡(luò) 樣 本 、 優(yōu) 化 網(wǎng) 絡(luò) 結(jié) 構(gòu) 、 采用 適 當(dāng) 的 學(xué) 習(xí) 訓(xùn) 練 方 法 就 能 得 到 包 含 學(xué) 習(xí) 訓(xùn) 練 樣 本范 圍 的 輸 入 與 輸 出 關(guān) 系 。q如 果 用 于 學(xué) 習(xí) 訓(xùn) 練 的 樣 本 不 能 充 分 反 映 體 系 的 特 性 ，用 ANN也 不 能 很 好

46、 的 描 述 與 預(yù) 測(cè) 體 系 ， 所 以 有 “垃 圾進(jìn) ， 垃 圾 出 ； 金 子 進(jìn) ， 金 子 出 ” 之 說(shuō) 。q確 定 性 模 型 的 參 數(shù) 回 歸 與 ANN之 類 的 非 確 定 性 模 型的 不 同 特 點(diǎn) 。 42 確 定 性 模 型 與 非 確 定 性 模 型 的 比 較q確 定 性 模 型 的 參 數(shù) 回 歸 的 特 點(diǎn) ： 自 變 量 與 因 變 量 之 間 有 明 確 的 函 數(shù) 關(guān) 系 ， 具 有 未 知 數(shù) 值 的參 數(shù) ， 需 要 通 過(guò) 自 變 量 與 因 變 量 的 數(shù) 據(jù) 組 樣 本 來(lái) 回 歸 估 計(jì) ，而 且 參 數(shù) 個(gè) 數(shù) 通 常 較 少 ，

47、具 有 明 確 的 物 理 意 義 。qANN之 類 的 非 確 定 性 模 型 的 特 點(diǎn) ： 無(wú) 須 針 對(duì) 問(wèn) 題 提 出 明 確 的 自 變 量 與 因 變 量 之 間 的 函 數(shù) 關(guān) 系 ，而 函 數(shù) 關(guān) 系 用 含 有 眾 多 自 由 參 數(shù) 的 模 型 回 歸 擬 合 ， 但 自 由參 數(shù) 無(wú) 明 確 的 物 理 意 義 。q因 此 ， 確 定 性 模 型 回 歸 的 主 要 目 標(biāo) 是 得 到 模 型 的 參數(shù) 值 。 而 非 確 定 性 模 型 計(jì) 算 的 主 要 目 標(biāo) 是 得 到 輸 入與 輸 出 的 關(guān) 系 。 43 二 、 模 擬 退 火 法 （ Simulated

48、Annealing）q 人 工 神 經(jīng) 網(wǎng) 絡(luò) 方 法 是 用 某 種 目 標(biāo) 函 數(shù) 的 全 局 極 小 作 為 算 法 搜索 和 網(wǎng) 絡(luò) 所 要 達(dá) 到 的 目 標(biāo) 。 在 學(xué) 習(xí) 或 運(yùn) 行 過(guò) 程 中 ， 網(wǎng) 絡(luò) 的 誤差 總 是 按 其 梯 度 下 降 的 方 向 變 化 。 當(dāng) 梯 度 趨 于 零 時(shí) ， 網(wǎng) 絡(luò) 的學(xué) 習(xí) 或 運(yùn) 行 就 停 止 了 ， 所 以 這 種 算 法 往 往 會(huì) 陷 入 局 部 最 小 而達(dá) 不 到 全 局 最 小 。q 導(dǎo) 致 網(wǎng) 絡(luò) 陷 入 局 部 最 小 的 主 要 原 因 是 網(wǎng) 絡(luò) 誤 差 按 單 方 向 減 少 ，沒(méi) 有 上 升 的 過(guò) 程

49、。 如 果 將 誤 差 的 減 少 過(guò) 程 由 “ 總 是 按 梯 度 下降 的 方 向 變 化 ” 改 為 “ 大 部 分 情 況 下 按 梯 度 下 降 的 方 向 變化 ” ， 而 有 時(shí) 按 梯 度 上 升 的 方 向 變 化 ， 這 樣 就 有 可 能 跳 出 局部 最 小 而 達(dá) 到 全 局 最 小 (下 圖 給 出 了 梯 度 下 降 法 (a)和 SA方 法 (b)搜 索 途 徑 )。 模 擬 退 火 算法 的 基 本 思想 44 模 擬 退 火 法 的 起 源q SA算 法 是 受 金 屬 冷 卻 過(guò) 程 的 啟 發(fā) ， 最 早 由 Metropolis于 1953年 提 出

50、 來(lái) 的 。 它 具 有 靈 活 有 效 ， 能 對(duì) 問(wèn) 題 進(jìn) 行 全 局 優(yōu) 化 。q 金 屬 中 原 子 的 能 量 與 溫 度 有 關(guān) 。 原 子 能 量 高 的 時(shí) 候 ， 有 能 力擺 脫 其 原 來(lái) 的 能 量 狀 態(tài) 而 最 后 達(dá) 到 一 個(gè) 更 加 穩(wěn) 定 的 狀 態(tài) 全 局 極 小 能 量 狀 態(tài) 。q 金 屬 固 體 進(jìn) 行 退 火 處 理 時(shí) ， 通 常 先 將 它 加 熱 熔 化 ， 然 后 逐 漸降 低 溫 度 。 在 凝 固 點(diǎn) 附 近 ， 若 溫 度 下 降 的 速 度 足 夠 慢 ， 則 固體 物 質(zhì) 會(huì) 形 成 能 量 最 低 的 穩(wěn) 定 狀 態(tài) 。 其

51、中 的 金 屬 粒 子 都 經(jīng) 歷能 量 由 高 到 低 、 暫 時(shí) 由 低 到 高 、 最 終 趨 向 低 能 態(tài) 的 過(guò) 程 。 q 在 金 屬 的 退 火 過(guò) 程 中 ， 能 量 的 狀 態(tài) 分 布 ： kTEexpP(E) P(E)系 統(tǒng) 處 于 具 有 能 量 E的 狀 態(tài)的 概 率 ；kBoltzmann常 數(shù) ；T系 統(tǒng) 的 絕 對(duì) 溫 度 (Kelvin) 45 模 擬 退 火 優(yōu) 化 法q SA算 法 將 優(yōu) 化 問(wèn) 題 與 統(tǒng) 計(jì) 物 理 學(xué) 中 的 熱 平 衡 問(wèn) 題 進(jìn) 行 類比 ， 即 將 統(tǒng) 計(jì) 物 理 學(xué) 處 理 金 屬 固 體 冷 卻 的 熱 平 衡 方 法 用

52、 于優(yōu) 化 問(wèn) 題 。 q 目 標(biāo) 函 數(shù) 能 量 函 數(shù)q 優(yōu) 化 參 數(shù) 的 狀 態(tài) 空 間 物 質(zhì) 的 微 觀 狀 態(tài) q 人 工 溫 度 T一 個(gè) 初 值 較 大 的 控 制 參 數(shù)q 依 據(jù) 網(wǎng) 絡(luò) 的 能 量 來(lái) 決 定 控 制 參 數(shù) 的 調(diào) 整 量 （ 稱 為 步 長(zhǎng) ） 。當(dāng) T較 大 時(shí) ， 目 標(biāo) 函 數(shù) 值 由 低 向 高 變 化 的 可 能 性 較 大 ； 而 T減 小 ， 這 種 可 能 性 也 隨 之 減 小 。q 與 金 屬 的 退 火 過(guò) 程 （ Annealing） 非 常 相 似 。 當(dāng) 控 制 參 數(shù) T下 降 到 一 定 程 度 時(shí) ， 目 標(biāo) 函 數(shù)

53、 將 收 斂 于 最 小 值 。 模 擬 退 火 優(yōu) 化 算 法 的 基 本 思 想 46 模 擬 退 火 優(yōu) 化 法q 計(jì) 算 機(jī) 模 擬 某 一 溫 度 T下 物 質(zhì) 體 系 熱 平 衡 狀 態(tài) 的 方 法 ：Step 1： 隨 機(jī) 選 擇 一 個(gè) 初 始 微 觀 狀 態(tài) i作 為 當(dāng) 前 狀 態(tài) ， 其 相應(yīng) 的 能 量 為 Ei。Step 2：從 狀 態(tài) i作 隨 機(jī) 擾 動(dòng) ， 產(chǎn) 生 一 新 的 狀 態(tài) j， 其 相 應(yīng) 的能 量 為 Ej， 計(jì) 算 能 量 增 量 E=Ei Ej。Step 3：如 果E0， 則 接 受 狀 態(tài) j作 為 當(dāng) 前 狀 態(tài) ， 即 j i；若E0 ，

54、 計(jì) 算 基 于 Boltzmann分 布 函 數(shù) 的 比 值 ：)/exp(/ kTEBBr ij 其 中 :Boltzmann分 布 函 數(shù) kTEi ieTZB /)(1 i kTEieTZ /)(k為 Boltzmann常 數(shù) 10 r取 (0,1)之 間 的 一 個(gè) 隨 機(jī) 數(shù) p， 若 r p， 則 接 受 狀 態(tài) j作 為 當(dāng)前 狀 態(tài) ， 即 ji ； 否 則 ， 保 持 原 來(lái) 的 狀 態(tài) i。 47 模 擬 退 火 優(yōu) 化 法q從 Boltzmann分 布 函 數(shù) 的 比 值 (即 8.3.15式 )可 看 出 ，溫 度 高 時(shí) 大 ， 相 應(yīng) kT也 較 大 ， 接 受

55、與 當(dāng) 前 狀 態(tài) 能差 較 大 的 新 狀 態(tài) 的 概 率 大 ； 降 低 溫 度 ， r較 小 ， 只能 接 受 能 差 較 小 的 新 狀 態(tài) 。 因 此 不 斷 降 低 溫 度 ，體 系 最 終 能 達(dá) 到 能 量 最 低 熱 平 衡 狀 態(tài) 。 Step 4： 重 復(fù) 第 二 、 三 步 ， 在 大 量 的 能 量 狀 態(tài) 變 化 后 ， 系統(tǒng) 處 于 能 量 較 低 的 平 衡 態(tài) 。 降 低 溫 度 T再 重 復(fù) 上 述 過(guò) 程 ， 體系 又 處 在 能 量 更 低 的 平 衡 態(tài) 。 48 SA基 本 算 法 的 步 驟 與 框 圖q 首 先 進(jìn) 行 初 始 化 ， 任 意 給

56、 定 初 始態(tài) X0 ， 取 參 數(shù) 初 值 T0 ， 計(jì) 算 優(yōu) 化目 標(biāo) 函 數(shù) E0 ， 然 后 按 下 進(jìn) 行 ： （ 1） 隨 機(jī) 產(chǎn) 生 擾 動(dòng) 態(tài) Xi， 計(jì) 算 E=Ei E0 ; （ 2） 若 E 0 ， 轉(zhuǎn) 到 (4)。 否 則在 (0,1)之 間 的 一 個(gè) 隨 機(jī) 數(shù) p; （ 3） 若 exp( E/T) p ， 轉(zhuǎn) (5) ; （ 4） 用 X i代 替 X0 ， E0 + E代 替E0 ； （ 5） 以 某 種 方 式 取 Ti T0， 如 Ti =T0； （ 6） SA計(jì) 算 過(guò) 程 是 否 結(jié) 束 ， 是就 停 止 ， 否 則 就 轉(zhuǎn) 到 (1)。 49 SA

57、算 法 的 控 制SA算 法 能 否 達(dá) 到 目 標(biāo) 函 數(shù) 的 最 小 值 ， 主 要 取 決 于 控 制 參 數(shù) 的初 值 是 否 足 夠 高 和 其 下 降 得 是 否 慢 ， 因 此 注 意 有 關(guān) 控 制 參 數(shù)的 選 取 問(wèn) 題 。 對(duì) 于 參 數(shù) 初 值 T0 ， 常 用 的 處 理 方 法 之 一 是 在 均勻 地 隨 機(jī) 抽 樣 X0后 ， 取 的 E0方 差 作 為 T0 。 對(duì) 于 降 溫 策 略 Ti =T0 ， 0 1， 常 取 0.85,0.96。qSA算 法 的 使 用 可 以 參 考 教 材 P257（ FORTRAN程 序 ）q 用 SA擬 合 丙 烷 絲 光

58、 沸 石 體 系 在 303 K時(shí) 的 吸 附 平 衡 數(shù) 據(jù)和 模 型 。 50 三 、 遺 傳 算 法 (Genetic Algorithm) q 遺 傳 算 法 是 一 種 模 擬 自 然 選 擇 和 遺 傳 的 隨 機(jī) 搜 索 算 法 。 它 最初 由 Holland在 1975年 提 出 的 ， 研 究 自 然 系 統(tǒng) 的 適 應(yīng) 過(guò) 程 和 設(shè)計(jì) 具 有 自 適 應(yīng) 性 能 的 軟 件 。q 遺 傳 算 法 的 基 本 形 式 是 用 染 色 體 來(lái) 表 示 參 數(shù) 空 間 的 編 碼 ， 用適 應(yīng) 度 函 數(shù) 來(lái) 評(píng) 價(jià) 染 色 體 群 體 的 優(yōu) 劣 ， 通 過(guò) 遺 傳 操 作

59、 產(chǎn) 生 新的 染 色 體 ， 并 用 概 率 來(lái) 控 制 遺 傳 操 作 。q 遺 傳 算 法 是 一 種 非 線 性 方 法 ， 它 具 有 簡(jiǎn) 潔 、 靈 活 、 高 效 和 全局 優(yōu) 化 的 特 性 ， 在 過(guò) 程 控 制 、 系 統(tǒng) 診 斷 、 非 線 性 擬 合 與 優(yōu) 化 、人 工 智 能 等 工 程 和 研 究 領(lǐng) 域 都 得 到 了 廣 泛 的 應(yīng) 用 。 51 遺 傳 算 法 基 礎(chǔ)q 遺 傳 算 法 是 一 種 迭 代 算 法 ， 它 在 每 一 次 迭 代 時(shí) 都 擁 有 一 組 解(父 代 染 色 體 群 體 )， 這 組 解 答 最 初 是 隨 機(jī) 生 成 的 。q

60、 在 每 次 迭 代 時(shí) ， 首 先 保 持 解 ， 然 后 染 色 體 群 體 經(jīng) 過(guò) 遺 傳 操 作(選 擇 、 雜 交 、 變 異 等 )， 生 成 新 的 組 解 (子 代 染 色 體 群 體 )。 每個(gè) 解 都 由 一 個(gè) 目 標(biāo) 函 數(shù) 來(lái) 評(píng) 價(jià) ， 而 且 這 一 過(guò) 程 不 斷 重 復(fù) ， 直至 達(dá) 到 某 種 形 式 上 的 收 斂 。 新 的 一 組 解 不 但 可 以 有 選 擇 地 保留 一 些 先 前 迭 代 中 目 標(biāo) 函 數(shù) 值 高 的 解 ， 而 且 可 以 包 括 一 些 經(jīng)由 其 它 解 結(jié) 合 而 得 的 新 的 解 ， 其 子 代 的 數(shù) 值 可 以

61、與 其 父 代 的情 況 有 相 當(dāng) 大 的 差 別 。 52 符 號(hào) 串 表 示 和 遺 傳 操 作 的 設(shè) 計(jì)q 遺 傳 算 法 的 術(shù) 語(yǔ) 借 鑒 于 自 然 遺 傳 學(xué) , 遺 傳 物 質(zhì) 的 主 要 載 體 是 染色 體 。 在 遺 傳 算 法 中 ， 染 色 體 (個(gè) 體 )由 一 串 數(shù) 據(jù) 或 數(shù) 組 構(gòu) 成 ，用 來(lái) 作 為 問(wèn) 題 解 的 代 碼 。q 染 色 體 由 決 定 其 特 性 的 基 因 構(gòu) 成 ， 而 基 因 又 可 以 有 稱 為 等 位基 因 的 不 同 取 值 。q 目 標(biāo) 函 數(shù) 稱 為 適 應(yīng) 度 函 數(shù) ， 而 一 組 染 色 體 稱 為 群 體

62、。q 遺 傳 算 法 的 一 次 迭 代 稱 為 一 代 。q 遺 傳 算 法 成 功 的 關(guān) 鍵 在 于 符 號(hào) 串 表 示 和 遺 傳 操 作 的 設(shè) 計(jì) 。 53 染 色 體 q 解 空 間 中 的 每 一 點(diǎn) 都 對(duì) 應(yīng) 一 個(gè) 用 由 基 因 表 示 的 染 色 體 。 例 如 ： 要 確 定 適 應(yīng) 度 函 數(shù) f(x,y)的 最 大 值 ， 搜 尋 空 間 變 量 x和 y為 整 數(shù) ， 其 變 化 范 圍 是 0-15。 這 樣 對(duì) 應(yīng) 于 搜 尋 空 間 任 何 點(diǎn) 可由 兩 基 因 的 染 色 體 來(lái) 表 示 ： 點(diǎn) （ 2,6） 用 二 進(jìn) 制 數(shù) 有 如 下 的 染 色

63、 體 ： x y 2 60 0 1 0 0 1 1 0 54 交 叉q 在 兩 父 代 的 染 色 體 的 隨 機(jī) 長(zhǎng) 度 位 置 上 ， 用 交 叉 概 率 進(jìn) 行 后 部交 換 ， 產(chǎn) 生 兩 子 代 ， 如 下 所 示 ： 上 面 的 交 叉 操 作 稱 為 單 點(diǎn) 交 叉 。 一 般 地 可 以 進(jìn) 行 多 點(diǎn) 交 叉 ，如 下 所 示 ： 55 變 異q 與 交 叉 不 同 ， 變 異 涉 及 到 一 染 色 體 個(gè) 體 的 一 個(gè) 或 多 個(gè) 基 因 位的 翻 轉(zhuǎn) ， 產(chǎn) 生 新 的 基 因 組 合 ， 以 通 過(guò) 交 叉 來(lái) 獲 得 子 代 染 色 體 。下 面 的 任 一 方

64、法 都 可 以 用 來(lái) 進(jìn) 行 變 異 操 作 ： 隨 機(jī) 選 擇 的 基 因 位 數(shù) 值 可 以 被 隨 機(jī) 產(chǎn) 生 的 數(shù) 值 替 代 ， 這 種 替 代 對(duì) 二 進(jìn)制 和 非 二 進(jìn) 制 染 色 體 都 適 用 ； 在 二 進(jìn) 制 染 色 體 中 ， 可 以 對(duì) 隨 機(jī) 選 擇 的 基 因 位 進(jìn) 行 觸 發(fā) ， 即 10或01。 q 可 以 以 概 率 Pm隨 機(jī) 選 擇 個(gè) 體 進(jìn) 行 變 異 操 作 。 q 變 異 操 作 的 主 要 優(yōu) 點(diǎn) 是 使 染 色 體 群 體 中 出 現(xiàn) 各 種 基 因 ， 這 樣遺 傳 算 法 有 在 參 數(shù) 解 空 間 找 出 各 種 可 能 的 解

65、 ， 避 免 解 的 丟 失 。 56 有 效 性 檢 驗(yàn)q 對(duì) 于 不 同 的 優(yōu) 化 問(wèn) 題 ， 有 時(shí) 需 要 增 加 檢 驗(yàn) ， 確 保 新 子 代 的 染色 體 表 示 的 是 參 數(shù) 解 空 間 中 的 有 效 點(diǎn) 。 如 考 慮 由 四 個(gè) 基 因 組成 的 染 色 體 ， 每 個(gè) 基 因 有 三 個(gè) 可 能 的 二 進(jìn) 制 值 A=01， B=10，C=11。 二 進(jìn) 制 染 色 體 表 示 組 合 BACA是 ： 1 0 0 1 1 1 0 11 0 0 1 1 1 0 0如 對(duì) 最 后 的 基 因 位 進(jìn) 行 變 異 操 作 ， 產(chǎn) 生 了 如 下 所 示 的 無(wú) 效染 色

66、 體 ， 因 基 因 值 00沒(méi) 有 定 義 。 q 同 樣 ， 交 叉 也 可 能 產(chǎn) 生 有 缺 陷 的 染 色 體 操 作 。 克 服 這 些 問(wèn) 題的 方 法 是 采 用 結(jié) 構(gòu) 操 作 ， 交 叉 或 變 異 操 作 針 對(duì) 基 因 ， 而 不 是針 對(duì) 基 因 位 。 這 樣 ， 交 叉 操 作 點(diǎn) 總 能 與 基 因 邊 界 相 一 致 ， 變異 操 作 對(duì) 整 個(gè) 基 因 組 隨 機(jī) 選 擇 新 值 ， 確 保 產(chǎn) 生 有 效 染 色 體 。如 此 做 的 缺 點(diǎn) 是 染 色 體 群 體 的 差 異 性 會(huì) 受 到 影 響 。 57 基 本 的 遺 傳 算 法 框 圖q 初 始 染 色 體 群 體 隨 機(jī) 產(chǎn) 生 ；q 用 適 應(yīng) 度 函 數(shù) 來(lái) 評(píng) 價(jià) 染 色體 個(gè) 體 ；q 根 據(jù) 適 應(yīng) 度 產(chǎn) 生 繁 殖 的 染色 體 個(gè) 體 ， 適 應(yīng) 度 好 的 染色 體 個(gè) 體 其 被 選 擇 來(lái) 繁 殖的 可 能 性 大 ；q 通 過(guò) 染 色 體 對(duì) 的 交 叉 和 變異 操 作 ， 產(chǎn) 生 各 自 的 子 代繁 殖 染 色 體 。 58 基 本 的 遺 傳 算 法q