đề tài xây dựng hệ thống thử nghiệm dự báo mực nước trên ...

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM

VIỆN CƠ HỌC

-----------------------------

BÁO CÁO KẾT QUẢ THỰC HIỆN ĐỀ TÀI CƠ SỞ

CẤP VIỆN CƠ HỌC NĂM 2019

ĐỀ TÀI

XÂY DỰNG HỆ THỐNG THỬ NGHIỆM DỰ BÁO

MỰC NƯỚC TRÊN NỀN TẢNG WEBGIS BẰNG

MÔ HÌNH MẠNG NƠRON NHÂN TẠO HỒI TIẾP

Chủ nhiệm Đề tài: TS. Nguyễn Chính Kiên

HÀ NỘI – 2019

DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI

TT Họ và tên Phòng chuyên môn

1 TS. Nguyễn Chính Kiên Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

2 TS. Nguyễn Tiến Cường Thủy động lực và Giảm nhẹ thiên


3 ThS. Dương Thị Thanh Hương Thủy động lực và Giảm nhẹ thiên


4 ThS. Nguyễn Tuấn Anh Thủy động lực và Giảm nhẹ thiên


5 PGS. TS. Trần Thu Hà Thủy động lực và Giảm nhẹ thiên


6 ThS. Nguyễn Hồng Phong Thủy động lực và Giảm nhẹ thiên


7 TS. Nguyễn Thành Đôn Thủy động lực và Giảm nhẹ thiên


8 CN. Trần Thị Thanh Huyền Thủy động lực và Giảm nhẹ thiên


i

MỤC LỤC

DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT THƯỜNG SỬ DỤNG ............................. iii

DANH MỤC CÁC BẢNG ............................................................................................... iv

DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ ..................................................................... v

MỞ ĐẦU ............................................................................................................................. 1

CHƯƠNG I: MÔ HÌNH MẠNG THẦN KINH NHÂN TẠO HỒI TIẾP, WEBGIS VÀ

CƠ SỞ DỮ LIỆU ............................................................................................................... 3

1.1 Mạng thần kinh nhân tạo hồi tiếp ........................................................................... 3

1.1.1 Khái niệm về mạng thần kinh nhân tạo .............................................................. 3

1.1.2 Khái niệm mạng nơron nhân tạo hồi tiếp ........................................................... 4

1.2 Giới thiệu về WebGIS ............................................................................................. 12

1.2.1 Khái niệm .......................................................................................................... 12

1.2.2 Đặc điểm của một hệ thống WebGIS ............................................................... 17

1.2.3 Khả năng ứng dụng WebGIS ............................................................................ 18

1.3 Cơ sở dữ liệu ........................................................................................................... 18

1.3.1 Lựa chọn hệ quản trị cơ sở dữ liệu ................................................................... 19

1.3.2 Quy trình thiết kế cơ sở dữ liệu ........................................................................ 21

CHƯƠNG II: XÂY DỰNG HỆ THỐNG DỰ BÁO ..................................................... 25

2.1 Mođun tính bằng mạng thần kinh nhân tạo hồi tiếp ............................................ 25

2.1.1 Sơ đồ khối ......................................................................................................... 25

2.1.2 Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo .... 26

2.2 Xây dựng cơ sở dữ liệu về thông tin khí tượng thuỷ văn ...................................... 27

2.2.1 Thiết kế cơ sở dữ liệu ....................................................................................... 27

2.2.2 Nhập dữ liệu vào cơ sở dữ liệu ......................................................................... 36

2.2.3 Thống kê kết quả nhập liệu lên cơ sở dữ liệu ................................................... 37

2.3 Xây dựng hệ thống thông tin địa lý trực tuyến WebGIS ....................................... 40

2.3.1 Phương pháp xử lý dữ liệu bản đồ và kết quả .................................................. 40

2.3.2 Hệ thống thông tin địa lý trực tuyến ................................................................. 44

2.4 Xây dựng hệ thống dự báo ..................................................................................... 46

2.4.1 Cấu trúc của hệ thống dự báo ........................................................................... 46

2.4.2 Giao diện của hệ thống dự báo ......................................................................... 48

2.4.3 Kỹ thuật hỗ trợ .................................................................................................. 51

ii

CHƯƠNG III: THỬ NGHIỆM HỆ THỐNG DỰ BÁO CHO MỘT SỐ LƯU VỰC 52

3.1 Kết quả dự báo mực nước đồng bằng châu thổ sông Hồng ................................. 52

3.2 Kết quả dự báo mực nước cho lưu vực sông Tích – Bùi ...................................... 58

3.3 Kết quả dự báo mực nước cho lưu vực sông Tam Kỳ ........................................... 63

KẾT LUẬN VÀ KIẾN NGHỊ ......................................................................................... 67

TÀI LIỆU THAM KHẢO ............................................................................................... 68

iii

DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT THƯỜNG SỬ DỤNG

ANN Artificial Nơron Network - mạng thần kinh nhân tạo

AI Trí tuệ nhân tạo

GA Genetic Algorithm - Giải thuật Di truyền

BP Backpropagation - Giải thuật Lan truyền ngược sai số

LSTMs Long Short Term Memory Networks – Bộ nhớ dài hạn

RNNs Recurrent Neural Networks - Mạng nơron nhân tạo hồi tiếp

RMS Sai số căn quân phương

NSE Chỉ số đánh giá Nash-Sutcliffe

KT Khí tượng

TV Thủy văn

GIS Hệ thống thông tin địa lý

CSDL Cơ sở dữ liệu

KHCN Khoa học công nghệ

VN Việt Nam

iv

DANH MỤC CÁC BẢNG

Bảng 2.1: Cấu trúc bảng dữ liệu lưu vực sông .................................................................. 27

Bảng 2.2: Cấu trúc bảng dữ liệu đê.................................................................................... 28

Bảng 2.3: Cấu trúc bảng dữ liệu sông ................................................................................ 29

Bảng 2.4: Cấu trúc bảng dữ liệu công trình ....................................................................... 29

Bảng 2.5: Cấu trúc bảng dữ liệu mặt cắt sông ................................................................... 30

Bảng 2.6: Cấu trúc bảng dữ liệu độ ẩm ............................................................................. 30

Bảng 2.7: Cấu trúc bảng dữ liệu lưu lượng ........................................................................ 31

Bảng 2.8: Cấu trúc bảng dữ liệu lượng mưa ...................................................................... 32

Bảng 2.9: Cấu trúc bảng dữ liệu độ mặn ........................................................................... 32

Bảng 2.10: Cấu trúc bảng dữ liệu nhiệt độ ........................................................................ 33

Bảng 2.11: Cấu trúc bảng dữ liệu mực nước ..................................................................... 33

Bảng 2.12: Cấu trúc bảng dữ liệu trạm thủy văn ............................................................... 34

Bảng 2.13: Bảng thống kê dữ liệu được nhập vào hệ thống cơ sở dữ liệu ........................ 37

Bảng 3.1: Bảng chỉ số NSE các phương án tính cho đồng bằng châu thổ sông Hồng ...... 57

Bảng 3.2: Bảng chỉ số NSE các phương án tính cho lưu vực sông Tích Bùi .................... 62

v

DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ

Hình 1.1: Nơron nhân tạo ..................................................................................................... 3

Hình 1.2: Cấu trúc nơron hồi tiếp ........................................................................................ 5

Hình 1.3: Mô hình mạng nơron hồi tiếp .............................................................................. 5

Hình 1.4: Mạng nơron hồi tiếp có chứa một vòng lặp ......................................................... 5

Hình 1.5: Tách vòng lặp mạng nơron hồi tiếp ..................................................................... 6

Hình 1.6: Phụ thuộc dữ liệu các lớp gần kề ......................................................................... 6

Hình 1.7: Phụ thuộc dữ liệu các lớp không thể ước lượng phía trước ................................. 6

Hình 1.8: Mođun lặp lại trong 1 RNNs chuẩn chứa 1 lớp đơn. ........................................... 7

Hình 1.9: Mođun lặp lại trong 1 LSTMs chứa 4 lớp tương tác. .......................................... 7

Hình 1.10: Định hướng phát triển của khoa học GIS ........................................................ 12

Hình 1.11: Các thành phần của GIS .................................................................................. 13

Hình 1.12: Kiến trúc 3 tầng của một hệ thống WebGIS .................................................... 15

Hình 1.13: Thông tin vào/ra quy trình thiết kế cơ sở dữ liệu ............................................ 22

Hình 1.14: Quy trình thiết kế cơ sở dữ liệu ....................................................................... 22

Hình 2.1: Sơ đồ thuật toán mô hình mạng thần kinh nhân tạo LSTMs ............................. 25

Hình 2.2: Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo và số

liệu thực đo......................................................................................................................... 26

Hình 2.3: Nhập dữ liệu mực nước vào hệ quản trị CSDL ................................................. 36

Hình 2.4: Bản đồ lưu vực sông toàn lãnh thổ Việt Nam ................................................... 38

Hình 2.5: Bản đồ cao độ một phần vùng châu thổ sông Hồng .......................................... 39

Hình 2.6: Bản đồ đường giao thông ................................................................................... 39

Hình 2.7: Bản đồ chia ô vùng đồng bằng châu thổ sông Hồng ......................................... 41

Hình 2.8: Bản đồ chia ô ruộng lưu vực Tích Bùi............................................................... 42

Hình 2.9: Bản đồ chia ô ruộng lưu vực Tam Kỳ ............................................................... 43

Hình 2.10: Bản đồ mạng lưới trạm trên toàn lãnh thổ Việt Nam ...................................... 44

Hình 2.11: Bản đồ các lưu vực sông trên hệ thống thông tin địa lý trực tuyến ................. 45

Hình 2.12: Danh sách các lưu vực sông trên hệ thống thông tin địa lý ............................. 45

vi

Hình 2.13: Các trạm có sự tác động đến trạm thủy văn Hà Nội ........................................ 46

Hình 2.14: Sơ đồ hoạt động hệ thống dự báo trực tuyến ................................................... 47

Hình 2.15: Giao diện hiển thị các hệ thống sông Việt Nam .............................................. 48

Hình 2.16: Bản đồ WebGIS vùng đồng bằng châu thổ sông Hồng ................................... 49

Hình 2.17: Bản đồ WebGIS lưu vực sông Tích – Bùi ....................................................... 50

Hình 2.18: Bản đồ WebGIS lưu vực sông Tam Kỳ ........................................................... 50

Hình 3.1: Vị trí địa lý vùng đồng bằng châu thổ sông Hồng – Thái Bình ......................... 53

Hình 3.2: Bản đồ vùng đồng bằng châu thổ sông Hồng .................................................... 54

Hình 3.3: Đồ thị mực nước thực đo và dự báo trạm Hà Nội từ ngày 15/6/2015 đến 15/9/2015

............................................................................................................................................ 55


............................................................................................................................................ 55


............................................................................................................................................ 56


............................................................................................................................................ 56


............................................................................................................................................ 57

Hình 3.8: Phạm vi nghiên cứu thuộc lưu vực sông Tích – Bùi ......................................... 58

Hình 3.9: Bản đồ lưu vực sông Tích Bùi ........................................................................... 59

Hình 3.10: Đồ thị mực nước thực đo và dự báo trạm Ba Thá từ ngày 15/6/2015 đến

15/9/2015 ........................................................................................................................... 60

Hình 3.11: Đồ thị mực nước thực đo và dự báo tại trạm Ba Thá từ 15/6/2016 đến 15/9/2016

............................................................................................................................................ 60


............................................................................................................................................ 61


............................................................................................................................................ 61


............................................................................................................................................ 62

Hình 3.15: Phạm vi nghiên cứu của lưu vực sông Tam Kỳ ............................................... 64

vii

Hình 3.16: Bản đồ lưu vực sông Tam Kỳ .......................................................................... 64

Hình 3.17: Đồ thị mực nước thực đo và dự báo tại trạm Tam Anh năm 2001 .................. 65

Hình 3.18: Đồ thị mực nước thực đo và dự báo tại trạm Tam Anh năm 2017 .................. 65

1

MỞ ĐẦU

1. Tính cấp thiết của đề tài

Trong những năm gần đây, các hiện tượng thiên tai xảy ra thường xuyên và có xu

thế cực đoan hơn. Việc đo đạc, dự báo, cảnh báo lũ lụt là một hoạt động hết sức quan

trọng và có ý nghĩa thiết thực giúp cho các ngành sản xuất cũng như ổn định đời sống

của người dân cả nước. Dự báo thuỷ văn, thủy lực là công việc dự báo trước cho tương

lai một cách có khoa học về trạng thái biến đổi các yếu tố thuỷ văn, tuy nhiên sự

biến đổi này là một quá trình tự nhiên phức tạp, chịu tác động của rất nhiều yếu tố.

Tính biến động của các yếu tố này phụ thuộc vào cả không gian và thời gian nên

gây khó khăn rất lớn cho quá trình dự báo, tìm ra được mối liên quan giữa các

yếu tố. Thêm vào đó, do thiếu các trạm quan trắc cần thiết và thiếu sự kết hợp giữa các

ngành liên quan cho nên dữ liệu quan trắc thực tế thường là không đầy đủ, không mang

tính chất đại diện.

Hiện nay, có rất nhiều phương pháp dự báo đã được đưa ra dựa trên mô hình vật

lý và toán học, kết quả của các mô hình nói trên đã đạt được một số thành công

đáng ghi nhận. Tuy nhiên, các mô hình đều có những ưu và nhược điểm nhất định,

vấn đề tìm kiếm phương pháp đủ tốt, đáp ứng các yêu cầu thực tế giải quyết bài toán

dự báo thuỷ văn, thủy lực vẫn là nội dung nghiên cứu thời sự hiện nay. Một hướng

tiếp cận mới bằng cách sử dụng mô hình mạng thần kinh nhân tạo hồi tiếp để dự báo các

yếu tố thủy văn, thủy lực.

Bên cạnh đó, cùng với sự phát triển của công nghệ đám mây, phương thức phát

triển phần mềm đã có sự chuyển dịch từ hình thức cài đặt máy tính (SaaP - Software as

a Product) được chuyển lên nền tảng đám mây (SaaS - Software as a Service). So với

SaaP, SaaS vượt trội hơn hẳn ở 4 điểm: người dùng truy cập được ở mọi nơi, mọi thiết

bị; có thể mở rộng nâng cấp linh hoạt theo nhu cầu (tính toán + ứng dụng); người dùng

(nhà quản lý + nhà khoa học + người sử dụng kết quả) cộng tác với nhau trên cùng một

môi trường và quy trình triển khai dễ dàng nhanh chóng. Hệ thống được xây dựng dưới

dạng trực tuyến nhằm cung cấp thông tin cho người dùng mọi nơi, mọi lúc bằng nhiều

loại thiết bị khác nhau và các kết quả đầu ra được hiển thị trực quan qua các biểu đồ và

bản đồ GIS.

2. Mục đích nghiên cứu

- Mạng nơron nhân tạo hồi tiếp, cơ sở dữ liệu và WebGIS,

- Xây dựng hệ thống thử nghiệm dự báo mực nước trên nền tảng WebGIS.

2

3. Phương pháp nghiên cứu

- Phân tích, thống kê và tính toán các tư liệu thu thập được,

- Mô hình hóa bài toán dự báo bằng việc xây dựng hệ thống dự báo trực tuyến

trên nền WebGIS bằng ngôn ngữ C#.

3

CHƯƠNG I

MÔ HÌNH MẠNG THẦN KINH NHÂN TẠO HỒI TIẾP,

WEBGIS VÀ CƠ SỞ DỮ LIỆU

1.1 Mạng thần kinh nhân tạo hồi tiếp

1.1.1 Khái niệm về mạng thần kinh nhân tạo[5]

Mạng nơron nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng nơron, là

một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh

học. Nó được tạo nên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay nơron)

kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể

thống nhất để giải quyết một vấn đề cụ thể nào đó.

Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một mạng

nơron. Cấu trúc của một nơron được mô tả ở hình 1.1 bên dưới đây:

Hình 1.1: Nơron nhân tạo

Các thành phần cơ bản của một nơron nhân tạo bao gồm:

- Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu

này thường được đưa vào dưới dạng một vec-tơ m chiều.

- Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số

liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với nơron

k thường được kí hiệu là wjk. Thông thường, các trọng số này được khởi tạo

một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục

trong quá trình học mạng.

4

- Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào

với trọng số liên kết của nó. Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng

này thường được đưa vào như một thành phần của hàm truyền.

- Hàm truyền (Transfer function) – còn gọi là Hàm kích hoạt (Activation

function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron.

Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường,

phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1].

Các hàm truyền rất đa dạng được liệt kê trong bảng 1.1, có thể là các hàm

tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền nào là tuỳ thuộc vào

từng bài toán và kinh nghiệm của người thiết kế mạng.

- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một

đầu ra.

Như vậy tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu

vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi

kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền).

1.1.2 Khái niệm mạng nơron nhân tạo hồi tiếp

* Mạng nơron hồi tiếp RNNs

Mạng nơron nhân tạo được xây dựng để mô phỏng lại cách hoạt động của bộ não

con người. Đối với mạng nơron thông thường, mỗi sự kiện đầu vào x được xử lý một

cách độc lập và đưa ra đầu ra y tương ứng mà không có sự trao đổi thông tin thu thập

được tại mỗi đầu vào x trong mạng.

Tuy nhiên, bộ não con người hoạt động một cách phức tạp hơn thế nhiều với sự

kết hợp của nhiều dạng thông tin và sự kiện với nhau để đưa ra kết luận cuối cùng. Bộ

não lưu giữ những thông tin trong quá khứ và sử dụng chúng để xử lý những thông tin

đang tiếp nhận. Đây là một quá trình phức tạp mà những mạng nơron bình thường không

thể mô phỏng lại được.

Mạng nơron nhân tạo hồi tiếp (Recurrent Neural Networks - RNNs) ra đời nhằm

mô tả quá trình liên kết các sự kiện đó. Một trong những yêu cầu khi xây dựng RNNs là

dựa trên ý tưởng rằng chúng có thể kết nối thông tin trước với nhiệm vụ hiện tại, bằng

việc sử dụng các hàm trễ lưu trữ dữ liệu trong khoảng thời gian nhất định.

5

Hình 1.2: Cấu trúc nơron hồi tiếp

Hình 1.3: Mô hình mạng nơron hồi tiếp

Mạng nơron hồi tiếp là một mạng nơron có chứa một vòng lặp bên trong nó.

Hình 1.4: Mạng nơron hồi tiếp có chứa một vòng lặp

Trong hình trên, A là mạng nơron hồi tiếp. Nó nhận một đầu vào xt , tiến hành xử

lý và đưa ra đầu ra ht . Điểm đặc biệt của A là nó sẽ lưu lại giá trị của ht để sử dụng cho

đầu vào tiếp theo.

Có thể coi một mạng nơron hồi tiếp là một chuỗi những mạng con giống hệt nhau,

mỗi mạng sẽ truyền thông tin nó vừa xử lý cho mạng phía sau nó. Nếu ta tách từng vòng

lặp xử lý trong A ra thành từng mạng con theo cách suy nghĩ như trên thì ta sẽ có một

mạng có kiến trúc như sau:

6

Hình 1.5: Tách vòng lặp mạng nơron hồi tiếp

Chuỗi lặp lại các mạng này chính là phân giải của mạng nơron hồi tiếp, các vòng

lặp khiến chúng tạo thành một chuỗi danh sách các mạng sao chép nhau. Chuỗi lặp của

mạng nơron hồi tiếp vẫn nhận đầu vào và có đầu ra giống với mạng nơron thông thường.

* Vấn đề phụ thuộc lâu dài

Hình 1.6: Phụ thuộc dữ liệu các lớp gần kề

Nhưng khi khoảng cách thời gian giữa các tập dữ liệu tăng lên, RNNs không thể

học để kết nối các thông tin đó. Về lý thuyết, RNNs hoàn toàn có khả năng xử lý các

"phụ thuộc lâu dài" như vậy. Một người có thể cẩn thận chọn các tham số để giải quyết

các vấn đề của dạng này. Nhưng trên thực tế, RNNs dường như không thể học được

chúng do không thể ước lượng được “độ dài phụ thuộc”.

Hình 1.7: Phụ thuộc dữ liệu các lớp không thể ước lượng phía trước

7

* Mạng LSTMs

LSTMs (Long Short Term Memory Networks) được giới thiệu bởi Hochreiter &

Schmidhuber (1997), sau đó đã được cải tiến và phổ biến bởi rất nhiều người trong ngành.

Chúng hoạt động cực kì hiệu quả trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến

như hiện nay.

LSTMs được thiết kế để tránh được vấn đề độ dài phụ thuộc (long-term dependency).

Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của chúng, chứ ta không cần

phải huấn luyện nó để có thể nhớ được. Tức là ngay nội tại của nó đã có thể ghi nhớ được

mà không cần bất kì can thiệp nào.

Mọi mạng hồi tiếp đều có dạng là một chuỗi các mođun lặp đi lặp lại của mạng nơron

truyền thống. Với mạng RNNs chuẩn, các mođun này có cấu trúc rất đơn giản, thường là

một tầng hàm kích hoạt tanh.

Hình 1.8: Mođun lặp lại trong 1 RNNs chuẩn chứa 1 lớp đơn.

LSTMs cũng có kiến trúc dạng chuỗi như vậy, nhưng các mođun trong nó có cấu

trúc khác với mạng RNNs chuẩn. Thay vì chỉ có một tầng mạng nơron, chúng có tới 4

tầng tương tác với nhau một cách rất đặc biệt.

Hình 1.9: Mođun lặp lại trong 1 LSTMs chứa 4 lớp tương tác.

http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf

http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf

8

Ở sơ đồ trên, mỗi một đường mang một véc-tơ từ đầu ra của một nút tới đầu vào

của một nút khác. Các hình tròn biểu diễn các phép toán như phép cộng véc-tơ, nhân

liên hợp, còn các chữ nhật được biểu thị các hàm kích hoạt trong từng nơron. Các đường

hợp nhau kí hiệu việc kết hợp, còn các đường rẽ nhánh ám chỉ nội dung của nó được sao

chép và chuyển tới các nơi khác nhau.

* Ý tưởng chính của LSTMs

Chìa khóa của LSTMs là trạng thái tế bào (cell state) - chính đường chạy thông

ngang phía trên của sơ đồ hình vẽ.

Trạng thái tế bào là một dạng giống như băng chuyền. Nó chạy xuyên suốt tất cả

các mắt xích (các nút mạng) và chỉ tương tác tuyến tính đôi chút. Vì vậy mà các thông

tin có thể dễ dàng truyền đi thông suốt mà không sợ bị thay đổi.

LSTMs có khả năng bỏ đi hoặc thêm vào các thông tin cần thiết cho trạng thái tế

bào, chúng được điều chỉnh cẩn thận bởi các nhóm được gọi là cổng (gate).

Các cổng là nơi sàng lọc thông tin đi qua nó, chúng được kết hợp bởi một tầng

mạng sigmoid và một phép nhân.

Tầng sigmoid sẽ cho đầu ra là một số trong khoảng [0, 1], mô tả có bao nhiêu thông

tin có thể được thông qua. Khi đầu ra là 0 thì có nghĩa là không cho thông tin nào qua

cả, trong khi đầu ra là 1 thì có nghĩa là cho tất cả các thông tin đi qua nó.

Một LSTMs gồm có 3 cổng như vậy để duy trì và điều hành trạng thái của tế bào.

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-gate.png

9

* Bên trong của LSTMs

Bước đầu tiên của LSTMs là quyết định xem thông tin nào cần bỏ đi từ trạng thái

tế bào. Quyết định này được đưa ra bởi tầng sigmoid gọi là “tầng cổng quên” (forget

gate layer). Nó sẽ lấy đầu vào là ht-1 và xt rồi đưa ra kết quả là một số trong khoảng [0,

1] cho mỗi số trong trạng thái tế bào Ct-1. Đầu ra là 1 thể hiện rằng nó giữ toàn bộ thông

tin lại, còn 0 chỉ rằng toàn bộ thông tin sẽ bị bỏ đi.

Bước tiếp theo là quyết định xem thông tin mới nào ta sẽ lưu vào trạng thái tế bào.

Việc này gồm 2 phần. Đầu tiên là sử dụng một tầng sigmoid được gọi là “tầng cổng

vào” (input gate layer) để quyết định giá trị nào ta sẽ cập nhật. Tiếp theo là một tầng tanh

tạo ra một véc-tơ cho giá trị mới Čt nhằm thêm vào cho trạng thái. Trong bước tiếp theo,

ta sẽ kết hợp 2 giá trị đó lại để tạo ra một cập nhập cho trạng thái.

Giờ là lúc cập nhập trạng thái tế bào cũ Ct-1 thành trạng thái mới Ct. Ở các bước

trước đó đã quyết định những việc cần làm, nên giờ ta chỉ cần thực hiện là xong.

Ta sẽ nhân trạng thái cũ với ft để bỏ đi những thông tin ta quyết định quên lúc

trước. Sau đó cộng thêm it∗Čt . Trạng thái mới thu được này phụ thuộc vào việc ta quyết

định cập nhập mỗi giá trị trạng thái ra sao.

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-focus-f.png

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-focus-i.png

10

Cuối cùng, ta cần quyết định xem ta muốn đầu ra là gì. Giá trị đầu ra sẽ dựa vào

trạng thái tế bào, nhưng sẽ được tiếp tục sàng lọc. Đầu tiên, ta chạy một tầng sigmoid

để quyết định phần nào của trạng thái tế bào ta muốn xuất ra. Sau đó, ta đưa nó trạng

thái tế bào qua một hàm kích hoạt tanh để có giá trị nó về khoảng [-1, 1], và nhân nó với

đầu ra của cổng sigmoid để được giá trị đầu ra ta mong muốn.

* Các biến thể của bộ nhớ dài hạn

Những đặc tính vừa mô tả ở trên là của một LSTMs bình thường, tuy nhiên không

phải tất cả các LTSMs đều giống như vậy. Thực tế, các bài báo về LTSMs đều sử dụng

một phiên bản hơi khác so với mô hình LTSMs chuẩn. Sự khác nhau không lớn, nhưng

chúng giúp giải quyết phần nào đó trong cấu trúc của LTSMs.

Một dạng LTSMs phổ biến được giới thiệu bởi Gers & Schmidhuber (2000) được

thêm các đường kết nối “peephole connections”, làm cho các tầng cổng nhận được giá

trị đầu vào là trạng thái tế bào.

ftp://ftp.idsia.ch/pub/juergen/TimeCount-IJCNN2000.pdf

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-focus-C.png

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-focus-o.png

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-var-peepholes.png

11

Hình trên mô tả các đường được thêm vào mọi cổng, nhưng cũng có những bài

báo chỉ thêm cho một vài cổng mà thôi.

Một biến thể khác là nối 2 cổng loại trừ và đầu vào với nhau. Thay vì phân tách

các quyết định thông tin loại trừ và thông tin mới thêm vào, ta sẽ quyết định chúng cùng

với nhau luôn. Ta chỉ bỏ đi thông tin khi mà ta thay thế nó bằng thông tin mới đưa vào.

Ta chỉ đưa thông tin mới vào khi ta bỏ thông tin cũ nào đó đi.

Một biến thể khá thú vị khác của LSTMs là Gated Recurrent Unit, hay GRU được

giới thiệu bởi Cho, et al. (2014). Nó kết hợp các cổng loại trừ và đầu vào thành một cổng

“cổng cập nhật” (update gate). Nó cũng hợp trạng thái tế bào và trạng thái ẩn với nhau

tạo ra một thay đổi khác. Kết quả là mô hình của ta sẽ đơn giản hơn mô hình LSTMs

chuẩn và ngày càng trở nên phổ biến.

Trên đây chỉ là một vài biến thế được chú ý nhiều nhất, thực tế có rất nhiều các

biến thể khác nhau của LSTMs như Depth Gated RNNs của Yao, et al. (2015). Cũng có

những biến thể mà chiến lược xử lý phụ thuộc xa hoàn toàn khác như Clockwork RNNs

của Koutnik, et al. (2014).

Greff, et al. (2015) phân tích nhiều biến thể của mạng LSTMs và so sánh cũng như

đưa ra các biến thể tốt nhất cho các bài toán khác nhau. Ngoài ra, Jozefowicz, et al.

(2015) thậm chí còn thử hàng chục nghìn kiến trúc RNNs khác nhau và tìm ra một vài

mô hình LSTMs tốt nhất cho một số loại bài toán.

http://arxiv.org/pdf/1406.1078v3.pdf



http://arxiv.org/pdf/1503.04069.pdf

http://jmlr.org/proceedings/papers/v37/jozefowicz15.pdf

http://jmlr.org/proceedings/papers/v37/jozefowicz15.pdf

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-var-tied.png

https://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-var-GRU.png

12

1.2 Giới thiệu về WebGIS

1.2.1 Khái niệm

Thông tin đóng một vai trò then chốt trong lịch sử phát triển xã hội loài người.

Thông tin địa lý, thông tin về vị trí và thuộc tính của các sự vật, sự kiện trong thế giới

thực, ngày càng khẳng định tầm quan trọng trong nhiều lĩnh vực. Phân tích và xử lý

thông tin luôn là vấn đề quan tâm lớn của toàn xã hội. Các kết quả phân tích và xử lý

thông tin là tiền đề duy nhất cho công tác ra quyết định.

Hình 1.10: Định hướng phát triển của khoa học GIS

Hệ thống thông tin địa lý - GIS (Geographic Information System) ra đời cùng

với sự phát triển của công nghệ máy tính và bắt đầu vào những thập niên 60. GIS là

một công cụ hỗ trợ công tác thu thập, tổ chức lưu trữ dữ liệu địa lý, phân tích và xử lý

thông tin địa lý một cách hiệu quả và nhanh chóng. Từ khi ra đời GIS đã được nhiều

ngành, nhiều quốc gia quan tâm nghiên cứu và ứng dụng. GIS ngày càng được phát

triển mạnh mẽ với nhiều ứng dụng phong phú trong nhiều lĩnh vực như quản lý tài

nguyên thiên nhiên, giám sát môi trường, quản lý đất đai, quy hoạch phát triển kinh tế

xã hội, phục vụ an ninh quốc phòng...

Cùng với sự phát triển và mở rộng các ứng dụng trong GIS, khoa học GIS

(Geographic Information Science) cũng đã định hướng và phát triển thành một ngành

khoa học độc lập. Bên cạnh đó, với nhu cầu chia sẻ và sử dụng thông tin GIS, dịch vụ

GIS (Geographic Information Service) cũng đã được hình thành.

13

a) Định nghĩa về GIS

Từ năm 1980 đến nay đã có rất nhiều các định nghĩa được đưa ra về hệ thống thông

tin địa lý (GIS), tuy nhiên không có định nghĩa nào khái quát đầy đủ về GIS vì phần lớn

chúng đều được xây dựng trên các khía cạnh cụ thể từ ứng dụng, từ chức năng, từ quan

điểm hệ thống thông tin… song ta có thể định nghĩa chung rằng:

- Hệ thống thông tin địa lý có những khả năng của một hệ thống máy tính (phần

cứng, phần mềm và các thiết bị ngoại vi) dùng để nhập, lưu trữ, truy vấn, xử lý,

phân tích và hiển thị hoặc xuất dữ liệu.

- Xét trên nhiều góc độ khác nhau, GIS đã làm thay đổi sâu sắc phương thức

quản trị dữ liệu và những tiếp cận phân tích dữ liệu.

b) Các thành phần của GIS

Hình 1.11: Các thành phần của GIS

- Thiết bị (hardware) gồm: hệ thống máy tính (Server, Workstation); hệ thống

mạng máy tính (LAN, WAN, internet); các thiết bị ngoại vi (GPSs, survey

devices, scanners, printers, plotters,…).

- Phần mềm (software): là tập hợp các câu lệnh, chỉ thị nhằm điều khiển phần cứng

của máy tính thực hiện một nhiệm vụ xác định, phần mềm hệ thống thông tin địa

lý có thể là một hoặc tổ hợp các phần mềm máy tính. Phần mềm được sử dụng

trong kỹ thuật GIS phải bao gồm các tính năng cơ bản sau: nhập và kiểm tra dữ

liệu (Data input); lưu trữ và quản lý CSDL (Geographic database); xuất dữ liệu

(Display and reporting); biến đổi dữ liệu (Data transformation); truy vấn và phân

tích (Query and Analysis).

- Chuyên viên (expertise): Đây là một trong những hợp phần quan trọng của công

nghệ GIS, đòi hỏi những chuyên viên hướng dẫn sử dụng hệ thống để thực hiện

các chức năng phân tích và xử lý các số liệu. Đòi hỏi phải thông thạo về việc lựa

14

chọn các công cụ GIS để sử dụng, có kiến thức về các số liệu đang được sử dụng

và thông hiểu các tiến trình đang và sẽ thực hiện.

- Số liệu, dữ liệu địa lý (geographic data): Số liệu được sử dụng trong GIS không

chỉ là số liệu địa lý (geo-referenced data) riêng lẻ mà còn phải được thiết kế trong

một CSDL (database). Những thông tin địa lý có nghĩa là sẽ bao gồm các dữ kiện

về vị trí địa lý, thuộc tính (attributes) của đối tượng, mối liên hệ không gian

(spatial relationships) của các thông tin, và thời gian. Có 2 dạng số liệu được sử

dụng trong kỹ thuật GIS là:

+ Dữ liệu không gian: là những mô tả hình ảnh bản đồ được số hoá theo một

khuôn dạng nhất định mà máy tính hiểu được. Hệ thống thông tin địa lý

dùng CSDL này để xuất ra các bản đồ trên màn hình hoặc ra các thiết bị

ngoại vi khác như máy in, máy vẽ.

+ Dữ liệu thuộc tính (Attribute): được trình bày dưới dạng các ký tự hoặc số,

hoặc ký hiệu để mô tả các thuộc tính của các thông tin thuộc về địa lý.

- Chính sách và quản lý (policy and management): Ðây là thành phần rất quan

trọng để đảm bảo khả năng hoạt động của hệ thống, là yếu tố quyết định sự thành

công của việc phát triển công nghệ GIS. Hệ thống GIS cần được điều hành bởi

một bộ phận quản lý, bộ phận này phải được tổ chức vận hành hệ thống GIS một

cách có hiệu quả. Để hoạt động thành công, hệ thống GIS phải được đặt trong 1

khung tổ chức phù hợp và có những hướng dẫn cần thiết để quản lý, thu thập, lưu

trữ và phân tích số liệu, đồng thời có khả năng phát triển được hệ thống GIS theo

nhu cầu.

c) Định nghĩa và cấu trúc của WebGIS

Ngày nay Hệ thống thông tin địa lý (GIS – Geographic Information System) đã

phát triển rất mạnh, nó được ứng dụng vào rất nhiều ngành và lĩnh vực khác nhau như

trong quân sự, dự báo thời tiết, bản đồ tìm đường đi, bản đồ địa chất, khoáng sản,…

Cùng với sự bùng nổ của mạng internet toàn cầu và phần cứng máy tính, GIS đã phát

triển công nghệ cho phép chia sẻ các thông tin qua mạng, người sử dụng ở khắp mọi nơi

trên thế giới đều có thể sử dụng các ứng dụng này thông qua internet. Vì vậy mà ứng

dụng WebGIS đã ra đời là tất yếu của sự phát triển từ sự kết hợp ứng dụng các công

nghệ.

15

* Định nghĩa

Theo định nghĩa do tổ chức bản đồ thế giới (Cartophy) đưa ra thì WebGIS

được xem như là một hệ thống thông tin địa lý được phân bố qua môi trường mạng

máy tính để tích hợp, phân phối và truyền tải thông tin địa lý trực tiếp trên Internet.

WebGIS là xu hướng phổ biến thông tin mạnh mẽ trên Internet không chỉ dưới góc

độ thông tin thuộc tính thuần túy mà nó kết hợp được với thông tin không gian hữu ích

cho người sử dụng. WebGIS được xem là một hệ thống thông tin địa lý được phân bố

qua các môi trường mạng máy tính để tích hợp, phân phối và truyền tải thông tin địa lý

trực tuyến thông qua Internet. Người dùng Internet có thể truy cập đến các ứng dụng của

GIS mà không phải mua phần mềm. Ngoài ra, WebGIS còn cho phép thêm các chức

năng của GIS trong các ứng dụng về quản lý, tra cứu thông tin…của giao thông, du lịch,

hành chính, nông nghiệp, môi trường, v.v.

Do đó WebGIS được hiểu là sự kết hợp giữa mạng Internet và công nghệ GIS mà

hình thành nên, WebGIS là hệ thống thông tin địa lý phân tán trên một mạng các máy

tính để tích hợp, trao đổi các thông tin địa lý trên mạng Internet.

Một hệ thống thông tin địa lý được phân tán trên một mạng các máy tính để tích

hợp, trao đổi thông tin địa lý trên mạng Internet được gọi là WebGIS. WebGIS có tiềm

năng lớn trong công việc làm cho thông tin địa lý trở nên hữu dụng và sẵn sàng tới số

lượng lớn người sử dụng trên thế giới. Với việc sử dụng bản đồ trực tuyến, giải pháp

này sẽ giúp khách hàng có thể cập nhật dữ liệu lên bản đồ để phục vụ cho mục đích quản

lý.

* Cấu trúc của hệ thống WebGIS

Hình 1.12: Kiến trúc 3 tầng của một hệ thống WebGIS

Trong cách thực hiện nhiệm vụ phân tích GIS, dịch vụ này gần giống như là kiến

trúc Client-Server (khách-chủ) của ứng dụng Web trên mạng Internet. Xử lý thông tin

Map Server

Web Server Người dùng

CSDL

16

địa lý được chia ra thành các nhiệm vụ ở phía server (chủ) và phía client (khách). Điều

này cho phép người dùng có thể truy xuất, thao tác và nhận kết quả từ việc khai thác dữ

liệu GIS từ trình duyệt Web của họ mà không phải trả tiền cho phần mềm GIS cần phải

cài đặt trên máy tính của họ trong một hệ thống truyền thống. Một client (khách) tiêu

biểu là trình duyệt web và server (máy chủ) bao gồm một WebServer có cung cấp một

chương trình phần mềm WebGIS. Client (khách) thường yêu cầu một ảnh bản đồ hay

vài xử lý thông tin địa lý qua Web đến server (chủ) ở xa. Server (chủ) chuyển đổi yêu

cầu thành mã nội bộ và gọi những chức năng về GIS bằng cách chuyển tiếp yêu cầu tới

phần mềm WebGIS. Phần mềm này trả về kết quả, sau đó kết quả này được định dạng

lại cho việc trình bày bởi trình duyệt. Server sau đó trả về kết quả cho client (khách) để

hiển thị, hoặc gửi dữ liệu và các công cụ phân tích đến client để dùng ở phía client

(khách).

Có thể thấy rằng công nghệ WebGIS có tiềm năng lớn trong việc làm cho thông

tin địa lý trở nên hữu dụng và sẵn sàng tới số lượng lớn người dùng trên toàn thế giới và

ứng dụng của WebGIS có thể tạo ra một hệ thống có khả năng chạy được trên bất kì

trình duyệt web của bất kì máy tính nào nối mạng Internet. Quá trình hoạt động của

WebGIS được minh họa trong hình 1.12 như sau:

- Người dùng sử dụng trình duyệt web ở phía client (khách).

- Client (khách) gửi yêu cầu của người sử dụng đến WebServer (máy chủ Web)

qua giao thức HTTP.

- WebServer nhận yêu cầu của người dùng, nếu là yêu cầu về bản đồ thì

WebServer sẽ chuyển tiếp nó đến ứng dụng server tương ứng ở đây là

MapServer (máy chủ bản đồ).

- MapServer sẽ nhận các yêu cầu cụ thể, gọi các hàm có liên quan để tính toán

xử lý. Nếu có yêu cầu về dữ liệu MapServer sẽ gửi yêu cầu tới cơ sở dữ liệu

để lấy ra dữ liệu.

- Data server (máy chủ dữ liệu) tiến hành truy vấn lấy ra dữ liệu cần thiết và

gửi lại cho MapServer.

- Trong quá trình truy cập cơ sở dữ liệu, MapServer thực thi tham chiếu đến

tập tin cấu hình bản đồ (Map file). Dữ liệu lấy về được chuyển về WebServer

tham chiếu đến tệp tin mẫu (html template) để tạo ra kết quả.

- Kết quả sẽ được gửi về Client và hiển thị trên trình duyệt. Với quy trình hoạt

động như vậy hệ thống WebGIS có thể đáp ứng những nhu cầu của người sử

dụng đó là:

17

+ Khả năng phân phối thông tin địa lý rộng rãi trên toàn cầu, cho phép

phổ biến quản lý và cung cấp thông tin nhanh chóng hiệu quả.

+ Người dùng Internet có thể truy cập đến các ứng dụng GIS mà không

phải mua phần mềm, giúp tiết kiệm chi phí cho người sử dụng.

+ Đối với phần lớn người dùng không có kinh nghiệm về GIS thì việc sử

dụng WebGIS sẽ đơn giản hơn so với việc sử dụng các ứng dụng GIS

khác.

1.2.2 Đặc điểm của một hệ thống WebGIS

* Cho phép quản lý nhiều bản đồ

- Người dùng có thể chọn và mở bất kỳ một bản đồ, chương bản đồ nào nằm

trong CSDL. Có thể bật, tắt các lớp, nhóm các lớp thông tin và xem định nghĩa

hiển thị lớp, thanh tỷ lệ của một bản đồ.

- Thực hiện các thao tác phóng to, thu nhỏ, dịch chuyển, hỏi đáp, tìm kiếm.

- Cho phép chọn lọc, tìm kiếm thông tin

- Đo khoảng cách các đối tượng.

- Xem thông tin thuộc tính và không gian của một đối tượng

- Tìm kiếm đối tượng trên bản đồ.

* Cho phép cập nhật thông tin

- Cập nhật trực tiếp các thông tin thuộc tính của một đối tượng trên trang Web.

- Cập nhật các thông tin không gian trên trang Web.

- Thêm mới một điểm, một đường, một polyline hay polygon, nhằm phục vụ cho

các mục đích thu thập số liệu, điều tra theo dõi trên diện rộng.

- Đồng thời người dùng cũng có thể xoá bỏ trực tiếp các đối tượng trên bản đồ

bằng một thao tác đơn giản ngay trên giao diện Web.

- Khi cần cập nhật, thay đổi thông tin, hệ thống sẽ tự cập nhật và tạo nên biểu đồ

tương ứng.

* Quản trị hệ thống

- Phân quyền cho người dùng các cấp.

- Tính bảo mật hệ thống cao, đảm bảo thông tin trong CSDL được an toàn.

- Khả năng lưu vết của hệ thống, tự tạo ra các log file.

18

1.2.3 Khả năng ứng dụng WebGIS

Trên thế giới công nghệ WebGIS đã được ứng dụng ở nhiều nơi và trong nhiều

lĩnh vực khác nhau như: bản đồ trực tuyến quản lý đất đai, các bản đồ trực tuyến về cảnh

báo thiên tai, lũ lụt.

Tuy nhiên, việc sử dụng chưa đem lại hiệu quả cao, vẫn còn tồn tại một số hạn chế.

WebGIS đã cung cấp các chức năng khai thác thông tin cơ bản như quản lý người sử

dụng, cung cấp những công cụ tương tác với bản đồ, tra cứu, tìm kiếm thông tin trên

bản đồ nhưng còn hạn chế về cách thiết kế giao diện, hình ảnh bản đồ không được sắc

nét sinh động, thiếu mỹ quan. Có những WebGIS có rất nhiều lớp thông tin của bản đồ

được đưa vào nhưng lại không khai thác được hết các thông tin này. Do đó, lớp thông

tin vừa cồng kềnh, làm tốc độ tải dữ liệu bị chậm không đem lại hiệu quả sử dụng. Có

những WebGIS thì chỉ có một vài lớp thông tin bản đồ trong khi các lớp thông tin này

thì có nội dung quá sơ sài, thiếu cụ thể nên rất hạn chế trong việc sử dụng tra cứu thông

tin.

Tại Việt Nam mặc dù các hãng GIS nổi tiếng trên thế giới như ESRI, Intergraph,

MapInfo đã vào thị trường trong nước từ khá lâu nhưng số lượng ứng dụng WebGIS

trên Internet có được lại rất ít, chưa mang lại hiệu quả như mong muốn. Hiện nay, công

nghệ WebGIS vẫn còn ở dạng tiềm năng chưa phát triển ở Việt Nam. Một số địa phương

đã sử dụng công nghệ này để công khai các thông tin trên bản đồ nhưng vẫn còn nhiều

thiếu sót, hạn chế.

Trong nghiên cứu này, tác giả sử dụng kết hợp WebGIS với mạng trí tuệ nhân tạo

hồi tiếp phục vụ cho việc tính toán các yếu tố thủy lực theo thời gian và hiển thị kết quả

trực quan sinh động trên nền bản đồ, giúp người sử dụng xem kết quả một cách nhanh

chóng, thuận tiện và dễ dàng sử dụng cho nhiều đối tượng người dùng (nhà quản lý, nhà

quy hoạch, cán bộ nghiên cứu, sinh viên…), cho nhiều mục đích sử dụng khác nhau.

1.3 Cơ sở dữ liệu

Cơ sở dữ liệu là một hệ thống các thông tin có cấu trúc, được lưu trữ trên các thiết

bị lưu trữ nhằm thỏa mãn yêu cầu khai thác thông tin đồng thời của nhiều người sử dụng

hay nhiều chương trình ứng dụng chạy cùng một lúc với những mục đích khác nhau.

Việc sử dụng hệ thống CSDL này sẽ khắc phục được những khuyết điểm của cách

lưu trữ dưới dạng hệ thống tập tin, đó là:

- Giảm trùng lặp thông tin ở mức thấp nhất, đảm bảo tính nhất quán và toàn

vẹn dữ liệu,

19

- Đảm bảo dữ liệu được truy xuất theo nhiều cách khác nhau, từ nhiều người

khác nhau và nhiều ứng dụng khác nhau,

- Tăng khả năng chia sẻ thông tin.

Tuy nhiên việc sử dụng hệ quản trị CSDL lại có những phiền hà không hề nhỏ sau

đây:

- Phải đảm bảo tính chủ quyền của dữ liệu, vì khi sử dụng có tính chất chia sẻ

cao,

- Bảo mật quyền khai thác thông tin,

- Bảo đảm vấn đề tranh chấp dữ liệu khi xảy ra,

- Khi gặp các trục trặc sự cố thì phải bảo đảm vấn đề an toàn dữ liệu, không bị

mất dữ liệu.

1.3.1 Lựa chọn hệ quản trị cơ sở dữ liệu

Việc xây dựng hệ thống lưu trữ và quản lý dữ liệu là hết sức cần thiết vì dữ liệu

được đề tài thu thập từ nhiều nguồn khác nhau, từ nhiều định dạng khác nhau và phục

vụ cho nhiều mục đích truy cập sử dụng khác nhau cùng lúc của một số lượng lớn người

dùng, cũng như cường độ truy xuất dữ liệu lớn phục vụ cho việc tính toán.

Cơ sở dữ liệu của hệ thống là nguồn gốc tạo nên một hệ thống WebGIS quy mô về

thông tin và khả năng khai thác các thông tin này. Vì vậy việc lựa chọn công nghệ cho

việc quản trị cơ sở dữ liệu cũng rất quan trọng và cần tính tới các yếu tố: dễ sử dụng,

đảm bảo tính tin cậy, sẵn sàng cao, có khả năng chịu lỗi, khả năng nâng cấp mở rộng

lớn.. Bên cạnh đó, vì dữ liệu được đề tài thu thập từ nhiều nguồn khác nhau, từ nhiều

định dạng khác nhau và phục vụ cho nhiều mục đích truy cập sử dụng khác nhau cùng

lúc của một số lượng lớn người dùng, cũng như cường độ truy xuất dữ liệu lớn phục vụ

cho việc tính toán.

Tiêu chuẩn để lựa chọn một cấu trúc CSDL hiệu quả liên quan đến vấn đề khai

thác trong tương lai, bao gồm:

- Thời quan truy xuất dữ liệu đáp ứng cho một yêu cầu khai thác ?

- Thời gian phục hồi CSDL khi có sự cố ?

- Chi phí tổ chức và cài đặt CSDL ?

- Dễ bảo trì, nâng cấp, sửa đổi khi phát sinh những nhu cầu mới hay không ?

20

Đối với việc quản trị cơ sở dữ liệu cho hệ thống cũng có rất nhiều phần mềm ứng

dụng mà thích hợp với MapServer như ArcSDE, My SQL, PostgreSQL, Oracle Spatial.

Sau đây điểm qua một số đặc tính của các hệ quản trị phổ biến:

a) Hệ quản trị cở dữ liệu MySQL

MySQL hỗ trợ nhiều nền tảng khác nhau bao gồm cả Microsoft Windows, các

phiên bản Linux, UNIX, và Mac OS X. MySQL có phiên bản miễn phí và trả phí dựa

trên mục đích sử dụng (không thương mại/thương mại) và tính năng. MySQL nhanh, đa

luồng, đa người sử dụng, mạnh mẽ với database server.

Một số tính năng nổi trội của hệ quản trị cơ sở dữ liệu MySQL như: Hiệu năng

cao; Lợi ích lớn; Khả năng mở rộng và linh hoạt, có thể chạy ở bất cứ đâu; Hỗ trợ “giao

dịch” mạnh mẽ; Tính bảo mật cao; Bao hàm phát triển ứng dụng; Quản lý dễ dàng; Giá

thành rẻ; …

b) Hệ quản trị cở dữ liệu MS SQL Server

MS SQL Server là một RDBMS phát triển bởi Microsoft. Ngôn ngữ truy vấn chính

là T-SQL và ANSI SQL.

Một số tính năng nổi trội của hệ quản trị cơ sở dữ liệu MS SQL Server như sau:

Hiệu năng cao; Có khả năng sử dụng lớn; Phản chiếu trung thực cơ sở dữ liệu; Lưu trữ

nhanh trạng thái cơ sở dữ liệu; CLR integration; Service Broker; DDL triggers; Ranking

functions; Row version-based isolation levels; XML integration; TRY…CATCH;

Database Mail; …

c) Hệ quản trị cở dữ liệu ORACLE

Đây là hệ quản trị cơ sở dữ liệu chủ yếu được sử dụng trong các hệ thống lớn nhiều

người dùng. Oracle là hệ quản trị cơ sở dữ liệu quan hệ phát triển bởi ‘Oracle

Corporation’. Oracle quản lý hiệu quả tài nguyên, thông tin của cơ sở dữ liệu, và xử lý

tốt trong quá trình các client gửi yêu cầu và dữ liệu trong mạng. Nó là sự lựa chọn tuyệt

vời cho các hệ thống quản lý dữ liệu theo mô hình client/server. Oracle hỗ trợ tất cả các

hệ điều hành lớn gồm cả client và server bao gồm Windows, Mac OS, BSD và đa số các

phiên bản UNIX.

Một số tính năng nổi trội của hệ quản trị cơ sở dữ liệu ORACLE như sau: Song

song; Kỹ thuật khóa; Quiesce Database; Khả chuyển; Tự quản lý cơ sở dữ liệu;

SQL*Plus; ASM; Scheduler; Resource Manager (quản lý tài nguyên); Data

Warehousing (Kho chứa dữ liệu); Materialized views; Bitmap indexes; Table

compression; Parallel Execution (thực thi song song); Analytic SQL; Data mining (khai

phá dữ liệu); Partitioning; …

21

d) Hệ quản trị cơ sở dữ liệu MS ACCESS

Đây là một trong những sản phẩm của Microsoft. Microsoft Access là phần mềm

quản lý dữ liệu ở mức độ nhập. MS Access là hệ quản trị cơ sở dữ liệu hoàn toàn phù

hợp với các dự án nhỏ. MS Access sử dụng Jet database engine, dùng ngôn ngữ SQL

riêng (đôi khi được gọi là Jet SQL). MS Access đi cùng với gói MS Office. MS Access

dễ dàng sử dụng bằng giao diện.

Tính năng nổi trội của hệ quản trị cơ sở dữ liệu MS ACCESS như: Người dùng có

thể tạo bảng, truy vấn, form và reports kết nối với nhau; Nhập và xuất dữ liệu với nhiều

định dạng khác nhau như Excel, Outlook, ASCII, dBase, Paradox, FoxPro, SQL Server,

Oracle, ODBC; …

e) Lựa chọn hệ quản trị cơ sở dữ liệu

Sau các phân tích và thử nghiệm, tác giả lựa chọn hệ quản trị CSDL Microsoft

SQL Server 2017 là một hệ quản trị CSDL hiện đại, chạy được trên nhiều nền tảng hệ

điều hành (kể cả Linux), đồng bộ với nền tảng xây dựng phần mềm đã chọn và bộ công

cụ phát triển, đáp ứng được các yêu cầu đề ra của hệ thống và có giải pháp mở rộng tận

dụng dữ liệu dùng chung. Microsoft SQL Server 2017 cho phép hàng ngàn người kết

nối làm việc cùng một lúc, có khả năng trao đổi dữ liệu với các cơ sở dữ liệu khác, đảm

bảo khả năng bảo mật. Các cơ sở dữ liệu có có thể có kích cỡ lớn, có thể ứng dụng theo

mô hình kho dữ liệu.

1.3.2 Quy trình thiết kế cơ sở dữ liệu

a) Thông tin vào/ra quy trình thiết kế

* Thông tin vào

(1) Yêu cầu về thông tin: Dùng CSDL cho vấn đề gì?

Xuất phát từ người sử dụng có nhu cầu và quan điểm như thế nào? Ta cần phải

ghi nhận lại hết. Ở đây chỉ giới hạn ở mức dữ liệu.

(2) Yêu cầu về xử lý: Mỗi nhóm người sử dụng sẽ nêu ra các yêu cầu xử lý của

riêng mình; Tần suất xử lý và khối lượng dữ liệu.

(3) Đặc trưng kỹ thuật của hệ quản trị CSDL cần sử dụng để cài đặt CSDL

(4) Cấu hình thiết bị tin học gì để đáp ứng với (1), (2) và (3).

* Thông tin ra

(1) Cấu trúc quan niệm CSDL

(2) Cấu trúc Logic CSDL

22

(3) Cấu trúc Vật lý CSDL

Hình 1.13: Thông tin vào/ra quy trình thiết kế cơ sở dữ liệu

Hình 1.14: Quy trình thiết kế cơ sở dữ liệu

b) Quy trình thiết kế

* Giai đoạn phân tích nhu cầu

Đây là bước khó nhất trong quá trình thiết kế vì nó được thực hiện thông qua sự

tiếp xúc giữa người thiết kế và người sử dụng. Nội dung của giai đoạn này là:

Quy trình

Cơ sở dữ

liệu

Cấu trúc quan niệm

CSDL

Yêu cầu thông tin

Yêu cầu xử lý

Phần mềm

Phần cứng Cấu trúc Vật lý

CSDL

Cấu trúc Logic

CSDL

Yêu cầu thông tin Yêu cầu xử lý

Phân tích nhu cầu

Bản đặc tả các nhu cầu

Thiết kế quan niệm

Cấu trúc quan niệm

CSDL

Thiết kế logic

Cấu trúc logic CSDL

Thiết kế vật lý

Cấu trúc vật lý CSDL

Đặc trưng kỹ

thuật của phần

mềm

Đặc trưng kỹ

thuật của phần

cứng

Quy trình thiết kế CSDL

23

- Thu thập thông tin về dữ liệu và xử lý từ người sử dụng, từ các tài liệu, chứng

từ, biểu mẫu thống kê liên quan đến CSDL và cả những tài liệu của CSDL cũ

(nếu có).

- Sau khi thu thập phải tổng hợp và phân tích những nhu cầu đó. Kiểm tra xem

có những mâu thuẫn giữa các nhu cầu không?

- Kết quả là phải xác định cho được:

+ Mục tiêu sử dụng, khai thác

+ Nội dung, yêu cầu chi tiết cần thực hiện

- Thời gian đáp ứng và hình thức xử lý:

+ Khối lượng dữ liệu, tần suất khai thác

+ Yêu cầu về tính an toàn và bảo mật.

* Giai đoạn thiết kế quan niệm

Xác định nội dung dữ liệu, mối quan hệ giữa các dữ liệu bên trong CSDL.

Chưa cần quan tâm cách cài đặt. Phải xác định đúng và đầy đủ dữ liệu, loại bỏ các

dữ liệu thừa.

Công cụ: Dùng một mô hình dữ liệu nào đó để biểu diễn tùy người thiết kế.

Cách thực hiện như sau:

Do nhu cầu khai thác, mỗi nhóm người sẽ có những yêu cầu khác nhau về CSDL.

Người thiết kế cần chuyển đầy đủ các yêu cầu vào CSDL. Bằng cách: Phân chia các nhu

cầu ra thành từng mảng. Điều đó dẫn đến sẽ có nhiều mô hình quan niệm dữ liệu, mỗi

mô hình liên quan đến 1 mảng. Cuối cùng cần tích hợp các mô hình đó lại. Khi tổng

hợp, cần phải xác định tất cả các ràng buộc toàn vẹn và tạo ra từ điển dữ liệu.

* Giai đoạn thiết kế logic

Đây là bước chuyển tiếp. Đặc biệt cân nhắc dựa trên nhu cầu xử lý, nghiên cứu

cách sử dụng dữ liệu thông qua xử lý

Các thông tin cần: Tần suất, khối lượng ...

Trong giai đoạn thiết kế quan niệm, dữ liệu cần loại bỏ những thông tin trùng lặp.

Nhưng ở giai đoạn thiết kế logic, cần phải cân nhắc, dựa trên hiệu quả xử lý, để quyết

định có hay không có cài đặt thông tin trùng lắp.

Cách thực hiện:

- Chọn cấu trúc logic gần với phần mềm sẽ sử dụng cài đặt CSDL.

24

- Ở giai đoạn này, người ta thường thể hiện thông tin theo mô hình Quan hệ.

* Giai đoạn thiết kế vật lý

Xây dựng một cấu trúc vật lý phụ thuộc vào phần mềm và cấu hình phần cứng mà

ta đã lựa chọn để cài đặt CSDL.

Giai đoạn này, đơn giản hay phức tạp tùy thuộc vào đặc trưng kỹ thuật của phần

mềm và phần cứng.

Cách thực hiện như sau:

- Chọn lựa phần mềm phù hợp với độ phức tạp của dự án

- Chọn lựa cấu hình phần cứng

- Quyết định những vấn đề liên quan đến An toàn dữ liệu và phục hồi dữ liệu.

+ An toàn dữ liệu: Ai được quyền truy xuất dữ liệu này?

+ Ai được quyền cập nhật dữ liệu này?

+ Phục hồi dữ liệu: Trong mọi sự cố làm hư hỏng dữ liệu, cần phân định

rõ các khối xử lý và lưu trữ tình trạng dữ liệu trước khi thực hiện 1 khối

xử lý, để phục hồi nếu có sự cố.

- Cài đặt vật lý: Xác định

+ Danh mục quan hệ: Có thể gộp hay không gộp các quan hệ tùy thuộc

vào mục đích. Do đó, danh mục quan hệ trong giai đoạn này có thể khác

với danh mục quan hệ trong các giai đoạn đầu.

+ Danh mục chỉ mục quan hệ chính, phụ

+ Vị trí chứa đựng CSDL (trên cùng một Sector, 1 trang hay tùy ý)

+ Trong 1 trang vật lý chứa đựng được bao nhiêu Record.

+ Xác định kích thước bộ nhớ để chứa đựng dữ liệu trong khi làm việc

25

CHƯƠNG II

XÂY DỰNG HỆ THỐNG DỰ BÁO

2.1 Mođun tính bằng mạng thần kinh nhân tạo hồi tiếp

2.1.1 Sơ đồ khối

Hình 2.1: Sơ đồ thuật toán mô hình mạng thần kinh nhân tạo LSTMs

Thiết lập các giá trị đầu cho các tham

số (ma trận trọng số, trạng thái nơron

LSTM, bước học,..)

Các mẫu dữ liệu dùng làm đầu vào để huấn

luyện mô hình

Đánh giá sai số giữa đầu ra tính toán

và thực đo

Tham số tối ưu

Dự báo tập dữ liệu tương lai

Tiêu chuẩn hội tụ

Sai

Đúng

Bắt đầu

Kết thúc

Hiệu chỉnh các tham số

bởi bởi kỹ thuật lan truyền

ngược xuyên thời gian.

(Back Propagation

Through Time - BPTT)

26

Chi tiết các bước thực hiện đã được trình bày ở phần giới thiệu, tuy nhiên còn một

số kỹ thuật xử lý đã được trình bày chi tiết ở các đề tài trước đã từng được nhóm tác giả

thực hiện cũng như không đi sâu trong khuôn khổ đề tài này.

2.1.2 Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo

Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo hiển thị

đường quá trình mực nước, mưa thực đo cùng với đường quá trình dự báo mực nước

tương ứng của trạm.

Dưới đây là giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân

tạo cho một số lưu vực:

Hình 2.2: Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo

và số liệu thực đo

27

2.2 Xây dựng cơ sở dữ liệu về thông tin khí tượng thuỷ văn

2.2.1 Thiết kế cơ sở dữ liệu

Số liệu được thu thập từ nhiều nguồn, nhiều dạng khác nhau, sau đó được xử lý

theo cấu trúc dữ liệu đầu vào của bộ cơ sở dữ liệu, có chứa đầy đủ các thông tin về lưu

vực sông, các trạm đo (thủy văn và khí tượng), các công trình, số liệu mặt cắt, số liệu

mưa, mực nước, lưu lượng.... Mỗi một yếu tố sẽ có một cấu trúc, các thuộc tính của bảng

cơ sở dữ liệu là khác nhau.

Bộ cơ sở dữ liệu được xây dựng cho việc quản lý, sử dụng số liệu để tính toán các

phương án một cách thuận tiện và nhanh chóng.

Sau khi lựa chọn được hệ quản trị cơ sở dữ liệu Microsoft SQL Server 2017 để

quản lý dữ liệu, tác giả tiến hành tổng hợp, phân tích dữ liệu đã thu thập được để thiết

kế cấu trúc của bảng CSDL.

Cấu trúc các bảng dữ liệu mà tác giả lưu giữ trong hệ quản trị CSDL được thiết kế

theo từng loại dữ liệu và được bố trí theo các trường thuộc tính như dưới đây:

a. Cấu trúc bảng dữ liệu lưu vực sông

Bảng 2.1: Cấu trúc bảng dữ liệu lưu vực sông

STT Tên trường Loại dữ liệu Ghi chú

1 BasinID Integer Chỉ số của lưu vực

2 BasinName Text Tên lưu vực

3 BasinLong Real Tọa độ Long

4 BasinLat Real Tọa độ Lat

5 BasinArea Real Diện tích lưu vực

6 BasinArea2 Real Diện tích lưu vực trong lãnh thổ VN

7 BasinStatus Integer Hiện trạng lưu vực

Trong đó:

- BasinID: Các lưu vực sông được sắp xếp và đánh số thứ tự tăng dần.

- BasinName: Tên gọi của các lưu vực sông được đặt theo danh mục các lưu

vực sông tại Việt Nam do nhà nước quy định.

28

- BasinLong: Kinh độ tại vị trí trung tâm của lưu vực sông.

- BasinLat: Vĩ độ tại vị trí trung tâm của lưu vực sông.

- BasinArea: Tổng diện tích lưu vực sông, tính cả phần diện tích thuộc quốc tế

đối với các lưu vực sông liên quốc gia.

- BasinArea2: Là phần diện tích lưu vực nằm trong lãnh thổ nước Việt Nam.

- BasinStatus: Hiện trạng của các lưu vực sông.

+ 0: Lưu vực sông lớn,

+ 1: Lưu vực con thuộc các lưu vực sông lớn.

b. Cấu trúc bảng dữ liệu đê

Bảng 2.2: Cấu trúc bảng dữ liệu đê


1 BankID Integer Chỉ số đê

2 RiverID Integer Chỉ số của sông chứa đê

3 BankTime DateTime Thời gian đo đạc

4 BankDistance Real Khoảng cách giữa hai vị trí

5 BankValue Real Giá trị cao độ

6 BankSide Real Phía sông đo cao độ

Trong đó:

- BankID: Chỉ số đê được sắp xếp và đánh số thứ tự tăng dần.

- RiverID: Chỉ số sông chứa dữ liệu đê.

- BankTime: Thời gian đo đạc dữ liệu đê.

- BankDistance: Khoảng cách giữa hai vị trí đo đạc được cộng dồn theo chiều

dài sông và được tính bằng mét.

- BankValue: Giá trị cao độ đê được đo đạc.

- BankSide: Cao độ đê đo đạc thuộc hai bên bờ sông, trong đó:

+ T: Đê bên tả sông.

+ P: Đê bên hữu sông.

29

c. Cấu trúc bảng dữ liệu sông

Bảng 2.3: Cấu trúc bảng dữ liệu sông


1 RiverID Integer Chỉ số của sông

2 RiverName Text Tên sông

3 BasinID Integer Chỉ số lưu vực chứa sông

4 RiverNote Text Chú thích

Trong đó:

- RiverID: Chỉ số sông được sắp xếp và đánh số thứ tự tăng dần.

- RiverName: Tên gọi sông theo danh mục các lưu vực sông được ban hành.

- BasinID: Tên sông thuộc chỉ số lưu vực sông theo bảng dữ liệu lưu vực sông.

- RiverNote: Thông tin, tên gọi khác, tên địa phương của sông.

d. Cấu trúc bảng dữ liệu công trình

Bảng 2.4: Cấu trúc bảng dữ liệu công trình


1 ConstructionID Integer Chỉ số của công trình

2 ConstructionName Text Tên công trình

3 ConstructionDetail Text Thông tin chi tiết

Trong đó:

- ConstructionID: Chỉ số công trình được sắp xếp và đánh số thứ tự tăng dần.

- ConstructionName: Tên gọi công trình như trạm bơm, cống tưới, tiêu …

- ConstructionDetail: Thông số chi tiết của các công trình.

30

e. Cấu trúc bảng dữ liệu mặt cắt sông

Bảng 2.5: Cấu trúc bảng dữ liệu mặt cắt sông


1 CrossSectionID Integer Chỉ số mặt cắt

2 RiverID Integer Chỉ số sông chứa mặt cắt

3 CrossSectionName Text Tên mặt cắt

4 CrossSectionNick Text Ký hiệu mặt cắt

5 CrossSectionTime DateTime Thời gian đo đạc

6 CrossSectionLong Real Tọa độ Long

7 CrossSectionLat Real Tọa độ Lat

8 CrossSectionDistance Real Khoảng cách giữa hai mặt cắt

Trong đó:

- CrossSectionID: Chỉ số mặt cắt sông được sắp xếp và đánh số thứ tự tăng

dần.

- RiverID: Chỉ số sông chứa mặt cắt sông theo bảng dữ liệu sông.

- CrossSectionName: Tên mặt cắt được đặt theo tên sông và được đánh số theo

thứ tự tăng dần theo chiều dòng chảy.

- CrossSectionNick: Tên viết tắt của mặt cắt sông tương ứng với tên mặt cắt.

- CrossSectionTime: Thời gian đo đạc mặt cắt ngang sông.

- CrossSectionLong: Kinh độ tại vị trí trung tâm của mặt cắt sông.

- CrossSectionLat: Vĩ độ tại vị trí trung tâm của mặt cắt sông

- CrossSectionDistance: Khoảng cách được đo đạc giữa hai mặt cắt sông liên

tiếp theo chiều dòng chảy.

f. Cấu trúc bảng dữ liệu độ ẩm

Bảng 2.6: Cấu trúc bảng dữ liệu độ ẩm


1 HumidityID Integer Chỉ số độ ẩm

2 StationCode Text Ký hiệu trạm

31

3 HumidityTime DateTime Thời gian đo đạc

4 HumidityValue Real Giá trị độ ẩm

5 HumidityNote Text Chú thích

Trong đó:

- HumidityID: Chỉ số giá trị độ ẩm được sắp xếp và đánh số thứ tự tăng dần.

- StationCode: Mã trạm đo đạc thông số độ ẩm theo bảng dữ liệu về trạm đo.

- HumidityTime: Thời gian đo đạc giá trị độ ẩm của trạm đo.

- HumidityValue: Giá trị độ ẩm thực đo tại trạm.

- HumidityNote: Thông tin, chú thích (nếu có).

g. Cấu trúc bảng dữ liệu lưu lượng

Bảng 2.7: Cấu trúc bảng dữ liệu lưu lượng


1 DischargeID Integer Chỉ số giá trị lưu lượng

2 StationCode Text Mã trạm đo đạc

3 DischargeTime DateTime Thời gian đo đạc

4 DischargeValue Real Giá trị lưu lượng

5 DischargeNote Text Chú thích

Trong đó:

- DischargeID: Chỉ số giá trị lưu lượng được sắp xếp và đánh số thứ tự tăng

dần.

- StationCode: Mã trạm đo đạc giá trị lưu lượng theo bảng dữ liệu về trạm đo.

- DischargeTime: Thời gian đo đạc giá trị lưu lượng của trạm đo. Tại mỗi thời

điểm lũ thì sẽ có các chế độ quan trắc khác nhau, lũ lên sẽ quan trắc dày cho

đến khi lũ xuống hoặc những ngày không có lũ.

- DischargeValue: Giá trị lưu lượng thực đo tại trạm. (đơn vị là m3/s)

- DischargeNote: Thông tin, chú thích (nếu có).

32

h. Cấu trúc bảng dữ liệu lượng mưa

Bảng 2.8: Cấu trúc bảng dữ liệu lượng mưa


1 RainID Integer Chỉ số giá trị lượng mưa


3 RainTime DateTime Thời gian đo đạc

4 RainValue Real Giá trị lượng mưa

5 RainNote Text Chú thích

Trong đó:

- RainID: Chỉ số giá trị lượng mưa được sắp xếp và đánh số thứ tự tăng dần.

- StationCode: Mã trạm đo đạc giá trị lượng mưa theo bảng dữ liệu về trạm đo.

- RainTime: Thời gian đo đạc giá trị lượng mưa của trạm đo. Lượng mưa

thường được quan trắc thủ công hoặc lấy tự động tùy thuộc vào cấp trạm và

tầm ảnh hưởng của trạm tới khu vực. Thông thường, lượng mưa được đo 4

giá trị/ngày.

- RainValue: Giá trị lượng mưa thực đo tại trạm. (đơn vị là mm)

- RainNote: Thông tin, chú thích (nếu có).

i. Cấu trúc bảng dữ liệu độ mặn

Bảng 2.9: Cấu trúc bảng dữ liệu độ mặn


1 SalnilityID Integer Chỉ số giá trị độ mặn


3 SalnilityTime DateTime Thời gian đo đạc

4 SalnilityValue Real Giá trị độ ẩm

5 SalnilityNote Text Chú thích

Trong đó:

- SalnilityID: Chỉ số giá trị độ mặn được sắp xếp và đánh số thứ tự tăng dần.

33

- StationCode: Mã trạm đo đạc giá trị độ mặn theo bảng dữ liệu về trạm đo.

- SalnilityTime: Thời gian đo đạc giá trị độ mặn của trạm đo.

- SalnilityValue: Giá trị độ mặn thực đo tại trạm. Độ mặn thường được đo tại

các trạm thuộc vùng cửa biển, đảo hoặc được đo để phục vụ các dự án nghiên

cứu riêng của từng đơn vị. (đơn vị là mg/l)

- SalnilityNote: Thông tin, chú thích (nếu có).

j. Cấu trúc bảng dữ liệu nhiệt độ

Bảng 2.10: Cấu trúc bảng dữ liệu nhiệt độ


1 TemperatureID Integer Chỉ số giá trị nhiệt độ


3 TemperatureTime DateTime Thời gian đo đạc

4 TemperatureValue Real Giá trị nhiệt độ

5 TemperatureNote Text Chú thích

Trong đó:

- TemperatureID: Chỉ số giá trị nhiệt độ được sắp xếp và đánh số thứ tự tăng

dần.

- StationCode: Mã trạm đo đạc giá trị nhiệt độ theo bảng dữ liệu về trạm đo.

- TemperatureTime: Thời gian đo đạc giá trị nhiệt độ của trạm đo.

- TemperatureValue: Giá trị nhiệt độ thực đo tại trạm.

- TemperatureNote: Thông tin, chú thích (nếu có).

k. Cấu trúc bảng dữ liệu mực nước

Bảng 2.11: Cấu trúc bảng dữ liệu mực nước


1 WaterLevelID Integer Chỉ số giá trị mực nước


3 WaterLevelTime DateTime Thời gian đo đạc

4 WaterLevelValue Real Giá trị mực nước

34

5 WaterLevelNote Text Chú thích

Trong đó:

- WaterLevelID: Chỉ số giá trị mực nước được sắp xếp và đánh số thứ tự tăng

dần.

- StationCode: Mã trạm đo đạc giá trị mực nước theo bảng dữ liệu về trạm đo.

- WaterLevelTime: Thời gian đo đạc giá trị mực nước của trạm đo. Tại mỗi

thời điểm lũ thì sẽ có các chế độ quan trắc khác nhau, lũ lên sẽ quan trắc dày

cho đến khi lũ rút hoặc những ngày không có lũ.

- WaterLevelValue: Giá trị mực nước thực đo tại trạm. (đơn vị là mét)

- WaterLevelNote: Thông tin, chú thích (nếu có).

l. Cấu trúc bảng dữ liệu trạm thủy văn

Bảng 2.12: Cấu trúc bảng dữ liệu trạm thủy văn


1 StationID Integer Chỉ số trạm

2 StationKind Integer Loại trạm

3 StationLevel Integer Hạng trạm

4 StationName Text Tên trạm

5 StationNameEN Text Tên gọi trạm theo quốc tế

6 StationCode Text Mã trạm

7 StationLong Real Tọa độ Long

8 StationLat Real Tọa độ Lat

9 BasinID Integer Chỉ số lưu vực

10 BasinID2 Integer Chỉ số lưu vực con

11 StationDataStatus Text Hiện trạng trạm

12 StationDataSource Text Thông tin nguồn dữ liệu

Trong đó:

- StationID: Chỉ số trạm đo được sắp xếp và đánh số thứ tự tăng dần.

- StationKind: Loại trạm đo được phân loại như sau:

+ 1: Trạm thủy văn

35

+ 2: Trạm khí tượng

- StationLevel: Hạng trạm sẽ cho biết các đại lượng mà trạm đo đạc, hạng trạm

được phân loại như sau:

+ Loại 1: Theo dõi chế độ thuỷ lực sông, yếu tố quan trắc bao gồm: Mực

nước, lưu lượng nước, hàm lượng chất lơ lửng, nhiệt độ nước, nhiệt độ

không khí, mưa.

+ Loại 2: Theo dõi chế độ thuỷ lực sông, yếu tố quan trắc bao gồm: Mực

nước, lưu lượng nước, nhiệt độ nước, nhiệt độ không khí, mưa.

+ Loại 3: Theo dõi chế độ thuỷ lực sông, Yếu tố quan trắc bao gồm: Mực

nước, nhiệt độ nước, nhiệt độ không khí, mưa.

+ Hồ chứa: Trạm đo phục vụ quy trình vận hành hồ chứa.

+ Địa phương: Trạm đo do tác giả đặt để phục vụ tính toán.

- StationName: Tên gọi trạm đo tiếng Việt.

- StationNameEN: Tên gọi trạm đo không dấu theo quốc tế.

- StationCode: Mã trạm đo theo mã quốc gia đã được quy định.

- StationLong: Kinh độ tại vị trí trạm đo.

- StationLat: Vĩ độ tại vị trí trạm đo.

- BasinID: Trạm đo thuộc lưu vực sông lớn trong bảng danh mục lưu vực sông.

- BasinID2: Trạm đo thuộc lưu vực sông nhỏ nhưng cũng thuộc một lưu vực

sông lớn trong bảng danh mục lưu vực sông.

- StationDataStatus: Hiện trạng, thông tin trạm được phân loại như sau:

+ 0: Đang khai thác,

+ 1: Đang sửa chữa,

+ 2: Dự kiến xây dựng,

+ 3: Ngừng quan trắc.

- StationDataSource: Danh mục các trạm đo được tổng hợp từ nhiều nguồn,

nhiều cơ quan khác nhau như:

+ 1: Cục quản lý tài nguyên nước,

+ 2: Trung tâm khí tượng thủy văn quốc gia,

+ 3: Hệ thống cơ sở dữ liệu thủy lợi Việt Nam.

36

2.2.2 Nhập dữ liệu vào cơ sở dữ liệu

Dữ liệu được thu thập gồm nhiều dạng thông tin có các cấu trúc dữ liệu khác nhau,

do đó, sau khi xây dựng được cấu trúc các bảng cơ sở dữ liệu như: trạm thủy văn, lưu

vực sông, công trình, mực nước, lượng mưa, lưu lượng,… cần xử lý số liệu cho đồng

nhất, đúng yêu cầu đầu vào theo cấu trúc bảng cơ sở dữ liệu.

Dưới đây là các yếu tố cần xác định khi xử lý dữ liệu:

- Thông tin thư mục: phân loại dữ liệu vào các nhóm riêng.

- Các đặc thù mô tả vật lý: số lượng trang, khổ cỡ, kích thước file, tài liệu kèm

theo, đặc điểm dữ liệu, thành phần dữ liệu

- Thông tin về quản lý: đánh chỉ số dữ liệu, gán các đặc tính, đồng bộ với hệ

thống quốc gia và quốc tế

- Thông tin về nội dung: Các tọa độ, số liệu đo, số liệu tính toán, các đặc trưng

riêng

- Trách nhiệm về nội dung xử lý: người xử lý, người biên tập, địa chỉ chứa file

dữ liệu

Các bước xử lý dữ liệu cần được hoàn thiện, chuẩn hóa cấu trúc sau đó được cập

nhật lên hệ quản trị CSDL Microsoft SQL Server 2017. Đây là hệ quản trị CSDL có

nhiều ưu điểm nổi bật mà tác giả đã trình bày trong phần lựa chọn hệ quản trị CSDL.

Dưới đây là ví dụ về bảng dữ dữ liệu giá trị mực nước khi đã đưa vào trong hệ

thống cơ sở dữ liệu:

Hình 2.3: Nhập dữ liệu mực nước vào hệ quản trị CSDL

37

2.2.3 Thống kê kết quả nhập liệu lên cơ sở dữ liệu

Với khối lượng dữ liệu khí tượng – thủy văn, đặc trưng lưu vực sông… được tổng

hợp trên phạm vi cả nước và kéo dài trong nhiều năm đã được đưa lên hệ quản trị CSDL.

Dưới đây là bảng thống kê kết quả nhập liệu vào hệ quản trị CSDL.

Bảng 2.13: Bảng thống kê dữ liệu được nhập vào hệ thống cơ sở dữ liệu

STT Dữ liệu Số lượng

Dạng dữ

liệu/Đơn

vị

Ghi chú

1 Hệ thống các lưu vực sông

Việt Nam 19 Bản đồ

Bản đồ theo từng

lưu vực sông

2 Hệ thống trạm khí tượng –

thủy văn 802 Trạm

Dữ liệu trạm/Bản đồ

trạm

3 Hệ thống đường giao thông

quốc lộ Việt Nam 128 Đường

Lớp bản đồ toàn bộ

đường quốc lộ VN

4 Mạng lưới sông ngòi Việt

Nam 2,360 Sông

Lớp bản đồ toàn bộ

sông >10km tại VN

5 Dữ liệu mặt cắt sông 342,781 Giá trị Bản đồ theo từng

lưu vực

6 Dữ liệu về ô chứa/ô ruộng 10,556 Giá trị Bản đồ theo từng

lưu vực

7 Dữ liệu thông tin về cao độ đê 16,068 Giá trị

8 Dữ liệu thông tin về đường

tràn giữa các ô 4,776 Giá trị

9 Dữ liệu mực nước 5,260,139 Giá trị

10 Dữ liệu lưu lượng 104,536 Giá trị

11 Dữ liệu mưa 857,592 Giá trị

38

Thống kê dữ liệu bản đồ

STT Loại bản đồ Tỷ lệ

1 Bản đồ cao độ lưu vực sông Hồng-Thái Bình 1/50.000

2 Bản đồ cao độ châu thổ sông Hồng-Thái Bình 1/25.000

3 Bản đồ cao độ vịnh Bắc bộ 1/50.000

4 Bản đồ giao thông 1/100.000

5 Bản đồ lưu vực sông toàn Việt Nam 1/100.000

6 Bản đồ mạng lưới trạm khí tượng thủy văn 1/100.000

Dưới đây là một số bản đồ tác giả đã thu thập để đáp ứng nội dung cho đề tài.

Hình 2.4: Bản đồ lưu vực sông toàn lãnh thổ Việt Nam

39

Hình 2.5: Bản đồ cao độ một phần vùng châu thổ sông Hồng

Hình 2.6: Bản đồ đường giao thông

S«ng Hång

S«ng Cµ Lå

S«ng §µ

S«ng L«

S«ng H¹ lý

S«ng Hµn

S«ng Hµ

S«ng Tam b¹ c

B¾c Giang

H ng Yª n

Hµ T©y

Thanh Ho¸

TP. Hµ Néi

Th¸ i B×nh

Hoµ B×nh

H¶i D ¬ng

B¾c Ninh

Phó Thä

Tuyª n Quang

VÜnh Phóc

Th¸ i Nguyª n

L¹ ng S¬n

TP. H¶i Phßng

Hµ Nam

Qu¶ng Ninh

40

2.3 Xây dựng hệ thống thông tin địa lý trực tuyến WebGIS

2.3.1 Phương pháp xử lý dữ liệu bản đồ và kết quả

a, Phương pháp xử lý

Đề xây dựng hệ thống thông tin địa lý trực tuyến tác giả đã thu thập dữ liệu bản đồ

nhiều nguồn khác nhau. Công việc xử lý bản đồ khá vất vả với nhiều lớp bản đồ phức

tạp cũng như sự đòi hỏi chi tiết số liệu tương ứng để phục vụ đề tài.

Chúng tôi sử dụng QGIS (tên gọi trước đây là Quantum GIS) là một phần mềm

GIS mã nguồn mở mạnh và dễ sử dụng, chạy trên nền hệ điều hành Windows để biên

tập, xử lý bản đồ.

- Bản đồ lưu vực sông bao gồm16 lưu vực sông lớn trên toàn lãnh thổ Việt Nam.

Đây là lớp bản đồ tổng quát cho người dùng có thể khái quát và dễ dàng thực hiện các

thao tác lựa chọn lưu vực tính toán.

- Đối với bản đồ từng lưu vực sông, sử dụng các kỹ năng xử lý bản đồ cùng các

kinh nghiệm phân tích, chia ô ruộng dựa vào cao độ các đường giao thông của lưu vực.

Các lớp mặt cắt sông tương ứng sẽ được đưa vào bản đồ phục vụ cho các phương án

tính toán của đề tài. Các ô ruộng đều được đặt tên đánh số cho đồng nhất tại mỗi lưu

vực, các mặt cắt ngang được đặt tên theo các sông và được đánh số theo thứ tự tăng dần

từ thượng nguồn ra đến hạ du, cửa biển.

- Lớp bản đồ thống kê toàn bộ trạm khí tượng và trạm thủy văn trên toàn lãnh thổ

Việt Nam. Tác giả đã tổng hợp được bản đồ các trạm đo bao gồm: 365 trạm thủy văn và

437 trạm khí tượng trên toàn lãnh thổ Việt Nam gồm cả các đảo, quần đảo lớn nhỏ thuộc

nước Việt Nam. Các trạm đo đã được xử lý, phân loại theo nhiều hạng trước khi cập

nhật vào bản đồ lưu vực sông.

Tất cả các dữ liệu đều được chuyển đổi về tọa độ chuẩn trên hệ tọa độ WGS 1984

Zone 48N.

b, Kết quả

Sau khi kết hợp các phương pháp và xử lý theo yêu cầu đầu vào của hệ thống, hệ

thống các bản đồ trong từng lưu vực được cập nhật lên hệ thống WebGis như sau:

41

Hình 2.7: Bản đồ chia ô vùng đồng bằng châu thổ sông Hồng

Bản đồ đồng bằng châu thổ sông Hồng đã được chia 310 ô ruộng cùng với mạng

lưới sông tương ứng là các mặt cắt ngang sông thuộc đồng bằng châu thổ sông Hồng.

Đây là hệ thống sông lớn với hơn 930 mặt cắt ngang sông được đưa vào hệ thống sông

phục vụ nhu cầu tính toán thuỷ lực cho toàn mạng sông.

42

Hình 2.8: Bản đồ chia ô ruộng lưu vực Tích Bùi

Bản đồ lưu vực sông Tích - Bùi với 62 ô ruộng được thiết lập để tính toán thử

nghiệm các phương án ngập lụt cho khu vực. Bởi đây là khu vực nóng trong những năm

gần đây về việc ngập diện rộng kéo dài. Mạng lưới mặt cắt bao gồm 3 nhánh sông chính

là sông Tích, sông Bùi, sông Đáy với tổng số hơn 80 mặt cắt ngang đã được đưa vào cơ

sở dữ liệu và cập nhật lên hệ thống thông tin địa lý trực tuyến.

43

Hình 2.9: Bản đồ chia ô ruộng lưu vực Tam Kỳ

Lưu vực sông Tam Kỳ là một phần của hệ thống lưu vực sông Vu Gia – Thu Bồn,

đây là một lưu vực sông nhỏ tuy nhiên mạng lưới sông dày đặc với những đặc trưng

thủy văn của vùng cửa biển. Lưu vực sông Tam Kỳ được chia với 31 ô ruộng với 87 mặt

cắt được phân bố trên nhiều nhánh sông nhỏ được tác giả đặt tên sao cho thuận tiện để

sơ đồ hóa vào mô hình như: sông Tam Kỳ, Trường Giang, Bàn Thạch, Chò 1, Chò 2,

Chò 3, Chò 4, Chò 5, Chò 6.

44

Dưới đây là bản đồ mạng lưới các trạm khí tượng, thủy văn trên phạm vi toàn quốc.

Hình 2.10: Bản đồ mạng lưới trạm trên toàn lãnh thổ Việt Nam

2.3.2 Hệ thống thông tin địa lý trực tuyến

Các bản đồ chuyên đề chi tiết 16 lưu vực sông lớn và các lưu vực sông nhỏ được

cập nhật lên hệ thống thông tin địa lý trực tuyến. Giao diện của hệ thống với các chức

năng cho phép người dùng zoom, lựa chọn lưu vực, lựa chọn các trạm, .v.v theo nhu cầu

sử dụng như hình 2.11 dưới đây.

Ở bảng điều khiển bên trái cho phép di chuyển bản đồ lên trên, xuống

dưới, qua trái, qua phải tùy theo nhu cầu sử dụng của người dùng.

Người dùng phóng to, thu nhỏ bản đồ bằng nút bấm phía dưới bảng di chuyển.

45

Hình 2.11: Bản đồ các lưu vực sông trên hệ thống thông tin địa lý trực tuyến

Người dùng lựa chọn lưu vực sông theo danh sách 19 lưu vực sông có sẵn được

tác giả phân chia. Việc lựa chọn lưu vực sông chỉ cần click chuột vào dòng “Lựa chọn

lưu vực” bên góc phải cửa sổ sẽ hiển thị các lưu vực sông để người dùng chọn lựa bằng

cách click chuột vào tên lưu vực cần. Các lưu vực sông được chọn sẽ hiển thị ra ngoài

màn hình làm việc phục vụ nhu cầu tính toán cho người dùng.

Hình 2.12: Danh sách các lưu vực sông trên hệ thống thông tin địa lý

Ứng với các lưu vực sông được chọn, các trạm khí tượng và trạm thủy văn sẽ được

hiển thị tương ứng. Người dùng có thể chọn click chuột để lựa các trạm để xem thêm

một vài thông tin cơ bản của trạm. Với đồng bằng châu thổ sông Hồng, khi người dùng

46

chọn trạm thủy văn Hà Nội thì các trạm thủy văn như Hòa Bình, Yên Bái, Hàm Yên, Na

Hang …. sẽ được tô màu vàng thể hiện mối tương quan giữa các trạm trong cùng một

lưu vực. Mối quan hệ này được thiết lập thành một bảng trong cơ sở dữ liệu.

Hình 2.13: Các trạm có sự tác động đến trạm thủy văn Hà Nội

2.4 Xây dựng hệ thống dự báo

2.4.1 Cấu trúc của hệ thống dự báo

Tuân theo kiến trúc 3 tầng của WebGIS đã trình bày ở trên, tác giả đã xây dựng hệ

thống dự báo trực tuyến có sơ đồ như hình 2.14. Tuy nhiên, ngoài các lớp tiêu chuẩn,

mô hình được xây dựng thêm lõi tính toán là môđun mạng thần kinh nhân tạo hồi tiếp.

Các giao tiếp dữ liệu điều phối theo từng nhu cầu cụ thể khi tính toán hoặc truy vấn dữ

liệu hoặc hiển thị bản đồ GIS.

47

Hình 2.14: Sơ đồ hoạt động hệ thống dự báo trực tuyến

Quá trình hoạt động của hệ thống dự báo trực tuyến được mô tả như sau:

- Người dùng sử dụng trình duyệt web ở phía client (khách).

- Client (khách) gửi yêu cầu của người sử dụng đến WebServer (máy chủ Web).

WebServer nhận yêu cầu của người dùng và chuyển yêu cầu đến các ứng dụng Server

tương ứng.

- Các hệ thống WebServer, DataServer và MapServer có thể hoạt động tách biệt

hoặc tương tác lẫn nhau, tương ứng với mỗi yêu cầu sử dụng của người dùng.

+ Khi người dùng yêu cầu truy cập bản đồ, WebServer gửi yêu cầu đến

MapServer và MapServer sẽ chuyển dữ liệu và hiển thị kết quả tại

WebServer.

+ Khi người dùng muốn truy cập dữ liệu, WebServer gửi yêu cầu đến

DataServer bằng cách click chuột vào những vị trí muốn hiển thị thông tin và

dữ liệu sẽ được DataServer chuyển đến WebServer hiển thị thông tin dữ liệu

cho người dùng.

+ Khi người dùng yêu cầu về tính toán thì WebServer sẽ chuyển yêu cầu đến

ứng dụng Mạng thần kinh nhân tạo, tại đây dữ liệu sẽ được DataServer

Client

Data

Server

Mạng thần

kinh nhân

tạo hồi tiếp

Web

Server

Map

Server

48

chuyển đến và thực hiện tính toán tại phần lõi tính là Mạng thần kinh nhân

tạo, sau đó kết quả sẽ được hiển thị trên Mapserver.

- Kết quả sẽ được gửi về người dùng và hiển thị trên trình duyệt.

2.4.2 Giao diện của hệ thống dự báo

Hệ thống dự báo trực tuyến này sẽ được được đưa vào khai thác và sử dụng trên

mạng Internet thông qua các trình duyệt web nên nó sẽ có một số thuộc tính tương tự

như một trang web thông thường. Hệ thống dự báo gồm nhiều lớp khác nhau, nên giao

diện của hệ thống sẽ được thiết kế sao cho phù hợp với việc tương tác với các lớp thông

tin bản đồ các lưu vực và khai thác hiệu quả dữ liệu của các lớp thông tin trong từng lưu

vực.

Hệ thống dự báo trực tuyến được sử dụng trên các trình duyệt web tại địa chỉ

https://dubao.imech.info. Dưới đây là giao diện trang web khi mở đường link bằng trình

duyệt Google Chrome.

Hình 2.15: Giao diện hiển thị các hệ thống sông Việt Nam

Dựa trên độ lớn diện tích > 10.000 km2 thì trên toàn lãnh thổ Việt Nam được chia

làm 16 lưu vực sông. Ngoài ra, nhóm thực hiện đề tài đã sử dụng số liệu đã thu thập

được từ những đề tài nghiên cứu khoa học trước đây của tập thể cán bộ phòng Thủy

động lực và giảm nhẹ thiên tai của Viện Cơ học, sử dụng thêm một số tiểu lưu vực con

https://dubao.imech.info/

49

để tính toán thử nghiệm mô hình dự báo, bổ sung thêm các lưu vực sông như là: vùng

đồng bằng châu thổ sông Hồng, lưu vực sông Tích – Bùi, lưu vực sông Tam Kỳ.

Dưới đây là bản đồ WebGIS của một số lưu vực sông sẽ được sử dụng để tính toán

thử nghiệm mô hình dự báo trực tuyến.

Hình 2.16: Bản đồ WebGIS vùng đồng bằng châu thổ sông Hồng

50

Hình 2.17: Bản đồ WebGIS lưu vực sông Tích – Bùi

Hình 2.18: Bản đồ WebGIS lưu vực sông Tam Kỳ

51

2.4.3 Kỹ thuật hỗ trợ

a) Giải pháp về thiết kế giao diện

Hệ thống dự báo trực tuyến được xây dựng dựa trên nền công nghệ Web và thiết

kế theo nguyên tắc thống nhất, dễ sử dụng và hướng tới người dùng. Các trang Web sẽ

tuân theo chuẩn HTML 5.0, CSS và các tiêu chuẩn được quy định bởi Tổ chức mạng

toàn cầu.

Giao diện trang web sử dụng giao diện hiển thị Responsive, tương thích với mọi

trình duyệt và màn hình hiển thị của máy tính để bàn, máy tính bảng cũng như các thiết

bị di dộng. Trang web có thể truy cập dễ dàng bằng tất cả các thiết bị nên đáp ứng được

nhu cầu của nhiều đối tượng sử dụng. Do có thể quản lí nhiều hiển thị chỉ với một lần

chỉnh sửa nên giảm chi phí và thời gian thiết kế cho nhiều loại màn hình, tối ưu hoá với

các bộ máy tìm kiếm (cải thiện SEO) cho website.

b) Giải pháp an toàn, bảo mật

Dù với kinh phí hạn chế, khi thiết lập hệ thống trực tuyến cũng cần đảm bảo các

yếu tố an toàn và bảo mật. Ngoài việc sử dụng máy chủ riêng được ảo hoá trên nền điện

toán đám mây (hiện nay với chi phí rất rẻ) đảm bảo độ mở rộng theo nhu cầu cũng như

đảm bảo sao lưu tốt. Ngoài ra, để đảm bảo yếu tố bảo mật, hệ thống sử dụng miễn phí

dịch vụ DNS của Cloudflare miễn phí có chức năng phân giải tên miền nhanh, hỗ trợ

CDN, tường lửa hạn chế tấn công từ chối dịch vụ DDoS và Spam, cũng như mã hoá dữ

liệu truyền tải SSL. Ngoài ra, máy chủ web cũng được thiết lập hệ thống tường lửa và

cài đặt các chương trình diệt virus riêng.

52

CHƯƠNG III

THỬ NGHIỆM HỆ THỐNG DỰ BÁO CHO MỘT SỐ LƯU VỰC

3.1 Kết quả dự báo mực nước đồng bằng châu thổ sông Hồng

Đồng bằng châu thổ sông Hồng trải rộng từ vĩ độ 21°34´B (huyện Lập Thạch) tới

vùng bãi bồi khoảng 19°5´B (huyện Kim Sơn), từ 105°17´Đ (huyện Ba Vì) đến 107°7´Đ

(trên đảo Cát Bà).

Toàn vùng có diện tích trên 14.860 km², tỷ lệ khoảng 4,5% tổng diện tích cả nước.

Khu vực này bao gồm 10 tỉnh, thành phố: Hà Nội, Hải Phòng, Vĩnh Phúc, Hà Nam,

Hưng Yên, Hải Dương, Bắc Ninh, Thái Bình, Nam Định và Ninh Bình.

- Phía Bắc, Đông Bắc giáp Trung du và miền núi Bắc Bộ.

- Phía Tây giáp Tây Bắc.

- Phía Nam giáp Bắc Trung Bộ.

- Phía Đông giáp Vịnh Bắc Bộ.

Đồng bằng sông Hồng có một mạng lưới sông ngòi dày đặc vừa bao gồm hạ lưu

các sông lớn với các chi lưu dày đặc, vừa là hệ thống kênh đào, có sông đổ ra biển,

nhưng cũng có sông chỉ chảy trong phạm vi một ô trũng, gọi là sông nội địa. Đồng bằng

sông Hồng tuy có nhiều sông nhưng quan trọng nhất là hệ thống sông Hồng và sông

Thái Bình. Hai hệ thống sông này cung cấp một lượng nước ngọt lớn và lượng phù sa

cao cho đồng bằng. Tuy vậy, chế độ thủy văn và hải văn của đồng bằng sông Hồng khiến

cho vấn đề chống lũ lụt, chống úng và chống mặn là những mối quan tâm hàng đầu của

cư dân nơi đây mà biện pháp an toàn nhất là đắp đê. Vì thế tuy đắp đê, giữ đê là một

công trình rất vất vả, tốn kém, cư dân đồng bằng sông Hồng từ xa xưa đến nay vẫn phải

tự tổ chức sao cho có thể tiến hành việc đắp đê được vững chắc.

Có thể thấy rằng vị trí địa lý tại đồng bằng sông Hồng thuận lợi cho lưu thông, trao

đổi với các vùng khác và thế giới. Nơi đây có nguồn đất phù sa được bồi đắp bởi sông

Hồng là nguồn tài nguyên quý nhất, phù hợp cho việc canh tác, đặc biệt là trồng lúa

nước của nhân dân trong vùng. Vùng đồng bằng châu thổ sông Hồng đã và đang là vùng

kinh tế trọng điểm, sản xuất lúa gạo lớn thứ 2 cả nước, chỉ sau đồng bằng sông Cửu

Long.

https://vi.wikipedia.org/wiki/L%E1%BA%ADp_Th%E1%BA%A1ch

https://vi.wikipedia.org/wiki/Kim_S%C6%A1n

https://vi.wikipedia.org/wiki/Ba_V%C3%AC

53

Hình 3.1: Vị trí địa lý vùng đồng bằng châu thổ sông Hồng – Thái Bình

Hàng năm, từ 15 tháng 6 đến 15 tháng 9 cư dân vùng châu thổ sông Hồng - Thái

Bình luôn sống trong tình trạng bị uy hiếp bởi nạn lũ lụt. Để chủ động phòng tránh và

hạn chế các tác hại, song song với việc phát triển kinh tế, chúng ta phải luôn luôn tìm

kiếm các biện pháp hữu hiệu đối phó với lũ lụt.

Tập thể nghiên cứu lũ lụt Viện Cơ học đã xây dựng và phát triển nhiều mô hình

thủy lực nhằm mô phỏng và dự báo các yếu tố thủy văn thủy lực, từ đó phục vụ cho việc

đề xuất, đánh giá và điều hành phòng chống lụt bão. Trong nghiên cứu này sử dụng lại

một phần số liệu của mô hình thủy lực đã phát triển để tính toán, thử “dự báo” lại mực

nước tại trạm Hà Nội trong hệ thống.

Với đặc điểm tự nhiên là có nhiều con sông lớn như sông Đà, sông Thao, sông Lô,

cùng với việc phát triển thủy điện tại khu vực. Với những trận lũ lớn và đặc biệt là những

trận lũ lớn lịch sử đã để lại những hậu quả nghiêm trọng cho đồng bằng châu thổ sông

54

Hồng. Từ đó, nhiều khu phân phân chậm lũ, khu trữ nước đã được xây dựng với mục

đích bảo vệ nội đô thành phố Hà Nội. Do đó, việc dự báo mực nước lũ và cảnh báo nguy

cơ ngập lụt của vùng là việc thiết thực nhất trong bối cảnh thời tiết có những biến chuyển

bất thường, thay đổi liên tục.

Để xây dựng phần mềm dự báo và cảnh báo ngập lụt trực tuyến, vùng đồng bằng

châu thổ sông Hồng được chia thành các ô ruộng dựa trên đặc điểm địa hình, giao thông

của vùng. Các thông số được mô hình hóa, đưa vào mô hình để có thể mô phỏng chính

xác hiện trạng của vùng. Bản đồ vùng đồng bằng châu thổ sông Hồng được chia thành

310 ô ruộng với hơn 930 mặt cắt ngang cho toàn hệ thống sông phục vụ cho các bài tính

toán thủy lực, dự báo ngập lụt như hình 2.7 đã được đề cập trong mục 2.3

Với 4 tín hiệu đầu vào là Hòa Bình, Yên Bái, Hàm Yên, Na Hang, sau khi đã sử

dụng các bộ số liệu quá khứ để huấn luyện mạng, tác giả thu được bộ ma trận trọng số

để dự báo lại mực nước trạm Hà Nội trong mùa lũ các năm 2015, 2016, 2017, 2018 và

2019. Một số dữ liệu khác ảnh hưởng đến mực nước Hà Nội ví dụ như mực nước biên

dưới ở Hưng Yên,… do không có điều kiện thu thập số liệu nên bỏ qua trong nghiên

cứu này.

Hình 3.2: Bản đồ vùng đồng bằng châu thổ sông Hồng

Dưới đây là kết quả thực đo và dự báo lại mực nước tại trạm Hà Nội trong các năm

2015, 2016, 2017, 2018, 2019.

55

Hình 3.3: Đồ thị mực nước thực đo và dự báo trạm Hà Nội từ ngày 15/6/2015 đến

15/9/2015


15/9/2016

0

1

2

3

4

5

6

7

6/1/2015 0:00 6/21/2015 0:00 7/11/2015 0:00 7/31/2015 0:00 8/20/2015 0:00 9/9/2015 0:00 9/29/2015 0:00

Mự

c n

ướ

c (m

)

Thời gian

Thực đo Dự báo

0

1

2

3

4

5

6

7

8

6/5/2016 0:00 6/25/2016 0:00 7/15/2016 0:00 8/4/2016 0:00 8/24/2016 0:00 9/13/2016 0:00 10/3/2016 0:00

Mự

c nư

ớc

(m)

Thời gian


56


15/9/2017


15/9/2018

0

1

2

3

4

5

6

7

8

9

10

5/31/2017 0:00 6/24/2017 0:00 7/18/2017 0:00 8/11/2017 0:00 9/4/2017 0:00 9/28/2017 0:00

Mự

c n

ướ

c (m

)

Thời gian


0

1

2

3

4

5

6

7

8

9

6/9/2018 0:00 6/29/2018 0:00 7/19/2018 0:00 8/8/2018 0:00 8/28/2018 0:00 9/17/2018 0:00 10/7/2018 0:00

Mự

c nư

ớc

(m)

Thời gian


57


15/9/2019

Bảng 3.1: Bảng chỉ số NSE các phương án tính cho đồng bằng châu thổ sông Hồng

Phương án

tính Chỉ số NSE Đánh giá

2015 0.8623 Tốt

2016 0.8695 Tốt

2017 0.9349 Tốt

2018 0.9158 Tốt

2019 0.8523 Tốt

Nhận xét: Sử dụng chỉ số NSE để đánh giá độ chính xác của kết quả dự báo mực

nước tại trạm Hà Nội. Các kết quả dự báo đều đạt mức Tốt, nhưng qua chỉ số NSE và

đồ thị mực nước các năm 2015, 2016, 2019, ta thấy kết quả kém hơn các năm 2017,

2018 khi lưu lượng từ thượng nguồn lớn, ảnh hưởng bởi thủy triều đến trạm Hà Nội ít.

Do đó cần bổ sung các trạm ảnh hưởng khác hoặc thay đổi cấu trúc mạng và đưa vào

mô hình để “học lại”, cho ra bộ ma trận trọng số tốt hơn, phục vụ cho các mùa lũ sắp

tới.

0

1

2

3

4

5

6

6/4/2019 0:00 6/24/2019 0:00 7/14/2019 0:00 8/3/2019 0:00 8/23/2019 0:00 9/12/2019 0:00 10/2/2019 0:00

Mự

c n

ướ

c (m

)

Thời gian


58

3.2 Kết quả dự báo mực nước cho lưu vực sông Tích – Bùi

Lưu vực sông Tích Bùi là một lưu vực sông nhỏ thuộc hệ thống sông Hồng – Thái

Bình nhưng có vai trò quan trọng trong hoạt động sản xuất phía Tây thành phố Hà Nội.

Lưu vực sông Tích các năm gần đây liên tục có nước lũ dâng cao do chủ yếu do mưa

nội vùng gây ra ngập lụt trên diện rộng.

Chính vì vậy, việc lựa chọn lưu vực sông Tích Bùi để thử nghiệm hệ thống dự báo

mực nước bằng mạng thần kinh nhân tạo hồi tiếp là hoàn toàn phù hợp, nhằm tìm ra một

công cụ mới giúp các nhà quản lý có được những kết quả một cách nhanh chóng và

chính xác để có thể đưa ra những phương án kịp thời.

Hình 3.8: Phạm vi nghiên cứu thuộc lưu vực sông Tích – Bùi

Lưu vực sông Tích - Bùi nằm giữa các lưu vực sông sau:

- Phía Tây Bắc: sông Đà

- Phía Bắc: Sông Hồng

- Phía Đông: sông Đáy

- Phía Tây và Tây Nam: phân lưu sông Đà và sông Hoàng Long

Trong vùng nghiên cứu bị ảnh hưởng bởi 8 trạm mưa Việt Trì, Trung Hà, Ba Vì, Hòa

Bình, Sơn Tây KT, Sơn Tây TV, Hoài Đức, Ba Thá. Đặc điểm lũ của lưu vực sông Tích

Bùi là lũ do mưa nội đồng. Do địa hình trũng, nước tập trung nhanh mà không thoát đi

gây ra thời gian ngập lụt kéo dài (hàng tháng). Trong vòng 3 năm gần đây (từ 2017 đến

59

2019), lưu vực sông Tích Bùi liên tiếp bị ngập lụt nặng (2 năm xảy ra hiện tượng nước

tràn qua đê), ảnh hưởng lớn đời sống cũng như sản xuất của nhân dân trong vùng.

Dưới đây là bản đồ sông Tích – Bùi với đầy đủ các trạm thủy văn, trạm khí tượng

và biên hạ du trong mô hình.

Hình 3.9: Bản đồ lưu vực sông Tích Bùi

Với tập số liệu mẫu học gồm số liệu 8 trạm mưa (Hòa Bình, Hoài Đức, Sơn Tây

KT, Ba Vì, Trung Hà, Ba Thá, Sơn Tây TV, Việt Trì) và 1 trạm mực nước (Phủ Lý)

trong nhiều năm, tác giả thử nghiệm huấn luyện mô hình sau đó lấy bộ ma trận trọng số

có được để dự báo các giá trị mực nước tại trạm Ba Thá các năm 2015, 2016, 2017, 2018

và 2019. Kết quả được trình bày từ hình 3.10 đến 3.14.

60

Hình 3.10: Đồ thị mực nước thực đo và dự báo trạm Ba Thá từ ngày 15/6/2015 đến

15/9/2015

Hình 3.11: Đồ thị mực nước thực đo và dự báo tại trạm Ba Thá từ 15/6/2016 đến

15/9/2016

0

0.5

1

1.5

2

2.5

3

3.5

5/26/2015 0:00 6/20/2015 0:00 7/15/2015 0:00 8/9/2015 0:00 9/3/2015 0:00 9/28/2015 0:00

Mự

c nư

ớc

(m)

Thời gian


0

1

2

3

4

5

6

7

5/30/2016 0:00 6/26/2016 0:00 7/23/2016 0:00 8/19/2016 0:00 9/15/2016 0:00

Mự

c nư

ớc

(m)

Thời gian


61


15/9/2017


15/9/2018

0

1

2

3

4

5

6

6/5/2017 0:00 7/4/2017 0:00 8/2/2017 0:00 8/31/2017 0:00 9/29/2017 0:00

Mự

c nư

ớc

(m)

Thời gian


0

1

2

3

4

5

6

7

5/19/2018 0:00 6/17/2018 0:00 7/16/2018 0:00 8/14/2018 0:00 9/12/2018 0:00 10/11/2018 0:00

Mự

c nư

ớc

(m)

Thời gian


62


15/9/2019

Bảng 3.2: Bảng chỉ số NSE các phương án tính cho lưu vực sông Tích Bùi

Phương án tính Chỉ số NSE Đánh giá

2015 0.9053 Tốt

2016 0.967 Tốt

2017 0.9523 Tốt

2018 0.9795 Tốt

2019 0.9632 Tốt

Nhận xét: Với chỉ số NSE của các phương án dự báo đều Tốt (>0,9), cho thấy mô

hình mạng nơron hồi tiếp LSTMs xây dựng đã bước đầu dự báo được bài toán với các

chuỗi dữ liệu có đầu vào liên kết với nhau theo thời gian (mô hình mạng nơron truyền

thẳng chưa làm được), tuy nhiên đối với các giá trị mực nước lớn nhất và nhỏ nhất của

mùa lũ có sai số thực đo và tính toán khá lớn, cần tiếp tục nghiên cứu thêm cải tiến về

mô hình cũng như huấn luyện thêm các mẫu học trong quá khứ để cho kết quả tốt hơn.

0

1

2

3

4

5

6

5/31/2019 0:00 6/29/2019 0:00 7/28/2019 0:00 8/26/2019 0:00 9/24/2019 0:00

Mự

c nư

ớc

(m)

Thời gian


63

3.3 Kết quả dự báo mực nước cho lưu vực sông Tam Kỳ

Sông Tam Kỳ bắt nguồn từ phía nam của tỉnh Quảng Nam - Đà Nẵng, nơi ranh

giới giữa hai tỉnh Quảng Nam và Quảng Ngãi với đỉnh núi Chúa cao 1362m và chính

dãy núi này phân chia lưu vực sông Thu Bồn và lưu vực sông Tam Kỳ. Sông Tam Kỳ

chảy theo hướng Tây Nam - Đông Bắc sau chuyển hướng Tây Bắc - Đông Nam và chảy

vào sông Trường Giang rồi đổ ra biển tại cửa Lở và cửa An Hoà. Nhìn chung, dòng sông

ngắn chảy quanh co khúc khuỷu, độ uốn khúc lớn, lòng sông tương đối hẹp và thường

xuyên thay đổi, ở vùng núi có đoạn thu hẹp lại, hai bờ dốc đứng, có đoạn mở rộng ra,

hai bên bờ thấp tạo ra những bãi tràn lớn.

Trong đề tài cấp tỉnh Quảng Nam do Viện Địa lý, Viện Hàn Lâm KHCN Việt Nam

làm đơn vị chủ trì từ 01/2017 đến 12/2018, Viện Cơ học là đơn vị tham gia thực hiện

việc tính toán thuỷ động lực học và xâm nhập mặn bằng các mô hình 1D và 2D. Các số

liệu địa hình và thực đo (chỉ có năm 2001 và 2017) được lấy từ đề tài này và sử dụng để

thử nghiệm cho hệ thống dự báo bằng mạng thần kinh nhân tạo hồi tiếp.

Phần phạm vi tính toán bao gồm hạ lưu của sông Tam Kỳ, sông Bàn Thạch và 1

phần sông Trường Giang và các sông hợp lại đổ ra biển tại cửa Lở và cửa An Hòa. Phần

diện tích nghiên cứu bao gồm trung tâm thành phố Tam Kỳ huyện Núi Thành và một

phần diện tích huyện Phú Ninh.

Đặc điểm lũ ở các sông tỉnh Quảng Nam cũng như các sông thuộc miền Trung

Việt Nam, khả năng tập trung nước rất nhanh, biên độ mực nước cao, gây ra lũ có đặc

điểm lên nhanh và rút nhanh, gây khó khăn trong công việc dự báo và phòng tránh lũ.

Do đó, việc ứng dụng dự báo bằng mạng thần kinh nhân tạo - có ưu điểm tính toán nhanh

chóng - là cần thiết cho lưu vực này vì các mô hình thuỷ lực truyền thống thường mất

nhiều thời gian tính toán để đưa ra kết quả.

64

Hình 3.15: Phạm vi nghiên cứu của lưu vực sông Tam Kỳ

Hình 3.16: Bản đồ lưu vực sông Tam Kỳ

Các tín hiệu đầu vào của mô hình bao gồm 3 biên trên tại Bàn Thạch, Tam Tiến,

Phú Ninh và 2 biên dưới là 2 cửa biển: Cửa Lở và Cửa An Hoà, từ đó để tính toán được

mực nước tại trạm Tam Anh.

Dưới đây là kết quả đường quá trình mực nước thực đo và dự báo tại trạm Tam

Anh:

65

Hình 3.17: Đồ thị mực nước thực đo và dự báo tại trạm Tam Anh năm 2001

Hình 3.18: Đồ thị mực nước thực đo và dự báo tại trạm Tam Anh năm 2017

Nhận xét: Dù tập dữ liệu không nhiều nhưng mô hình sau huấn luyện đã dự báo

tốt cho bộ số liệu năm 2001 và chuỗi giá trị tính toán bắt được khá tốt chuỗi giá trị thực

đo với dao động mực nước biến đổi theo chu kỳ thuỷ triều – khi mô hình mạng nơron

truyền thẳng gặp khó khăn với bài toán này. Đối với năm 2017, các giá trị thuỷ văn đo

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

11/7/2001 0:00 11/13/2001 0:00 11/19/2001 0:00 11/25/2001 0:00

Mự

c nư

ớc

(m)

Thời gian


-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

3/6/2017 0:00 3/11/2017 0:00 3/16/2017 0:00 3/21/2017 0:00Mự

c nư

ớc

(m)

Thời gian


66

đạc có được từ đề tài là thiếu (được bổ sung từ giá trị trung bình ước lượng thu thập) và

ngắt quãng (các thời điểm đo thủ công không liên tục), nên dẫn đến việc dự báo mực

nước là không đạt, cần bổ xung các dữ liệu đo và thực hiện thay đổi cấu trúc cũng như

huấn luyện lại mạng để kết quả có độ tin cậy, ứng dụng được dự báo trong thực tiễn.

67

KẾT LUẬN VÀ KIẾN NGHỊ

Đề tài định hướng nội dung nghiên cứu vào mạng nơron nhân tạo hồi tiếp, xây

dựng cơ sở dữ liệu lớn, kết hợp giữa ứng dụng công nghệ WebGIS với mạng nơron

nhân tạo hồi tiếp ứng dụng vào bài toán dự báo thủy lực, thủy văn, môi trường,...

Các đóng góp khoa học của đề tài

• Hệ thống hóa các nội dung cơ bản về mạng nơron nhân tạo hồi tiếp, cơ sở dữ

liệu thuỷ văn và hệ thống thông tin địa lý trực tuyến WebGIS.

• Kết quả huấn luyện và dự báo trạm Hà Nội của lưu vực đồng bằng châu thổ

sông Hồng có độ chính xác đạt Tốt (NSE > 0,9),

• Kết quả dự báo cho mực nước trạm Ba Thá trên lưu vực sông Tích Bùi cho

thấy mô hình mạng nơron hồi tiếp LSTMs xây dựng đã bước đầu dự báo được bài toán

với các chuỗi dữ liệu có đầu vào liên kết với đầu ra theo thời gian (mô hình mạng

nơron truyền thẳng chưa làm được), tuy nhiên kết quả chỉ mới chỉ ở mức khá, còn sai

số tại các giá trị chân và đỉnh lũ, cần tiếp tục nghiên cứu thêm cải tiến về mô hình,

• Mô hình sau huấn luyện đã được kiểm định và chuỗi giá trị tính toán bắt được

khá tốt chuỗi giá trị thực đo với dao động mực nước biến đổi theo chu kỳ thuỷ triều –

khi mô hình mạng nơron truyền thẳng gặp khó khăn với bài toán này tại lưu vực sông

Tam Kỳ.

• Nội dung của đề tài đã được đăng tại tuyển tập công trình khoa học “Hội nghị

Cơ học kỹ thuật toàn quốc kỷ niệm 40 năm thành lập Viện Cơ học” có chỉ số

ISBN:978-604-913-937-6.

Hướng phát triển

• Áp dụng phương thức dự báo cho toàn bộ 16 lưu vực lớn và các lưu vực nhỏ

tuỳ theo nhu cầu, đối với mỗi lưu vực, áp dụng dự báo cho nhiều trạm quan trắc cùng

lúc.

• Tiến hành song song sử dụng mô hình thuỷ lực, thuỷ văn truyền thống để dự

báo, các kết quả được đánh giá cùng kết quả mô hình mạng thần kinh nhân tạo, kết

hợp cùng với hệ tri thức chuyên gia nhằm đưa ra các dự báo mang tính tổng hợp, chính

xác hơn.

• Ngoài yếu tố mực nước, hệ thống sẽ mở rộng để dự báo các yếu tố khác như

mưa, lưu lượng,…

68

TÀI LIỆU THAM KHẢO

[1] Nguyễn Chính Kiên, Thử nghiệm ứng dụng mạng neuron nhân tạo trong dự báo

thủy văn và thủy lực, Hội nghị Cơ học toàn quốc lần thứ X, Hà Nội, (12-2017).

[2] Đặng Văn Đức, Hệ thống thông tin địa lý (GIS), Nhà xuất bản khoa học và kỹ thuật,

Hà Nội, (2001).

[3] Jurgen Schmidhuber, Deep Learning in Nơron Networks: An Overview,

Switzerland, (2014).

[4] Alex Graves, Generating Sequences With Recurrent Nơron Networks, University of

Toronto, (2014).

[5] http://colah.github.io/posts/2015-08-Understanding-LSTMs/

[6] https://apaszke.github.io/lstm-explained.html

[7] https://gisvn.edu.vn/webgis

[8] http://quangnam.gov.vn

http://quangnam.gov.vn/

Date post:	10-May-2023
Category:	Documents
Upload:	khangminh22
View:	0 times
Download:	0 times

đề tài xây dựng hệ thống thử nghiệm dự báo mực nước trên ...

Documents