Bộ nhớ kép LSTM với mạng thần kinh chú ý kép để dự đoán không gian
Mar 21, 2022
Tiếp xúc:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791
trừu tượng
Dự đoán không gian là một thách thức do việc trích xuất các đại diện không hiệu quả và thiếu các phụ thuộc ngữ cảnh phong phú. Một cách tiếp cận mới được đề xuất để dự đoán công nghệ không gian bằng cách sử dụng mộtkỉ niệmLSTM với mạng nơ-ron chú ý kép (DMANet). Một đơn vị LSTM bộ nhớ kép (DMLSTM) mới được đề xuất để trích xuất các biểu diễn bằng cách tận dụng các hoạt động khác biệt giữa các hình ảnh liên tiếp và sử dụng một bộ nhớ képkỉ niệmcơ chế chuyển đổi. Để sử dụng đầy đủ các biểu diễn lịch sử, một cơ chế chú ý kép được thiết kế để nắm bắt các phụ thuộc về mặt không gian lâu dài bằng cách tính toán các mối tương quan giữa các biểu diễn hiện đang ẩn và các biểu diễn ẩn lịch sử từ các chiều thời gian và không gian, tương ứng. Sau đó, sự chú ý kép được nhúng vào đơn vị DMLSTM để xây dựng một DMANet, cho phép mô hình có sức mạnh mô hình hóa lớn hơn cho các động lực ngắn hạn và các biểu diễn theo ngữ cảnh dài hạn. Bài báo này đề xuất một bộ dữ liệu bản đồ điện trở suất biểu kiến (Bản đồ AR). Phương pháp nội suy B-spline được sử dụng để nâng cao tập dữ liệu Bản đồ AR và làm cho đường cong xu hướng điện trở suất biểu kiến đạo hàm liên tục trong thứ nguyên thời gian. Kết quả thử nghiệm chứng minh rằng phương pháp đã phát triển có hiệu suất dự đoán tuyệt vời bằng cách so sánh với một số phương pháp hiện đại.
Từ khóa: dự đoán công nghệ không gian; haikỉ niệmLSTM; sự chú ý kép; đại diện lịch sử
1. Giới thiệu
Dự đoán không gian là học các biểu diễn theo cách không được giám sát từ dữ liệu video không được gắn nhãn và sử dụng chúng để thực hiện nhiệm vụ dự đoán, đây là một tác vụ thị giác máy tính điển hình. Hiện tại, dự đoán công nghệ không gian đã được áp dụng thành công cho một số nhiệm vụ, chẳng hạn như dự đoán vị trí vật thể trong tương lai [1,2], phát hiện bất thường [3] và lái xe tự hành [4]. Các mô hình dựa trên học tập sâu có một bước nhảy vọt so với các phương pháp tiếp cận truyền thống vì chúng đã học được các đại diện đầy đủ từ dữ liệu chiều cao. Các phương pháp học sâu hoàn toàn phù hợp với nhiệm vụ dự đoán công nghệ không gian, có thể trích xuất các mối tương quan không gian từ dữ liệu video theo cách tự giám sát. Tuy nhiên, dự đoán công nghệ không gian vẫn là một nhiệm vụ đầy thách thức do vấn đề trích xuất các biểu diễn không hiệu quả và thiếu các phụ thuộc dài hạn. Ví dụ, LSTM phù hợp (ConvLSTM) [5] đã được phát triển để trích xuất thêm các biểu diễn thời gian nhưng nó bỏ qua các biểu diễn không gian. Một số phương pháp [6,7] đã đạt được kết quả dự đoán chính xác, nhưng chúng gây ra mất tính đại diện. Phương pháp đối địch đã được áp dụng trong các nhiệm vụ dự đoán [8,9]. Tuy nhiên, chúng [8,9] phụ thuộc đáng kể vào quá trình đào tạo không ổn định.
1 Trường Kỹ thuật Thông tin và Truyền thông, Đại học Thượng Hải, Thượng Hải 200444, Trung Quốc
2 Phòng thí nghiệm trọng điểm về ứng dụng hệ thống và màn hình tiên tiến, Bộ Giáo dục, Thượng Hải 200072, Trung Quốc
Một kép tiểu thuyếtkỉ niệmLSTM với mạng nơron chú ý kép (DMANet) đã được đề xuất cho dự đoán công nghệ không gian trong bài báo này để giải quyết các vấn đề đã đề cập. Bộ nhớ kép LSTM (DMLSTM) dựa trên ConvLSTM [5] đã được phát triển cho DMANet để thực hiện dự đoán không gian. Nó có thể được áp dụng để biểu diễn chuyển động bằng cách phân biệt các trạng thái ẩn liền kề hoặc hình ảnh thô một cách thích hợp. Bên cạnh đó, nó có cấu trúc bộ nhớ kép để lưu trữ thông tin không gian và thông tin thời gian. Một cơ chế chú ý kép được đề xuất và nhúng vào đơn vị DMLSTM để trích xuất các phụ thuộc tính năng lâu dài từ các chiều thời gian và không gian, cho phép mô hình đã phát triển thu được các video động phức tạp dài hơn. So với các phương pháp dự báo không gian ở trên, đóng góp chính của bài báo này như sau. Thứ nhất, một đơn vị DMLSTM mới đã được đề xuất để thực hiện các biểu diễn trích xuất, có thể được áp dụng cho dự đoán công nghệ không gian bằng cách tận dụng các hoạt động chênh lệch giữa các hình ảnh liên tiếp và sử dụng một képkỉ niệmcơ chế chuyển đổi. Thứ hai, một cơ chế chú ý kép được phát triển để có được các tương tác khung lâu dài. Các tương tác khung dài hạn được ghi lại bằng cách tính toán mối tương quan giữa các đại diện hiện đang ẩn và các đại diện ẩn lịch sử tương ứng từ các chiều thời gian và không gian. Cuối cùng, một đóng góp quan trọng là DMANet kết hợp cả hai ưu điểm. Thiết kế kiến trúc như vậy cho phép mô hình có sức mạnh mô hình hóa lớn hơn cho các động lực ngắn hạn và các biểu diễn theo ngữ cảnh dài hạn. Phương pháp đề xuất được đánh giá ở một số bộ dữ liệu thách thức với các phương pháp khác nhau. Nó đạt được hiệu suất tuyệt vời so với một số phương pháp hiện đại. Kết quả thực nghiệm cho thấy phương pháp đề xuất có hiệu suất dự báo không gian tuyệt vời.
Phần còn lại của bài viết này được tổ chức như sau. Công việc liên quan được thảo luận trong Phần 2.kỉ niệmLSTM với cơ chế chú ý kép được mô tả trong Phần 3. Các kết quả và phân tích thí nghiệm được thảo luận trong Phần 4 và tiếp theo là các kết luận trong Phần 5.
2. Tổng quan Văn học
Trong thập kỷ qua, nhiều phương pháp đã được đề xuất để dự đoán công nghệ không gian. Mạng nơ-ron tuần hoàn (RNN) [10] với ngắn hạn dài hạnkỉ niệm(LSTM) [11] ngày càng được ứng dụng nhiều hơn vào các nhiệm vụ dự đoán do khả năng học các biểu diễn của chuỗi video. Trong những năm gần đây, khung LSTM dựa trên mô hình tuần tự [12] đã được điều chỉnh cho phù hợp với dự đoán video. Tuy nhiên, độ chính xác của dự đoán bị hạn chế do thực tế là các phương pháp khung này [12] chỉ nắm bắt các biến thể theo thời gian. Để trích xuất thêm các biểu diễn video, ConvLSTM [5] thay thế các phép toán được kết nối đầy đủ bằng các phép toán tích chập trong các chuyển đổi trạng thái lặp lại. Một khuôn khổ dựa trên học tập sâu [13] được đề xuất để tái tạo lại dữ liệu còn thiếu để tạo điều kiện phân tích với chuỗi không gian. Tuy nhiên, nó sẽ làm tăng thêm chi phí tính toán và giảm hiệu quả dự đoán. Đơn vị định kỳ định kỳ bijective được giới thiệu trong [14], đơn vị này khai thác các bộ mã hóa tự động định kỳ để dự đoán khung hình tiếp theo trong một số trường hợp. Một phương pháp đa đầu ra và đa chỉ số của phương pháp học có giám sát [15] với LSTM [11] được đề xuất để dự đoán không gian, có thể mô hình hóa các động lực dài hạn. Để theo đuổi việc giảm bớt sự biến mất của gradient, LSTM tích hợp được mở rộng bởi [6,7] giới thiệu luồng bộ nhớ ngoằn ngoèo và đơn vị đường cao tốc gradient (GHU). Một phương pháp dựa trên học sâu được cập nhật đã được sử dụng để cải thiện khả năng dự đoán. Một phiên bản của ASAP được gọi là "hệ thống sâu ASAP", được đề xuất trong [16]. Sự cong vênh luồng quang học và các thuật toán tổng hợp pixel RGB [17] đã được khai thác để thực hiện dự đoán công nghệ không gian. Mạng bộ nhớ trong bộ nhớ (MIM) được đề xuất cho các tác vụ dự đoán trong [18]. Sự khác biệt của nó so với các mô hình lặp lại được đề cập ở trên là MIM [18] áp dụng cho sự khác biệt trong quá trình chuyển đổi bộ nhớ để biến đổi đa thức thay đổi theo thời gian thành một hằng số, cho phép dự đoán thành phần xác định. Tuy nhiên, các phương pháp này [14–18] vẫn còn nhiều thách thức để thực hiện dự đoán dài hạn vì chuyển đổi cổng quá mức sẽ làm mất các biểu diễn.
lợi ích của cistanche DesticolaTrongkỉ niệm
Ngoài các mô hình lặp lại, các mô hình khác cũng được sử dụng để dự đoán công nghệ không gian. Một mạng lưới hồi cứu được đề xuất trong [19], mạng này giới thiệu tổn thất hồi cứu để đẩy các khung hồi cứu phù hợp với các khung quan sát. Để xử lý sự mất cân bằng trong dữ liệu, một thuật toán làm sạch khu vực lân cận được phát triển trong [20]. Một thuật toán rừng ngẫu nhiên trích xuất các tính năng tối ưu để thực hiện nhiệm vụ dự đoán. Một bộ mã tự động biến thể được sử dụng để trích xuất các tính năng động phi tuyến trong [21]. Mô hình này phân tích mối tương quan giữa các biến và mối quan hệ giữa mẫu lịch sử và mẫu hiện tại. Mô-đun chú ý rộng và mô-đun tổng hợp sâu được sử dụng trong [22] để trích xuất các đặc điểm chính toàn cầu và các đặc điểm chính cục bộ. Tuy nhiên, các phương pháp này [19–22] phụ thuộc vào các đại diện địa phương ở một mức độ nào đó, không thể đạt được hiệu suất xuất sắc trong các nhiệm vụ dự đoán. Một mạng nơ-ron nhân tạo [23] đã được đề xuất để mô hình hóa các thuộc tính duy nhất của dữ liệu không gian và tạo ra một khả năng mô hình hóa mạnh mẽ hơn cho dữ liệu không gian. Một hệ thống dự báo không gian [24] đã được phát triển để tập trung vào việc mô hình hóa không gian và tái tạo lại tín hiệu không gian-thời gian hoàn chỉnh. Phương pháp này cho thấy hiệu quả của việc mô hình hóa các trường Không gian-thời gian mạch lạc. Mạng nơ-ron hỗn hợp đã được đề xuất để lập mô hình động và tìm hiểu các biểu diễn ngoại hình dựa trên các khung video đã cho trong [25]. CNN 3D được sử dụng vào RNN trong [26], mở rộng các biểu diễn theo chiều thời gian và làm chokỉ niệmđơn vị lưu trữ đại diện dài hạn tốt hơn. Tuy nhiên, các phép toán tích hợp [24–26] giải thích sự phụ thuộc trong phạm vi ngắn trong khung do các trường tiếp nhận hạn chế của chúng và thiếu khả năng lập mô hình liên khung rõ ràng. Các mạng đối thủ chung [8] là một cách tiếp cận khác để dự đoán công nghệ không gian. Một phương pháp mã hóa tự động biến thiên có điều kiện đã được đề xuất trong [9] bằng cách tạo ra các quỹ đạo tương lai của con người với điều kiện dựa trên các quan sát trước đó và các hành động của robot trong tương lai. Các phương pháp dự đoán [8,9] nhằm mục đích tạo ra ít khung hình mờ hơn, nhưng hiệu suất của chúng phụ thuộc đáng kể vào quá trình đào tạo không ổn định.
Một cơ chế tự chú ý được đề xuất trong [27], có thể được áp dụng để nắm bắt các phụ thuộc tầm xa và đã được chứng minh là có hiệu quả trong việc tổng hợp các đặc điểm nổi bật giữa tất cả các vị trí không gian trong các tác vụ thị giác máy tính [28–30]. Một khối chú ý kép được đề xuất trong [28], kết hợp các đặc điểm của toàn bộ không gian thành một tập hợp nhỏ gọn, sau đó lựa chọn và phân bổ các đặc điểm cho từng vị trí một cách thích hợp. Để khai thác thông tin theo ngữ cảnh hiệu quả hơn, một mạng lưới đan chéo [29] đã giới thiệu một mô-đun chú ý đan chéo để lấy thông tin ngữ cảnh của tất cả các pixel, điều này rất hữu ích cho các vấn đề hiểu biết trực quan. Ngoài ra, không giống như các phương pháp tổng hợp đặc trưng đa quy mô, một mạng lưới chú ý kép [30] được đề xuất để kết hợp các đặc trưng cục bộ với các phụ thuộc toàn cục một cách thích ứng. Tuy nhiên, chúng không thể được sử dụng để giải quyết các nhiệm vụ dự đoán do thiếu các phụ thuộc không gian.
Tóm lại, các mô hình dự đoán trước mang lại những nhược điểm khác nhau. Khác với công việc trước đây, chúng tôi thiết kế một biến thể mới của ConvLSTM [5] để lưu trữ các biểu diễn trạng thái và mở rộng cơ chế chú ý trong nhiệm vụ dự đoán công nghệ không gian. Kiến trúc này nắm bắt các mối quan hệ ngữ cảnh phong phú để biểu diễn tính năng tốt hơn với tính nhỏ gọn nội lớp.
Bảng 1 cho thấy các từ viết tắt được sử dụng trong bài báo cùng với định nghĩa của khái niệm.
3. Mạng thần kinh DMA
Biểu đồ luồng của DMANet được thể hiện trong Hình 1. Các biểu diễn được trích xuất từ DMANet với các khung đầu vào. Các biểu diễn cho biết kết quả dự đoán và có thể được sử dụng để dự đoán các biểu diễn tiếp theo.
Trong phần này, các chi tiết của DMANet sẽ được cung cấp. Đầu tiên, một đơn vị DMLSTM mới được giới thiệu trong Phần 3.1. Sau đó, một cơ chế chú ý kép được đề xuất trong Phần 3.2, cho phép mô hình có thể hưởng lợi từ các đại diện liên quan trước đó. Cuối cùng, chúng được tổng hợp lại với nhau để xây dựng DMANet cho dự đoán công nghệ không gian, được trình bày chi tiết trong Phần 3.3.
3.1 Bộ nhớ kép LSTM
Nó được khai sáng bởi PredRNN plus plus [7], bổ sung thêm nhiều lớp phi tuyến để tăng độ sâu mạng và tăng cường khả năng mô hình hóa cho các mối tương quan không gian và động lực thời gian. Tuy nhiên, vấn đề lan truyền gradient ngày càng trở nên khó khăn hơn với sự gia tăng của độ sâu mạng lưới, ngay cả khi GHU [7] làm giảm bớt nó ở một mức độ hạn chế. Một số công việc [6,7,14] không hoạt động tốt trong việc trích xuất các biểu diễn của trình tự không gian qua các chuyển đổi cổng quá mức, vì nó có thể không tránh khỏi việc mất các biểu diễn. Do đó, các phụ thuộc không gian tầm xa có thể được thu nhận bởi các lớp tích chập xếp chồng lên nhau. Tuy nhiên, hiệu quả của khả năng mô hình hóa đối với động lực học không gian bị hạn chế do quá trình chuyển đổi lớp này sang lớp khác phức tạp.
Một đơn vị lặp lại mới có tên DMLSTM được phát triển để thực hiện dự đoán công nghệ không gian nhằm khắc phục những hạn chế nêu trên, như trong Hình 2. Đầu tiên, một đơn vị bộ nhớ bổ sung được thêm vào dựa trên ConvLSTM [5]; đơn vị này được sử dụng để lưu trữ các trạng thái không gian, cho phép đơn vị tìm hiểu thêm các đại diện không gian. Cơ chế chuyển đổi mới được thiết kế bằng cách loại bỏ các cấu trúc cổng thừa, chẳng hạn như cổng đầu vào. Cấu trúc phi tuyến khác nhau sẽ làm mất đi các biểu diễn bên trong mạnh mẽ trong dự đoán cấp pixel. Mặt khác, các phép toán phân biệt biểu diễn đã được áp dụng hiệu quả để nắm bắt các biểu diễn của các đối tượng chuyển động. Do đó, tính sai lệch có thể được sử dụng cho các nhiệm vụ dự đoán để bổ sung các chi tiết biểu diễn của các đối tượng chuyển động. Trong đơn vị DMLSTM, phép toán phân biệt được phát triển để có được các biểu diễn chuyển động bằng cách phân biệt các trạng thái ẩn liền kề hoặc hình ảnh thô, điều này làm cho đơn vị có khả năng mô hình hóa mạnh mẽ hơn cho động lực học không gian.
3.2. Cơ chế chú ý kép
Dự đoán không gian có thể dự đoán các khung hình trong tương lai bằng cách quan sát các biểu diễn trước đó. Tuy nhiên, mô hình dự đoán nên tập trung nhiều hơn vào các đại diện lịch sử có liên quan đến nội dung dự đoán. Cơ chế chú ý [27] có thể nắm bắt sự phụ thuộc tầm xa giữa các đại diện cục bộ và toàn cầu trong một số nhiệm vụ thực tế [32,33]. Hơn nữa, dự đoán công nghệ không gian là một thách thức do các động lực phức tạp và sự thay đổi diện mạo, đòi hỏi sự phụ thuộc vào cả lĩnh vực thời gian và không gian. Một biến thể mới của cơ chế chú ý được đặt tên là cơ chế chú ý kép được đề xuất. Kiến trúc này nắm bắt tương tác không gian dài hạn từ các chiều thời gian và không gian, và sau đó các đại diện thu được được tổng hợp để dự đoán trong tương lai.
cistanche để bántrong trí nhớ
Mô-đun chú ý kép được thể hiện trong Hình 3 bao gồm các trạng thái ẩn dấu thời gian hiện tại Ht ∈ RH × W × C và các trạng thái lịch sử {H1. . . Ht − 1} ∈ Rn × H × W × C, trong đó H và W là kích thước không gian, C là số kênh và n biểu thị số lượng biểu diễn ẩn được ghép theo chiều thời gian, tương ứng
4.Kết luận
Một DMANet đã được đề xuất để dự đoán công nghệ không gian trong bài báo này. Một đơn vị DML-STM được sử dụng để trích xuất hiệu quả các biểu diễn bằng cách tận dụng các hoạt động chênh lệch giữa các hình ảnh liên tiếp và áp dụng cơ chế chuyển đổi bộ nhớ kép. Một cơ chế chú ý kép được thiết kế để nắm bắt những phụ thuộc không gian lâu dài bằng cách tính toán các mối tương quan giữa các biểu diễn hiện đang ẩn và các biểu diễn ẩn lịch sử từ các chiều thời gian và không gian, tương ứng. DMANet kết hợp cả những ưu điểm và thiết kế kiến trúc như vậy cho phép mô hình có sức mạnh mô hình hóa lớn hơn cho các động lực ngắn hạn và các biểu diễn theo ngữ cảnh dài hạn. Các kết quả thử nghiệm chứng minh rằng phương pháp của chúng tôi có hiệu suất tuyệt vời trong dự đoán công nghệ không gian.
mua cistanche in memory ở đâu
Dự đoán công nghệ không gian là một con đường đầy hứa hẹn cho việc học tập tự giám sát về các mối tương quan phong phú về công nghệ không gian. Đối với công việc trong tương lai, chúng tôi sẽ nghiên cứu cách tách các vật thể chuyển động khỏi nền và chú ý nhiều hơn đến các vật thể chuyển động.
Người giới thiệu
1. Yao, Y. Atkins, E.; Johnson-Roberson, M.; Vasudevan, R .; Du, X. Bitrap: Dự đoán quỹ đạo của người đi bộ hai chiều với ước tính mục tiêu đa phương thức. Robot IEEE. Tự động hóa. Lett. Năm 2021, 2, 1463–1470. [CrossRef]
2. Bài hát, Z; Tùy, H.; Li, H. Một phương pháp phát hiện đối tượng phân cấp trong ảnh vệ tinh viễn thám quang học quy mô lớn sử dụng phát hiện độ mặn và CNN. Int. J. Viễn thám. 2021, 42, 2827–2847. [CrossRef]
3. Li, Y.; Cái, Y .; Li, J .; Lang, S.; Zhang, X. Mạng thống nhất không gian-thời gian để phát hiện video bất thường. IEEE Access 2019, 1, 172425–172432. [CrossRef]
4. Yurtsever, E.; Lambert, J .; Carballo, A.; Takeda, K. Một cuộc khảo sát về lái xe tự hành: Các phương pháp phổ biến và công nghệ mới nổi. Truy cập IEEE 2020, 8, 58443–58469. [CrossRef]
5. Shi, X.; Chen, Z .; Vương, H.; Yeung, DY Mạng LSTM phù hợp: Một cách tiếp cận máy học để dự báo lượng mưa. Trong Kỷ yếu của Hội nghị lần thứ 29 về Hệ thống Xử lý Thông tin Thần kinh, Montreal, QC, Canada, ngày 7-12 tháng 6 năm 2015; trang 802–810.
6. Vương, Y.; Li, M.; Wang, J .; Gao, Z .; Yu, P. PredRNN: Mạng nơ-ron lặp lại để học dự đoán bằng cách sử dụng LSTM không gian. Trong Kỷ yếu của Hội nghị lần thứ 31 về Hệ thống Xử lý Thông tin Thần kinh, Long Beach, BC, Canada, ngày 4-9 tháng 12 năm 2017; trang 879–888.
7. Vương, Y.; Gao, Z .; Dài, M.; Wang, J .; Yu, P. PredRNN plus plus: Hướng tới giải quyết tình trạng tiến thoái lưỡng nan về thời gian sâu sắc trong học dự đoán không gian. Trong Kỷ yếu của Hội nghị Quốc tế lần thứ 35 về Học máy, Stockholm, Thụy Điển, ngày 10–15 tháng 4 năm 2019; trang 5123–5132.
8. Goodfellow, IJ; Pouget-Abadie, J .; Mirza, M.; Xu, B.; Warde-Farley, D. Mạng lưới đối thủ tạo ra. Trong Kỷ yếu của Hội nghị lần thứ 28 về Hệ thống Xử lý Thông tin Thần kinh, Montreal, QC, Canada, 8–13 tháng 12 năm 2014; trang 2672–2680.
9. Ivanovic, B.; Karen, L. .; Edward, S .; Pavone, M. Mô hình sinh sâu đa phương thức để dự đoán quỹ đạo: Phương pháp tiếp cận tự động mã hóa biến thiên có điều kiện. Robot IEEE. Tự động hóa. Lett. Năm 2021, 2, 295–302. [CrossRef]
10. Rumelhart, D.; Hinton, G.; Williams, R. Học các biểu diễn bằng sai số lan truyền ngược. Bản chất 1986, 1, 533–536. [CrossRef]
11. Hochreiter, S.; Schmidhuber, J. Trí nhớ ngắn hạn dài. Tính toán thần kinh. 1997, 8, 1735–1780. [CrossRef]
12. Sutskever, tôi; Vinyals, O .; Le, Q. Trình tự để trình tự học với mạng nơ-ron. Trong Kỷ yếu về những Tiến bộ trong Hệ thống Xử lý Thông tin Thần kinh, Montreal, QC, Canada, 8–13 tháng 12 năm 2014; trang 3104–3112.
13. Das, M.; Ghosh, S. Một nhóm dự báo dựa trên học tập sâu để dự đoán dữ liệu bị thiếu để phân tích viễn thám. IEEE J. Sel. Đứng đầu. Appl. Earth Observ. Viễn thám. 2017, 12, 5228–5236. [CrossRef]
14. Oliu, M.; Selva, J.; Escalera, S. Các mạng thần kinh tái phát được gấp lại để dự đoán video trong tương lai. Trong Kỷ yếu của Hội nghị Châu Âu lần thứ 15 về Thị giác Máy tính, Munich, Đức, 8–14 tháng 12 năm 2018; trang 716–731.
15. Seng, D.; Zhang, Q.; Zhang, X. .; Chen, G.; Chen, X. Dự đoán không gian về chất lượng không khí dựa trên mạng nơ ron LSTM. Alex. Anh J. 2021, 60, 2021–2032. [CrossRef]
16. Giường, A.; Ramin, Q .; Abed, A. Dự đoán tự động về các tia sáng mặt trời từ hình ảnh SDO bằng cách sử dụng học sâu. Tiến lên Không gian Res. 2021, 67, 2544–2557. [CrossRef]
17. Li, S.; Fang, J.; Xu, H.; Xue, J. Dự đoán khung hình video bằng mạng mặt nạ đa nhánh sâu. IEEE Trans. Mạch Syst. Video Technol. 2020, 4, 1–12. [CrossRef]
18. Vương, Y.; Zhang, J .; Zhu, H.; Dài, M.; Wang, J .; Yu, P. Bộ nhớ trong bộ nhớ: Một mạng nơ-ron tiên đoán để học tính phi cố định bậc cao từ động lực học không gian. Trong Kỷ yếu của Hội nghị IEEE về Nhận dạng Mẫu và Thị giác Máy tính, Long Beach, BC, Canada, 16–20 tháng 6 năm 2020; trang 9146–9154.
19. Chen, X.; Xu, C.; Yang, X.; Yang, X.; Tao, D. Dự đoán video dài hạn thông qua phê bình và hồi cứu. IEEE Trans. Quy trình Hình ảnh. 2020, 29, 7090–7103. [CrossRef]
20. Neda, E.; Reza, F. AptaNet như một cách tiếp cận học tập sâu để dự đoán tương tác aptamer-protein. Khoa học. Lại. 2021, 11, 6074–6093.
21. Shen, B.; Ge, Z. Hệ thống động phi tuyến có trọng số để khai thác sâu các biến tiềm ẩn động phi tuyến và ứng dụng công nghiệp. IEEE Trans. Ind. Thông báo. Năm 2021, 5, 3090–3098. [CrossRef]
22. Zhou, J.; Đại, H.; Vương, H.; Wang, T. Mô hình tổng hợp sâu và chú ý rộng để dự đoán lưu lượng giao thông trong các hệ thống vật lý mạng vận tải. IEEE Trans. Ind. Thông báo. 2021, 17, 3431–3440. [CrossRef]
23. Patil, K.; Deo, M. Dự đoán quy mô lưu vực về nhiệt độ bề mặt nước biển với Mạng thần kinh nhân tạo. J. Atmos. Đại dương. Technol. 2018, 7, 1441–1455. [CrossRef]
24. Amato, F.; Guinard, F.; Robert, S .; Kanevski, M. Một khuôn khổ mới để dự đoán không gian-thời gian của dữ liệu môi trường bằng cách sử dụng học sâu. Khoa học. Rep. 2020, 10, 22243–22254. [CrossRef]
25. Yan, J .; Tần, G.; Zhao, R.; Lương, Y .; Xu, Q. Mixpred: Dự đoán video ngoài luồng quang học. IEEE Access 2019, 1, 185654–185665. [CrossRef]
26. Vương, Y.; Giang, L.; Yang, M.; Li, L.; Dài, M.; Li, F. Eidetic 3D LSTM: Một mô hình cho dự đoán video và hơn thế nữa. Trong Kỷ yếu của Hội nghị Quốc tế về Đại diện Học tập, New Orleans, LA, Hoa Kỳ, ngày 6-9 tháng 5 năm 2019; trang 1–14.
27. Vaswani, A.; Shazier, N.; Parmar, N. .; Uszkoreit, J .; Jones, L. Chú ý là tất cả những gì bạn cần. Trong Kỷ yếu của Hội nghị lần thứ 31 về Hệ thống Xử lý Thông tin Thần kinh, Long Beach, BC, Canada, ngày 4-9 tháng 12 năm 2017; trang 5998–6008.
28. Chen, Y. Kalantidis, Y. Li, J .; Lưới Feng, J. A2: Mạng lưới chú ý kép. Trong Kỷ yếu của Hội nghị lần thứ 32 về Hệ thống Xử lý Thông tin Thần kinh, Montreal, QC, Canada, 2–8 tháng 12 năm 2018; trang 352–361.
29. Huang, Z .; Vương, X.; Ngụy, Y. Hoàng, L.; Shi, H. Ccnet: Sự chú ý xuyên suốt đối với việc phân đoạn ngữ nghĩa. IEEE Trans. Mô hình Hậu môn. Mach. Giới thiệu. 2020, 1, 1–11. [CrossRef]
30. Fu, J.; Liu, J .; Tian, H.; Li, Y. Mạng chú ý kép để phân đoạn cảnh. Trong Kỷ yếu của Hội nghị IEEE về Nhận dạng Mẫu và Thị giác Máy tính, Long Beach, BC, Canada, 16–20 tháng 6 năm 2019; trang 3146–3154.
31. Wang, Z .; Bovik, A. .; Sheikh, H. Đánh giá chất lượng hình ảnh: Từ khả năng hiển thị lỗi đến sự giống nhau về cấu trúc. IEEE Trans. Quy trình Hình ảnh. 2004, 4, 600–612. [CrossRef]
32. Lưu, Q.; Lu, S.; Lan, L. Máy dò tìm khuôn mặt chú ý Yolov3 với độ chính xác và hiệu quả cao. Comp. Syst. Khoa học. Anh Năm 2021, 37, 283–295.
33. Li, X.; Xu, F .; Xin, L. Mạng lưới phân đoạn ngữ nghĩa dung hợp sâu chú ý kép của ảnh viễn thám vệ tinh quy mô lớn. Int. J. Viễn thám. 2021, 42, 3583–3610. [CrossRef]
34. Srivastava, N.; Mansimov, E.; Salakhutdinov, R. Học không giám sát về các biểu diễn video bằng cách sử dụng LSTM. Trong Kỷ yếu của Hội nghị Quốc tế lần thứ 32 về Học máy, Lille, Pháp, ngày 6-11 tháng 6 năm 2015; trang 843–852.
35. Geiger, A.; Lenz, P.; Stiller, C.; Urtasun, R. Vision gặp gỡ người máy: Bộ dữ liệu KITTI. Int. J. Người máy. Res. 2013, 32, 1231–1237. [CrossRef]
36. Đô la, P.; Wojek, C.; Schiele, B.; Perona, P. Phát hiện người đi bộ: Một điểm chuẩn. Trong Kỷ yếu của Hội nghị IEEE về Nhận dạng Mẫu và Thị giác Máy tính, Miami, FL, Hoa Kỳ, 20–25 tháng 6 năm 2009; trang 304–311.
37. Liu, J.; Jin, B.; Yang, J .; Xu, L. Dự đoán nhiệt độ bề mặt biển bằng cách sử dụng phép nội suy khối B-spline và cơ chế chú ý không gian. Cảm biến từ xa. Lett. 2021, 12, 12478–12487. [CrossRef]
