Nhận dạng biển báo giao thông dựa trên thuật toán YOLOv3 Phần 1

Trừu tượng:

Phát hiện biển báo giao thông là một thành phần thiết yếu của hệ thống giao thông thông minh vì nó cung cấp dữ liệu giao thông đường bộ quan trọng để ra quyết định và điều khiển phương tiện.

Khi quá trình đô thị hóa tăng tốc, dân số và số lượng phương tiện không ngừng tăng lên, các vấn đề như ùn tắc giao thông, tai nạn mất an toàn ngày càng trở nên nghiêm trọng, mang đến những bất tiện và áp lực lớn cho cuộc sống và công việc của người dân. Vì vậy, sự xuất hiện của hệ thống giao thông thông minh đã mang lại sự tiện lợi lớn cho cuộc sống của chúng ta và còn có thể cải thiện an toàn giao thông. Hệ thống giao thông thông minh cũng không thể tách rời khỏi trí nhớ của con người.

Trước hết, hệ thống giao thông thông minh có thể sử dụng các phương tiện công nghệ cao để thu thập và phân tích thông tin giao thông, đồng thời cung cấp cho người dân tình trạng giao thông chi tiết và chính xác, giúp người dân đi lại thuận lợi và tránh bị chậm trễ thời gian do thông tin giao thông không chính xác như đèn giao thông. Đối với người lái xe, hệ thống giao thông thông minh có thể tiến hành phân tích và giám sát thời gian thực về lộ trình lái xe của họ, nhắc nhở người lái xe điều chỉnh lộ trình lái xe kịp thời trong những khoảng thời gian đặc biệt và giảm tình trạng ùn tắc giao thông, đi trễ, v.v. Bằng cách này, nó cũng giúp người lái xe chú ý, giảm mệt mỏi khi lái xe, từ đó nâng cao độ an toàn khi lái xe.

Thứ hai, hệ thống giao thông thông minh cũng có thể được kết nối với điện thoại di động của người lái, điều hướng phương tiện và các hệ thống khác thông qua các phương tiện kỹ thuật như Internet phương tiện. Bằng cách này, mọi người có thể nhận được thông tin giao thông mới nhất bất cứ lúc nào, biết môi trường giao thông hiện tại của họ và điều chỉnh kế hoạch du lịch của họ kịp thời. Đồng thời, nó cũng có thể phối hợp với hệ thống hỗ trợ lái xe và kiểm soát an toàn của xe để đảm bảo lái xe an toàn. Ví dụ, sau khi người lái xe nắm vững lộ trình lái xe, thông tin giao thông,… do hệ thống giao thông thông minh cung cấp, họ sẽ điều khiển phương tiện tập trung và ổn định hơn, không rơi vào tình trạng bối rối do thay đổi lộ trình đột ngột, v.v., và cũng sẽ có thể hành động nhanh chóng trong trường hợp khẩn cấp. phản ứng.

Cuối cùng, hệ thống giao thông thông minh cũng có thể đặt ra các quy tắc quản lý giao thông tương ứng tùy theo các tình huống giao thông đô thị khác nhau để đảm bảo phương tiện và người đi bộ đi lại an toàn và tránh tai nạn giao thông. Ví dụ, thay đổi thời gian và tần suất đèn giao thông dựa trên tình trạng tắc nghẽn giao thông, đưa ra lời nhắc giới hạn tốc độ trên các đoạn đường, v.v., giúp người lái xe phản ứng chính xác khi gặp điều kiện đường phức tạp, từ đó đảm bảo giao thông thông suốt. và an ninh.

Tóm lại, có một mối liên hệ chặt chẽ giữa hệ thống giao thông thông minh và trí nhớ của con người. Hệ thống giao thông thông minh có thể cung cấp cho chúng ta một môi trường lái xe tốt hơn, giảm bớt gánh nặng cho mọi người khi lái xe và từ đó nâng cao trí nhớ của mọi người. Sự phát triển của hệ thống giao thông thông minh là xu hướng tất yếu trong việc xây dựng các thành phố hiện đại của chúng ta. Có thể thấy, chúng ta cần cải thiện trí nhớ, và Cistanche Deserticola có thể cải thiện trí nhớ đáng kể vì Cistanche Deserticola là một dược liệu cổ truyền của Trung Quốc có nhiều tác dụng độc đáo, một trong số đó là cải thiện trí nhớ. Hiệu quả của thịt băm đến từ các hoạt chất khác nhau có trong nó, bao gồm axit, polysacarit, flavonoid, v.v. Những thành phần này có thể tăng cường sức khỏe não bộ theo nhiều cách khác nhau.

Bấm biết 10 cách cải thiện trí nhớ

Để giải quyết những thách thức của biển báo giao thông nhỏ, đặc điểm khó thấy và độ chính xác phát hiện thấp, phương pháp nhận dạng biển báo giao thông dựa trên YOLOv3 đã cải tiến (You Only Look Once v3) được đề xuất.

Cấu trúc nhóm kim tự tháp không gian được hợp nhất vào cấu trúc mạng YOLOv3 để đạt được sự kết hợp giữa các tính năng cục bộ và tính năng toàn cầu, đồng thời thang dự đoán tính năng thứ tư có kích thước 152 × 152 được giới thiệu để tận dụng tối đa các tính năng nông trong mạng nhằm dự đoán các mục tiêu nhỏ.

Hơn nữa, hồi quy hộp giới hạn ổn định hơn khi sử dụng tổn thất khoảng cách-IoU (DIoU), có tính đến khoảng cách giữa mục tiêu và mỏ neo, tỷ lệ trùng lặp và tỷ lệ.

12 điểm neo của tập dữ liệu biển báo giao thông Tsinghua–Tencent 100K(TT100K) được tính toán lại bằng thuật toán phân cụm K-mean, trong khi tập dữ liệu được cân bằng và mở rộng để giải quyết vấn đề về số lượng lớp mục tiêu không đồng đều trong tập dữ liệu TT100K.

Thuật toán được so sánh với YOLOv3 và các thuật toán phát hiện mục tiêu thường được sử dụng khác và kết quả cho thấy thuật toán YOLOv3 cải tiến đạt được độ chính xác trung bình trung bình (mAP) là 77,3%, cao hơn 8,4% so với YOLOv3, đặc biệt là trong phát hiện mục tiêu nhỏ, trong đó mAP là được cải thiện 10,5%, cải thiện đáng kể độ chính xác của mạng phát hiện trong khi vẫn duy trì hiệu suất thời gian thực cao nhất có thể.

Độ chính xác của mạng phát hiện được nâng cao đáng kể trong khi vẫn duy trì hiệu suất thời gian thực của mạng ở mức cao nhất có thể.

Từ khóa:

Nhận dạng biển báo giao thông; YOLOv3; cấu trúc tổng hợp hình chóp không gian.

1. Giới thiệu

Hiện nay, hệ thống lái xe tự động và giao thông thông minh (ITS) là những ứng dụng chính cho công nghệ phát hiện và nhận dạng biển báo giao thông.

Nó có thể cung cấp cho người lái xe và phương tiện tự lái những thông tin giao thông quan trọng để họ có thể đưa ra phán đoán theo quy định của đường bộ hoặc cảnh báo, chỉ đạo hành vi vận hành của người lái xe kịp thời nhằm giảm thiểu tai nạn giao thông.

Biển báo giao thông có thể được chia thành ba loại: biển chỉ đường, biển cảnh báo và biển cấm. Những biển hiệu này có thiết kế hình tròn hoặc hình tam giác và có màu đỏ, vàng và xanh.

Do đó, nhận dạng biển báo giao thông cổ điển thường sử dụng kỹ thuật máy học để nhận biết biển báo giao thông hoặc trích xuất thông tin như màu sắc và hình dạng từ biển báo giao thông.

Phân đoạn màu để trích xuất các đặc điểm trước khi nhận dạng phân loại được sử dụng trong phát hiện biển báo giao thông dựa trên màu sắc, vốn dễ bị ảnh hưởng bởi các biến thể ánh sáng. Theo tài liệu trước đây [1], sự phân chia màu sắc không bị ảnh hưởng bởi sự thay đổi độ sáng và chỉ sử dụng không gian HIS để kiểm tra màu sắc và độ bão hòa.

Do nhu cầu nhận dạng màu cao đối với các biến số như thời tiết và khoảng cách phát hiện, phương pháp phát hiện dựa trên đặc điểm màu sắc có thể được sử dụng để nhận dạng hình ảnh có độ phân giải cao nhưng không được sử dụng để nhận dạng hình ảnh thang độ xám [2].

Một phương pháp nhận dạng biển báo giao thông dựa trên hình dạng trên hình ảnh thang độ xám đã được đề xuất trong một tài liệu khác [3], biến việc phát hiện biển báo giao thông hình tam giác thành phát hiện đoạn đường đơn giản, có thể nhận dạng chính xác biển báo giao thông và không bị ảnh hưởng bởi khoảng cách.

Một hệ thống phát hiện và nhận dạng biển báo giao thông dựa trên máy vectơ hỗ trợ đã được đề xuất trong một tài liệu khác [4], sử dụng thuộc tính tổng quát của máy vectơ hỗ trợ tuyến tính để phân đoạn màu của biển báo giao thông trước tiên và sau đó phân loại biểu mẫu.

Phương pháp phát hiện các đặc điểm màu sắc và hình dạng riêng biệt trước tiên thực hiện phân đoạn màu để thu được vùng quan tâm và nếu vùng quan tâm không được phát hiện thì việc phát hiện dựa trên hình dạng sẽ không còn được thực hiện; thứ hai, phân đoạn màu yêu cầu phải đặt ngưỡng cố định thủ công, khiến việc phát hiện biển báo giao thông trở nên phức tạp và tốn thời gian.

Để giải quyết những vấn đề này và tăng hiệu suất phát hiện, một nghiên cứu [5] đã sử dụng khung AdaBoost để thực hiện phát hiện mô hình hình dạng và màu sắc đồng thời.

Những thay đổi về điều kiện bên ngoài, chẳng hạn như ánh sáng, sự thay đổi màu sắc của biển báo giao thông, v.v., có thể ảnh hưởng đến việc phát hiện biển báo giao thông dựa trên màu sắc và hình dạng.

Tác động phát hiện không ổn định, làm giảm hiệu suất của hệ thống nhận dạng biển báo giao thông và khiến hệ thống dễ bị rò rỉ biển báo giao thông và phát hiện sai. Mạng lưới thần kinh đang được sử dụng thường xuyên hơn để phát hiện mục tiêu khi công nghệ học sâu tiến bộ; ví dụ về các thuật toán này bao gồm Faster R-CNN [6], SSD [7] và YOLO [8], v.v., chủ yếu được tách thành các phương pháp phát hiện một giai đoạn và hai giai đoạn.

Một nghiên cứu trước đây [9] đã trình bày mạng phát hiện nâng cao dựa trên YOLOv1 để giải quyết các vấn đề về độ chính xác thấp và tốc độ phát hiện chậm của các phương pháp phát hiện biển báo giao thông tiêu chuẩn.

Mạng này đã nâng cao tốc độ phát hiện biển báo giao thông và giảm yêu cầu phần cứng của hệ thống phát hiện. Một nghiên cứu khác [10] đã đề xuất phương pháp phát hiện biển báo giao thông dựa trên FasterRCNN nâng cao, với mức cải thiện 12,1% trong mAP, giải quyết thành công các vấn đề như hiệu quả nhận dạng chậm và nâng cao độ chính xác của việc phát hiện và nhận dạng biển báo giao thông.

Trong [11], bộ dữ liệu CCTSDB có được bằng cách mở rộng Bộ dữ liệu biển báo giao thông Trung Quốc (CTSD) và cập nhật thông tin điểm đánh dấu dựa trên thuật toán phát hiện mục tiêu YOLOv2 được cải tiến. Bộ dữ liệu CCTSDB chỉ chứa ba loại biển báo giao thông, không đủ để hoàn thành nhiệm vụ đầy thách thức là nhận dạng biển báo giao thông.

Bộ dữ liệu TT100K [12], do Đại học Thanh Hoa và Tencent phối hợp tạo ra, được trích xuất từ ​​​​toàn cảnh Chế độ xem phố của Trung Quốc và bao gồm nhiều điều kiện ánh sáng và thời tiết, khiến nó trở nên đại diện hơn cho môi trường lái xe thực tế. Nghiên cứu [13] đã sử dụng DenseNet thay vì ResNet trong mạng trục của YOLOv3 và đã xác thực thử nghiệm nó trên tập dữ liệu TT100K.

Thuật toán cải thiện hiệu suất thời gian thực của mô hình phát hiện, nhưng độ chính xác và khả năng thu hồi có xu hướng thấp khi liên quan đến các mục tiêu nhỏ như biển báo giao thông, dẫn đến việc phát hiện sai nghiêm trọng.

Nhiệm vụ phát hiện thường gặp nhiều thách thức hơn trong các nhiệm vụ phát hiện mục tiêu vì mục tiêu cần phát hiện thường lớn và các đặc điểm của nó có thể dễ dàng trích xuất.

Do cấu trúc FPN mà YOLOv3 giới thiệu, giờ đây nó có thể phát hiện các mục tiêu ở nhiều quy mô khác nhau bằng cách sử dụng tính năng tổng hợp đa quy mô, phù hợp với các cảnh giao thông phức tạp và đã cho thấy một số hứa hẹn trong việc phát hiện các mục tiêu nhỏ. Tuy nhiên, vẫn còn một số chỗ cần cải thiện về hình ảnh có độ phân giải cao của bộ dữ liệu biển báo giao thông TT100K.

Tóm lại, phương pháp tiếp cận dựa trên mạng thần kinh có thể giải quyết thành công các vấn đề với hiệu quả nhận dạng thấp, phát hiện sai và phát hiện sai đồng thời nâng cao độ chính xác của việc phát hiện và nhận dạng biển báo giao thông.

Các phương pháp dựa trên mạng thần kinh có độ chính xác tốt hơn hoặc phát hiện nhanh hơn các phương pháp truyền thống nhưng không thể đạt được cả tốc độ phát hiện và độ chính xác phát hiện. Ngoài ra, hầu hết tính năng phát hiện biển báo giao thông đều sử dụng Bộ dữ liệu biển báo giao thông của Đức (GTSDB) và biển báo giao thông ở Đức khác với biển báo ở Trung Quốc; có ít nghiên cứu hơn về phát hiện và nhận dạng biển báo giao thông ở Trung Quốc.

Do đó, để giải quyết các vấn đề trong các phương pháp trên, bài viết này sử dụng bộ dữ liệu TT100K để huấn luyện và phát hiện các biển báo giao thông của Trung Quốc cũng như cải thiện và điều chỉnh mạng YOLOv3, chủ yếu với các cải tiến sau:

(1) Thêm thang dự đoán tính năng thứ tư có kích thước 152 × 152 vào cấu trúc mạng YOLOv3 để tận dụng tối đa các tính năng nông trong mạng để dự đoán các mục tiêu nhỏ. Để đạt được sự hợp nhất các đặc điểm cục bộ và toàn cầu, cấu trúc kim tự tháp không gian được hợp nhất.

(2) Khoảng cách giữa mục tiêu và điểm cố định, tỷ lệ trùng lặp và tỷ lệ đều được tính đến khi sử dụng tổn thất DIoU để hội tụ nhanh hơn và hồi quy khung mục tiêu nhất quán hơn. Điều này làm cho hồi quy khung mục tiêu ổn định hơn.

(3) Phần lớn các biển báo giao thông trong bộ dữ liệu TT100K là mục tiêu vừa và nhỏ, chỉ có một số mục tiêu lớn.

Kết quả là, việc sử dụng mỏ neo ban đầu không phải là một lựa chọn khả thi. Thuật toán phân cụm K-means được sử dụng để tính toán lại 12 điểm neo cho tập dữ liệu TT100K và chiến lược tăng cường dữ liệu được sử dụng để cân bằng và tăng số lượng danh mục mục tiêu không cân bằng của tập dữ liệu.

For more information:1950477648nn@gmail.com