Phân đoạn ngữ nghĩa của nang thận trong hình ảnh MR: Phương pháp tiếp cận 3D hoàn toàn tự động được phát triển thông qua học tập tích cực

Adriana V. Gregory¹ et al

trừu tượng

Tổng cộngquả thậnthể tích (TKV) là dấu ấn sinh học hình ảnh chính được sử dụng để theo dõi sự tiến triển của bệnh và phân loại bệnh nhân bị ảnh hưởng bởi đa nang chiếm ưu thế trên thể tích.quả thậndịch bệnh(ADPKD) để thử nghiệm lâm sàng. Tuy nhiên, những bệnh nhân có TKV tương tự có thể có các biểu hiện và kiểu hình nang khác nhau rõ rệt. Trong nỗ lực định lượng những khác biệt về nang này, chúng tôi đã phát triển thuật toán phân đoạn nang phiên bản ngữ nghĩa 3D đầu tiên chothậntrong hình ảnh MR. Chúng tôi đã định dạng lại cả tác vụ phát hiện / bản địa hóa đối tượng và tác vụ phân đoạn dựa trên cá thể thành một tác vụ phân đoạn ngữ nghĩa. Điều này cho phép chúng tôi giải quyết vấn đề hình ảnh độc đáo này một cách hiệu quả, ngay cả đối với những bệnh nhân có hàng nghìn u nang. Để làm được điều này, một mạng nơ-ron phức hợp (CNN) đã được đào tạo để tìm hiểu các cạnh nang và lõi nang. Hình ảnh được chuyển đổi từ các phân đoạn nang điển hình thành phân đoạn lõi cạnh ngữ nghĩa bằng cách áp dụng toán tử hình thái xói mòn 3D cho các phiên bản được lấy mẫu của hình ảnh. Các nang giảm được dán nhãn là lõi; các khu vực bị xói mòn được giãn ra ở dạng 2D và được dán nhãn là cạnh. Mạng đã được đào tạo về 3 {{1 0}} hình ảnh MR và được xác thực trên 1 0 hình ảnh MR bằng cách sử dụng quy trình xác thực chéo bốn lần. Mô hình tổng thể cuối cùng đã được thử nghiệm trên 20 hình ảnh MR không được nhìn thấy trong quá trình đào tạo / xác nhận ban đầu. Kết quả từ bộ thử nghiệm được so sánh với các phân đoạn từ hai độc giả. Mô hình được trình bày đã đạt được giá trị R2 trung bình là 0,94 cho số lượng nang, 1. 00 cho tổng khối lượng nang, 0,94 cho chỉ số nang và hệ số Xúc xắc trung bình là 0,85. Những kết quả này chứng minh tính khả thi của việc thực hiện tự động phân đoạn u nang ở bệnh nhân ADPKD.

Từ khóaĐa nang chiếm ưu thế trong tử thiquả thậndịch bệnh· Hình ảnh cộng hưởng từ · Phân đoạn cá thể ba chiều · Thể tích khối u · Mạng nơ-ron hội tụ

Liên hệ: ali.ma@wecistanche.com

Cistanche para que sirve ngăn ngừa bệnh thận, bấm vào đây để lấy mẫu

Giới thiệu

Đa nang chiếm ưu thế trong tử thiquả thậndịch bệnh(ADPKD) là một rối loạn di truyền với khoảng 140, 000 người hiện được chẩn đoán ở Hoa Kỳ [1]. Nó được đặc trưng bởi sự phát triển của nhiều u nang trongthận. Khi số lượng và kích thước của các u nang tăng lên, chúng cản trởthận củakhả năng lọc các chất cặn bã ra khỏi máu và thường dẫn đến bệnh thận giai đoạn cuối [2].

Nhiều nghiên cứu đã chỉ ra rằng tổng sốquả thậnthể tích (TKV) là một dấu ấn sinh học tiên lượng hữu ích kết hợp với tuổi và mức lọc cầu thận ước tính để sử dụng trong các thử nghiệm lâm sàng và dự đoán suy giảm chức năng thận [3–5]. Mặc dù TKV là quan trọng, nhưng có nhiều thông tin cấu trúc hơn có thể được mô tả. Ví dụ, các dấu ấn sinh học có nguồn gốc từ hình ảnh khác như số lượng và kích thước u nang sẽ cung cấp thêm thông tin chi tiết về tình trạng bệnh [6]. Bệnh nhân ADPKD có TKV tương tự có thể biểu hiện với cácquả thậnthành phần u nang (tức là một vài u nang lớn, nhiều u nang nhỏ hoặc sự kết hợp của các u nang lớn và nhỏ). Thông tin bổ sung này có thể có ý nghĩa về mặt lâm sàng và hiện là một yếu tố được sử dụng để phân loại các nhóm hình ảnh điển hình và không điển hình ở bệnh nhân ADPKD [7]. Hơn nữa, Bae et al. [8] gần đây đã đề xuất rằng việc loại trừ các nang xuất tiết nổi bật có thể cải thiện việc phân loại bệnh nhân. Tuy nhiên, việc đánh giá u nang này thường được thực hiện theo cách thủ công bằng phương trình ellipsoid để ước tính khối lượng u nang hoặc bằng các phương pháp bán tự động phụ thuộc vào người dùng.

Trong vài năm qua, học máy (đặc biệt là học sâu) đã được triển khai thành công để phân đoạn hình ảnh tự nhiên (tức là hình ảnh được chụp bằng máy ảnh RGB) [9–11]. Kết quả là, các nhà nghiên cứu phân tích hình ảnh y tế đã dịch và phát triển các công nghệ mới để phân đoạn một số cơ quan và mô [12]. Trong ADPKD, các phương pháp hoàn toàn tự động sử dụng mạng thần kinh sâu đã được triển khai để phân đoạn đa nangthậntrong chụp CT có và không có tăng cường độ tương phản đạt đến hệ số Xúc xắc tương ứng là {{0}}. 86 và 0,92 [13, 14]. Các mô hình hoàn toàn tự động cũng đã được triển khai cho T 2- hình ảnh MR có trọng số [15, 16] hiển thị kết quả chính xác (Xúc xắc=0. 97).

Tuy nhiên, phân đoạn đối tượng tiến thêm một bước và có khả năng phân đoạn các ví dụ của cùng một lớp (ví dụ: tách từng thể hiện của ô tô hoặc ô trong một hình ảnh). Mặt nạ R-CNN [17] là một phương pháp được sử dụng rộng rãi để tạo phân đoạn cá thể bằng cách áp dụng một thuật toán phát hiện đối tượng. Hầu hết các ứng dụng của Mask R-CNN đều hướng tới việc phân đoạn các hình ảnh tự nhiên [18–21] và một số cho mô bệnh học và hình ảnh y tế 2D [22–26]. Tuy nhiên, đối với hình ảnh 3D, kích thước quét cao hơn có thể làm tăng đáng kể yêu cầu bộ nhớ GPU. Chỉ có một số nghiên cứu X quang đã báo cáo việc sử dụng Mask R-CNN, để phân đoạn các nốt phổi trong CT ngực [27] và đánh giá xuất huyết trong CT đầu [28]. Mặt khác, nhiệm vụ phân đoạn u nang mẫu đặt ra một thách thức lớn hơn, không chỉ vì số lượng trường hợp cao hơn (lên đến hàng nghìn u nang), khiến việc triển khai nó bằng cách sử dụng phương pháp phát hiện đối tượng không khả thi mà còn do tính kết nối cao / bản chất nhóm của các u nang trong ADPKD.

Một số nghiên cứu đã triển khai các cách tiếp cận phân đoạn truyền thống hơn để tạo ra các phân đoạn u nang ngữ nghĩa và thể hiện cho siêu âm và chụp CT [29–32], bằng cách áp dụng các phương pháp dựa trên cường độ và hình dạng. Trong hình ảnh MR, hai phương pháp tiếp cận bán tự động đã được triển khai để thực hiệnquả thậnphân đoạn u nang. Cách tiếp cận đầu tiên sử dụng phương pháp phân cụm k-mean, sau đó là phân tích các thành phần được kết nối để cung cấp phân đoạn nang điển hình [33]. Cách tiếp cận thứ hai sử dụng phương pháp dựa trên khu vực để tạo bản đồ cường độ tín hiệu nhị phân nhằm tạo ra phân đoạn nang ngữ nghĩa [34]. Hầu hết các cách tiếp cận này dựa trên thông tin cường độ có thể bao gồm các khu vực khác có giá trị cường độ tương tự như bể thận và loại trừ một số u nang có cường độ tín hiệu khác nhau (ví dụ: u nang xuất huyết). Một phương pháp hoàn toàn tự động có thể khắc phục những vấn đề này và cung cấp các thông số định lượng u nang chính xác hơn, đặc biệt đối với những trường hợp nghiêm trọng không dễ dàng thực hiện các phương pháp phân đoạn thủ công và bán tự động. Do đó, trong bài báo này, chúng tôi đề xuất một mô hình học sâu cho phân đoạn u nang ví dụ 3D để đo tổng thể tích u nang (TCV) cũng như số lượng u nang và chỉ số nang.

Nguyên liệu và phương pháp

Nghiên cứu hình ảnh hồi cứu này đã được Hội đồng Đánh giá Tổ chức của chúng tôi xem xét và phê duyệt. Phân đoạn thủ công 3D của các nang riêng lẻ trong hình ảnh MR từ bệnh nhân ADPKD là một công việc rất khó khăn và tốn thời gian. Để giảm bớt quá trình tạo tập dữ liệu chuẩn tham chiếu, một mô hình ban đầu đã được thực hiện. Mô hình ban đầu được đào tạo trên 15 3 hình ảnh D MR, được xác nhận trên 5 hình ảnh và thử nghiệm trên 5 hình ảnh bổ sung. Đầu ra và khuôn khổ của mô hình ban đầu sau đó được sử dụng cho mô hình cuối cùng được cải tiến.

Mô hình ban đầu: Tập dữ liệu MRI

25 (n=25) bệnh nhân ADPKD và hình ảnh MRI có sẵn đại diện cho các giai đoạn phát triển khác nhau của u nang vàquả thậnsự phóng to đã được xác định từ Cơ sở dữ liệu hình ảnh PKD của chúng tôi. Chỉ các bản quét bão hòa chất béo có trọng số T {{{0}} hiển thị không có hiện tượng mờ và có được với 3- cường độ trường T (n=23) và trường 1. 5- T sức mạnh (n=2) đã được chọn cho nghiên cứu này. Khi hình ảnh được chụp trong khoảng thời gian vài năm, sự thu nhận MR cụ thể khác nhau, nhưng tất cả đều bao gồm kích thước ma trận 256 × 256 × Z (với FOV và Z đủ lớn để bao phủ toàn bộ thận). Kích thước voxel hình ảnh trung bình là 1,37 mm (phạm vi 0. 82 đến 1,56 mm) trong mặt phẳng, với độ dày lát cắt trung bình là 3. 0 mm (phạm vi 3. 0 đến 9,0 mm).

TKV có được bằng cách áp dụng tự độngquả thậnphân đoạn [35] có sẵn cho mọi trường hợp. Các bản quét được sắp xếp dựa trên TKV của chúng và ngẫu nhiên thành các bộ đào tạo (n=15), xác nhận (n=5) và kiểm tra (n=5) như thể hiện trong Hình 1 theo phân tầng lấy mẫu để đảm bảo phân bố kích thước thận giống nhau giữa các bộ.

Mô hình ban đầu: Tiêu chuẩn tham chiếu

Phân đoạn nang: Bộ thử nghiệm

Các u nang được truy tìm thủ công bởi hai độc giả đã qua đào tạo bằng phần mềm PKD-GUI (có sẵn trực tuyến tại https://github. Com / TLKline / InstanceCystSeg) được phát triển trong nhà. Phần mềm cho phép theo dõi tự do và các phân đoạn cuối cùng được lưu dưới dạng tệp NIFTI nén. Người đọc chỉ sử dụng một nhãn để theo dõi tất cả các nang ngoại trừ bể thận, mạch máu, mô thận bình thường và các khu vực cường độ cao nhỏ hơn 4 voxels mà không thể phân biệt được với nhiễu hình ảnh. Ngoài ra, độc giả bị mù thông tin về bệnh nhân và các đặc điểm của độc giả khác.

Phân đoạn cyst phiên bản: Bộ thử nghiệm

Một ví dụ ban đầu về phân đoạn u nang được tạo ra từ việc theo dõi u nang thủ công bằng cách áp dụng thuật toán lưu vực 3D cho bản đồ khoảng cách Euclidean 3D dựa trên hình ảnh MRI và phân đoạn u nang (MATLAB, v.R2018b). Thuật toán đã gán các nhãn khác nhau cho mỗi u nang theo thứ tự tăng dần. Việc phân đoạn u nang điển hình sau đó đã được xem xét bởi cùng một đầu đọc đã thực hiện phân đoạn u nang thủ công và được sửa chữa khi cần thiết (tức là bằng cách tách hoặc hợp nhất các nhãn) bằng phần mềm nội bộ được mô tả trước đó.

Mô hình ban đầu: Xử lý trước dữ liệu

Tiêu chuẩn tham chiếu: Bộ đào tạo và xác nhận

Để đẩy nhanh quá trình phân đoạn u nang cho các bộ đào tạo và xác nhận, một thuật toán phân đoạn u nang ngữ nghĩa tự động được phát triển trước đó đã được sử dụng để thực hiện phân đoạn u nang một nhãn [36]. Tiếp theo, phân đoạn kết quả trải qua quá trình lưu vực 3D được mô tả trong phần trước. Cuối cùng, những hình ảnh đã được Reader 1 xem xét.

Trước khi đào tạo mô hình học sâu, các mặt nạ phân đoạn đã được chuyển đổi thành các phân đoạn ngữ nghĩa dưới dạng cyst-edge và cyst-core. Cạnh thu được bằng cách trừ mặt nạ u nang với mặt nạ u nang giãn nở 3D (sử dụng 6- phần tử cấu trúc được kết nối). Lõi u nang giống như mặt nạ u nang. Quá trình chuyển đổi được thực hiện theo kiểu từng nang một (MATLAB, v.R2018b).

Mô hình ban đầu: Phân đoạn Cyst Instance Semantic

Mô hình học sâu

Mô hình học sâu dựa trên mạng nơ-ron U-Net [37] sử dụng các mô-đun khởi động tương tự như công việc trước đó [36]. Đầu vào cho mô hình bao gồm 4 hình ảnh:

3 lát MR liên tiếp và 1quả thậnmặt nạ phân đoạn tương ứng với hình ảnh đầu vào MR ở giữa. Đầu ra của mô hình là hình ảnh lõi biên được dự đoán cho hình ảnh đầu vào giữa (Hình 2). Đối với các lát cắt MRI đầu tiên và cuối cùng của một bài kiểm tra, hình ảnh đầu vào đầu tiên và thứ ba tương ứng là ma trận không đệm.

Đào tạo người mẫu

Mô hình được đào tạo trên một đơn vị xử lý đồ họa NVidia (kiểu: Tesla P40) bằng cách sử dụng thư viện Keras Python và Python 3.6.1. Số lượng kỷ nguyên được đặt thành 200 với kích thước lô là 6. Việc đánh giá phân khúc được đánh giá bằng hàm mất mát Jaccard, trong đó r là phân đoạn tham chiếu, p là phân đoạn dự đoán và N là số voxels. Trình tối ưu hóa Adam đã được sử dụng với tốc độ học tập=1 e-3.

Mô hình ban đầu: Xử lý bài đăng dữ liệu

Để gán một nhãn riêng lẻ cho mỗi cyst, một thuật toán các thành phần được kết nối với kết nối voxel 6 lân cận đã được áp dụng cho phân đoạn lõi ở đầu ra của mô hình học sâu.

Mô hình cuối cùng: Bộ dữ liệu MRI

Ba mươi lăm (n=35) hình ảnh 3D MR từ bệnh nhân ADPKD và có sẵn 1. 5- T hoặc 3- TT 2- hình ảnh bão hòa chất béo có trọng số đại diện cho một hình ảnh rộng hơn một loạt các giai đoạn phát triển khác nhau của u nang và sự to ra của thận đã được thêm vào bộ dữ liệu từ mô hình ban đầu. Các phân đoạn của TKV đã có sẵn cho mọi trường hợp. Tổng cộng, 6 0 hình ảnh MR với kích thước ma trận 256 × 256 × Z hoặc 512 × 512 × Z (với FOV và Z đủ lớn để bao phủ toàn bộ thận) bao gồm tập dữ liệu cuối cùng. Kích thước voxel hình ảnh trung bình là 1,41 mm (phạm vi 0. 8 đến 1,88 mm) trong mặt phẳng, với độ dày lát cắt trung bình là 4. 0 mm (phạm vi 3. 0 đến 9,0 mm).

Các hình ảnh được sắp xếp dựa trên số đo của TKV. Bốn mươi hình ảnh MR (bao gồm 25 hình ảnh từ mô hình ban đầu) được sử dụng để đào tạo và xác nhận bằng kỹ thuật xác nhận chéo bốn lần. 20 hình ảnh MR còn lại được sử dụng để thử nghiệm. Hình 3 cho thấy các phân phối của TKV cho tất cả các bộ.

Mô hình cuối cùng: Tiêu chuẩn tham chiếu

Phân đoạn nang thực thể của 35 hình ảnh MR mới được thêm vào được tạo ra bằng cách sử dụng mô hình ban đầu. Hai người đọc độc lập đã sửa đổi hình ảnh thử nghiệm (n=20) và một người đọc đã sửa đổi hình ảnh đào tạo / xác thực (n=15). Cuối cùng, tất cả 60 mặt nạ phân đoạn u nang cá thể và hình ảnh MR tương ứng đã được lấy mẫu lên kích thước ma trận 512 × 512 × 3Z bằng cách sử dụng phép nội suy song tuyến tính và lưỡng cực tương ứng. Một hoạt động mở đã được áp dụng cho mỗi cá thể nang để bảo toàn phân đoạn cá thể chính xác sau khi xử lý hậu kỳ (tức là giãn nở sau khi ăn mòn lõi).

Các phân đoạn cá thể đã được chuyển đổi thành phân đoạn lõi cạnh ngữ nghĩa trong đó lõi là kết quả của các cá thể nang bị bào mòn 3D và cạnh có được bằng cách thêm các cạnh thể hiện nang bên trong 3D và 2D. Các phép toán hình thái học 3D và 2D được thực hiện bằng cách sử dụng nhân kết nối 3 × 3 × 3 voxel 6- và nhân hoạt động 3 × 3 voxel 4- tương ứng.

Mô hình cuối cùng: Học tập theo nhóm

Bốn mô hình thu được từ bốn bộ xác thực chéo bằng cách sử dụng kiến ​​trúc U-Net được hiển thị trong Hình 2. Ba mô hình có hiệu suất tốt nhất trên bộ xác thực được kết hợp làm mô hình tổng hợp cuối cùng. Đầu ra được tạo ra bởi đa số phiếu bầu của ba phân đoạn cạnh và cốt lõi. Sơ đồ của mô hình tổng thể cuối cùng được hiển thị trong Hình 4.

Mô hình cuối cùng: Xử lý bài đăng

Từ kết quả mô hình ban đầu, quan sát thấy rằng, do độ phân giải hình ảnh thấp hơn trên trục Z, một số nhân u nang được kết nối với u nang sau / trước. Để cải thiện việc chuyển đổi từ phân đoạn ngữ nghĩa sang phân đoạn ví dụ và với hiểu biết rằng các nang có hình dạng tương tự như hình cầu, trước tiên chúng tôi đã tính toán bản đồ khoảng cách Euclid 3D trên phân đoạn lõi. Sau đó, thuật toán 3D Watershed được áp dụng để tách bất kỳ u nang nào có thể không được phân tách bằng phân đoạn cạnh. Tiếp theo, với mục tiêu bảo tồn các lõi nang chủ yếu bao gồm một số voxels có thể bị mất sau thuật toán Watershed, một thuật toán các thành phần được kết nối với 6- kết nối hàng xóm gần nhất đã được áp dụng cho sự khác biệt giữa bản đồ lõi được dự đoán và 3D Sản lượng đầu nguồn. Các nhãn của phân đoạn cá thể thành phần được kết nối 3D được gán bắt đầu từ một nhãn cộng với nhãn cuối cùng từ đầu ra 3D Watershed. Sau đó, phân đoạn cá thể thành phần được kết nối đã được thêm vào phân đoạn cá thể đầu nguồn. Cuối cùng, tất cả các trường hợp u nang được làm giãn nở ở dạng 3D bởi phần tử có cấu trúc 3 × 3 × 3 voxel 6- được kết nối. Bước xử lý hậu kỳ cuối cùng là thu nhỏ hình ảnh về hình dạng ban đầu.

Phân tích thống kê

Mô hình ban đầu và mô hình tổng hợp được đánh giá bằng cách so sánh các phân đoạn u nang cá thể tự động với các phân đoạn u nang tiêu chuẩn tham chiếu 3D. Các phân đoạn cá thể đã được mã hóa hai lần để so sánh khôn ngoan bằng cách sử dụng chỉ số Jaccard, hệ số Sorensen-Dice, độ chính xác, thu hồi và thay đổi âm lượng tương đối tuyệt đối. TCV, được tính bằng tổng của tất cả voxel được phân đoạn nhân với khối lượng voxel, được đánh giá bằng phân tích Bland-Altman và hồi quy tuyến tính. Tổng số u nang được đánh giá bằng cách sử dụng hồi quy tuyến tính. Cuối cùng, chỉ số nang, được định nghĩa là phần trăm thể tích nang trên tổng sốquả thậnkhối lượng, được đánh giá bằng phân tích Bland – Altman và hồi quy tuyến tính. Phân tích thống kê từng hình thành bằng cách sử dụng JMP (JMP, phiên bản 14) và MedCalc (Phần mềm thống kê MedCalc, phiên bản 19.1.3).

Kết quả

Mô hình ban đầu: 5 ‑ Case Test Set — Phân đoạn Cyst

Kết quả của các TCV được tính toán từ việc phân đoạn được thực hiện bởi Reader 1, Reader 2 và những kết quả thu được tự động ở chế độ ban đầu (được sắp xếp dựa trên TKV tăng dần) được quan sát trong Bảng 1. Phân tích Bland-Altman dẫn đến độ chệch và độ chính xác của - 8,9 phần trăm ± 7. 0 phần trăm giữa Reader 1 và Reader 2, 0. 9 phần trăm ± 32,2 phần trăm giữa Reader 1 và mô hình ban đầu và 9,5 phần trăm ± 30,8 phần trăm giữa Reader 2 và mô hình ban đầu .

Mô hình ban đầu: Bộ kiểm tra trường hợp 5 ‑ — Phân tích số lượng nang

Tổng số nang là K1, 102, 115, 224; K2, 96, 99, 105; K3, 274, 178, 183; K4, 676, 755, 721; và K5, 279, 177, 145 nang, lần lượt cho Độc giả 1, 2 và mô hình ban đầu. Phân tích hồi quy tuyến tính dẫn đến R 2=0. 94 giữa Bộ đọc 1 và Bộ đọc 2, R 2=0. 82 giữa Bộ đọc 1 và mô hình ban đầu và R 2=0. 96 giữa Bộ đọc 2 và mô hình ban đầu.

Một phần đại diện từ ba trường hợp thử nghiệm cho thấy sự khác biệt giữa Bộ đọc 1, Bộ đọc 2 và mô hình ban đầu được trình bày trong Hình 5. Các mũi tên màu vàng trỏ đến các nang được phân đoạn khác nhau giữa các bộ đọc hoặc giữa bộ đọc và phương pháp tự động. Trong hầu hết các trường hợp, mô hình đã gán một nhãn cho các u nang được phân cụm. Mũi tên màu đỏ cho thấy sự khác biệt giữa Reader 1 và Reader 2, trong đó Reader 1 đã loại trừ cường độ sáng được xem như một phần của bể thận nhưng Reader 2 giải thích khu vực này là một u nang.

Mô hình cuối cùng: Bộ kiểm tra trường hợp 20 ‑ — Phân đoạn nang

Bảng 3 tóm tắt các số liệu tương tự giữa Reader 1, Reader 2 và mô hình cuối cùng cho tập hợp kiểm tra trường hợp 20-. Chúng tôi quan sát thấy rằng các số liệu tương tự giữa Reader 1 và Reader 2 cho thấy sự đồng ý cao hơn so với kết quả từ bộ thử nghiệm trường hợp 5- ban đầu. Điều này có thể do hiệu ứng thiên vị gây ra vì cả hai trình đọc đều bắt đầu từ một phân đoạn cá thể ban đầu được tạo bởi mô hình ban đầu. Hơn nữa, chúng tôi đã quan sát thấy hiệu suất tương tự giữa mô hình cuối cùng và cả hai đầu đọc, xem xét rằng bộ thử nghiệm bao gồm một loạt các kiểu hình ADPKD.

Phân tích Bland – Altman của TCV dẫn đến độ chệch và độ chính xác là 12,5% ± 10,1% giữa Bộ đọc 1 và Bộ đọc 2, 10,2% ± 11,2% giữa Bộ đọc 1 và mô hình tổng hợp, - 2,3% ± 9,9% giữa Bộ đọc 2 và mô hình tổng hợp, và 4,3 phần trăm ± 9,3 phần trăm giữa mức trung bình của Bộ đọc 1 với Bộ đọc 2 và mô hình tổng hợp. Phân tích hồi quy tuyến tính dẫn đến sự thống nhất hoàn hảo (R {2=1. 00) giữa Reader 1 và mô hình tổng hợp, Reader 2 và mô hình tổng hợp, và mức trung bình của người đọc với mô hình tổng hợp. Phân tích hồi quy giữa Trình đọc 1 và Trình đọc 2 cho thấy mối tương quan gần như hoàn hảo với R 2=0. 98. Hình 6 cho thấy Bland – Altman và đồ thị hồi quy tuyến tính cho TCV.

Phân tích Bland-Altman về chỉ số nang dẫn đến độ chệch và độ chính xác là 12,6 phần trăm ± 10,5 phần trăm giữa Reader 1 và Reader 2, 10,2 phần trăm ± 11,2 phần trăm giữa Reader 1 và mô hình tổng hợp, - 2,4 phần trăm ± 9,8 phần trăm giữa Reader 2 và mô hình tổng hợp, và 4,3 phần trăm ± 9,4 phần trăm giữa cả mức trung bình của người đọc và mô hình tổng hợp. Mối tương quan tốt nhất của chỉ số u nang là giữa mức trung bình của cả người đọc và mô hình tổng hợp (R 2=0. 94). Phân tích hồi quy tuyến tính cho kết quả R 2=0. 90 giữa Bộ đọc 1 và Bộ đọc 2, R 2=0. 92 giữa Bộ đọc 1 và mô hình tổng hợp, R 2=0. 90 giữa Bộ đọc 2 và tập hợp người mẫu. Hình 7 cho thấy Bland-Altman và đồ thị hồi quy tuyến tính cho chỉ số nang.

Mô hình cuối cùng: Bộ kiểm tra trường hợp 20 ‑ — Phân tích số lượng nang

Tổng số u nang thu được từ các phân đoạn u nang điển hình được phân tích theo mối tương quan (Hình 8). Bộ đọc 2 và mô hình tổng hợp cho thấy mối tương quan mạnh nhất với R 2=0. 96, trong đó mô hình phát hiện nhiều nang hơn một chút so với Bộ đọc 2. So sánh giữa Bộ đọc 1 và mô hình tổng hợp cuối cùng cho thấy sự đồng ý tốt (R {{6} } .88), trong đó Reader 2 đã xác định được nhiều u nang hơn so với mô hình tổng hợp cho hầu hết các trường hợp. Tuy nhiên, số lượng nang trung bình giữa những người quan sát cho thấy sự thống nhất tuyệt vời với số lượng nang của mô hình tổng hợp (R 2=0. 94) (Hình 8d). Cuối cùng, so sánh giữa Trình đọc 1 và Trình đọc 2 cho thấy mức độ đồng ý thấp nhất với R 2=0. 83, trong đó Trình đọc 1 xác định được nhiều nang hơn so với Trình đọc 2.

Một phần đại diện từ ba trường hợp thử nghiệm được trình bày trong Hình 9. Chúng ta có thể quan sát thấy rằng phương pháp tự động cung cấp phân đoạn trường hợp tốt cho các trường hợp ADPKD với các nang nhiều cụm (là các trường hợp khó khăn nhất đối với thuật toán) và kết quả trông trực quan trên ngang bằng với các phân đoạn ví dụ từ hai độc giả.

Cuối cùng, so sánh giữa TKV (tức là dấu ấn sinh học hình ảnh chính để đánh giá ADPKD) với TCV và số lượng nang được thể hiện trong Hình 10. Phân tích hồi quy tuyến tính cho thấy 98% sự thay đổi trong TCV được giải thích bằng mối liên hệ tuyến tính của nó với TKV; tuy nhiên, chỉ có 53% sự thay đổi về số lượng u nang được giải thích bởi sự liên kết tuyến tính của nó với TKV. Điều này cung cấp bằng chứng cho thấy số lượng nang có thể cung cấp thêm thông tin về kiểu hình ngoài TKV.

Thảo luận

Trong nghiên cứu này, chúng tôi trình bày cách tiếp cận học sâu đầu tiên để phân đoạn nhiều trường hợp u nang phân cụm trong hình ảnh MR cho bệnh nhân ADPKD. Việc so sánh TCV, số lượng nang và chỉ số nang được dự đoán với kết quả từ hai độc giả cho thấy rằng phương pháp tiếp cận tự động có thể tạo ra các phân đoạn nang 3D chính xác.

Mô hình học sâu yêu cầu lượng lớn dữ liệu để tạo ra kết quả tốt nhất. Việc thiếu các hình ảnh được chú thích 3D là một nút thắt lớn khi bắt đầu nghiên cứu. 5 hình ảnh được phân đoạn thủ công trong bộ thử nghiệm ban đầu cần vài tuần để hoàn thành và rất tốn công sức. Những hình ảnh thách thức nhất là những hình ảnh từ những bệnh nhân ADPKD tiến triển / nặng, nơi nhiều u nang tụ lại với nhau và ranh giới không được xác định như khi các u nang được bao quanh bởiquả thậnnhu mô. Để vượt qua trở ngại này, nghiên cứu đã được chia thành hai phần để giải quyết vấn đề này bằng cách học tập tích cực. Phần đầu tiên của nghiên cứu bao gồm một mô hình ban đầu được đào tạo trên một tập dữ liệu nhỏ. Phần thứ hai của nghiên cứu bao gồm việc phát triển mô hình cuối cùng bằng cách sử dụng một tập dữ liệu lớn hơn, trong đó tiêu chuẩn tham chiếu được khởi tạo bởi mô hình ban đầu.

Kết quả từ nghiên cứu này ngang bằng với kết quả thu được của Bae et al. [33], nơi ông đề xuất một phương pháp bán tự động để tạo ra các phân đoạn u nang cá thể. Độ chệch của TCV được báo cáo bằng cách sử dụng phân đoạn bán tự động so với khối lượng dựa trên khu vực là - 9 phần trăm với R 2=0. 98 cho số lượng u nang. Trong nghiên cứu của chúng tôi, độ lệch TCV giữa người đọc và phương pháp hoàn toàn tự động lần lượt là 10,2 phần trăm và - 2,3 phần trăm với R 2=0. 94 cho số lượng nang. Điều đáng nói là bộ thử nghiệm trong nghiên cứu của chúng tôi bao gồm các trường hợp có TCV cao hơn và số lượng nang lớn hơn và mô hình tổng hợp được đề xuất không yêu cầu bất kỳ đầu vào nào của người dùng.

Các khối u trong hình ảnh MR có thể được hiển thị với các cường độ khác nhau tùy thuộc vào thành phần của khối u. Hầu hết các u nang trong ADPKD là các u nang đơn giản (tức là không chứa các thành phần rắn) và được hiển thị dưới dạng vùng cường độ cao trên T 2- hình ảnh MR có trọng số. Tuy nhiên, các u nang phức tạp (ví dụ: u nang chứa nhiều protein, xuất huyết, nhiễm trùng), thường được coi là vùng hypointense [38]. Một nguồn khác của sự khác biệt về cường độ u nang được quan sát tùy thuộc vào cường độ từ trường của máy quét MR. Máy quét Three-tesla có cường độ từ trường cao hơn và cung cấp SNR cao hơn, do đó chất lượng hình ảnh và độ tương phản nang tốt hơn. Để cung cấp phân đoạn u nang chính xác, phương pháp tự động là bắt buộc

cường độ bất biến. Với mục tiêu tăng khả năng tổng quát hóa của mô hình, mô hình tổng thể cuối cùng đã được đào tạo dựa trên các hình ảnh thu được bằng 1 máy quét. 5- T và 3- T MR. Hơn nữa, chúng tôi đã đưa vào các hình ảnh trình bày các u nang phức tạp trong một loạt các kiểu hình ADPKD và hình ảnh với các độ phân giải khác nhau. Hơn nữa, nhóm thuần tập bao gồm các trường hợp có TKV khác nhau, từ khối lượng gần với khối lượng bình thườngthận(~ 290 mL) lên đến các trường hợp đạt gần 10, 000 mL, thực tế bao gồm toàn bộ phạm vi TV trong ADPKD. Hai ví dụ về khả năng tổng quát hóa được cải thiện của mô hình tổng thể so với mô hình ban đầu có thể được quan sát trong Hình 11, trong đó mô hình cuối cùng có thể xác định các nang có mật độ thấp hơn.

The conversion from instance cyst segmentation to semantic edge-core segmentation for training the model is another key step, particularly for clustered cysts. The semantic edge segmentation for the initial model was generated by applying a dilation morphology operator. This approach was chosen because some cysts are present on only one slice and an erosion approach would not preserve these cysts after the conversion. The dilation method provided a good estimation of the cyst edges on the in-plane view (x and y view) but, due to the lower resolution on the Z dimension, the posterior and anterior cyst edges interfered with adjacent cysts. For the final model, we decided to generate the semantic edge segmentation applying the erosion morphology operator. To preserve all cysts, the MR images and the corresponding instance segmentations were interpolated to a size 512 × 512 × 3Z. Thus, cysts present on only one slice would be interpolated to 2 additional slices. We up-sampled the images with an in-plane matrix size of 256 × 256 to 512 × 512 because the ensemble model requires a consistent input matrix size. To account for the higher class imbalance (core class >>lớp cạnh) do nội suy, chúng tôi thực hiện sự giãn nở 2D của các cạnh. Sự bảo tồn được cải thiện của TCV và số lượng nang của phương pháp xói mòn so với phương pháp giãn nở có thể được quan sát trong Hình 12.

Thiết kế của mô hình cuối cùng bao gồm nhóm biểu quyết của ba mô hình khác nhau. Các mô hình này là ba mô hình hoạt động tốt nhất trên tập hợp xác thực thu được từ phương pháp xác nhận chéo bốn lần. Mô hình tổng hợp với thuật toán bỏ phiếu đa số được thực hiện vì các nhóm biểu quyết có đặc điểm là ổn định hơn và có hiệu suất tốt hơn so với các mô hình đơn lẻ [36]. Kết quả thỏa thuận giữa các mô hình riêng lẻ, mô hình đồng bộ và độc giả có thể tìm thấy trong phần tài liệu bổ sung.

Một hạn chế của hình ảnh MR là độ phân giải thấp để hiển thị các vi nang. Thể tích voxel trung bình trong nghiên cứu này là {{0}}. 0 076 ± 0,0034 mL. Tuy nhiên, do nhiễu vốn có trên ảnh MR (tức là nhiễu muối và hạt tiêu), chúng tôi đã triển khai ngưỡng kích thước u nang thấp hơn là 4 voxels (đường kính mặt phẳng trung bình 2,76 ± 0,48 mm) sau khi xử lý sau.

Các phương pháp tiếp cận phát hiện đối tượng để thực hiện phân đoạn cá thể cho các cá thể chồng chéo và nhóm đang ngày càng trở nên phổ biến do hiệu suất cao của chúng trên các hình ảnh y tế tự nhiên và 2D [18–26]. Tuy nhiên, yêu cầu bộ nhớ GPU cao khiến cách tiếp cận này không thể thực hiện cho hình ảnh 3D với một số lượng lớn các phiên bản. Liu và cộng sự. [27] đã thực hiện mô hình dựa trên Mask R-CNN để phân đoạn các nốt phổi trên hình ảnh CT. Mặc dù các nốt ở phổi không xuất hiện với số lượng giống như các u nang ở ADPKD, Liu et. al đã sử dụng chiến lược dựa trên bản vá để tính đến kích thước của các lần quét CT và bộ nhớ GPU giới hạn. Trong nỗ lực giảm độ phức tạp tính toán, một số nhà nghiên cứu đã sử dụng các phương pháp tương tự như định lý 4 màu để đào tạo thuật toán học sâu để dự đoán phân đoạn phiên bản 2D [39]. Mặc dù cách tiếp cận này hoạt động tốt đối với hình ảnh 2D, nhưng vẫn chưa rõ có bao nhiêu màu sắc cần thiết cho hình ảnh 3D, đặc biệt là đối với vấn đề của chúng tôi trong việc xác định tự động và phân biệt riêng biệt hàng trăm đến hàng nghìn u nang. Trong nghiên cứu này, chúng tôi đã sử dụng phương pháp phân đoạn cá thể theo ngữ nghĩa, cách tiếp cận này thực hiện rất giống với hai độc giả có kinh nghiệm và, mặc dù, chúng tôi sử dụng toán tử hình thái học để chuyển đổi hình ảnh từ thể hiện sang ngữ nghĩa và phân đoạn ngữ nghĩa sang thể hiện, chúng tôi đã chỉ ra rằng các thao tác này không có ảnh hưởng đến khối lượng u nang cuối cùng và tổng số u nang. Sự phát triển trong tương lai của các chiến lược phân đoạn cá thể có thể làm giảm nhu cầu về yêu cầu bộ nhớ cao như vậy và mang lại hiệu quả triển khai phân đoạn cá thể cyst bằng cách sử dụng phương pháp dựa trên phát hiện / địa phương hóa đối tượng.

Hạn chế chính của nghiên cứu là thiếu tiêu chuẩn vàng. Không có số lượng chính xác các nang và giá trị TCV; do đó, chúng tôi dựa vào độ chính xác của hai trình đọc hình ảnh y tế được đào tạo. Một hạn chế khác là kích thước nhóm thuần tập nhỏ, điều này đã cản trở chúng tôi phân tích giá trị lâm sàng của những dấu ấn sinh học hình ảnh mới này; Tuy nhiên, đây là mục tiêu chính của chúng tôi cho công việc trong tương lai. Cuối cùng, các hình ảnh chỉ được lấy từ tổ chức của chúng tôi với cùng một giao thức hình ảnh. Một tập dữ liệu lớn hơn với các mẫu từ các tổ chức và nhà cung cấp máy khác nhau có thể giúp khái quát hóa thêm mô hình cá thể cyst. Ngoài ra, công việc này có thể được mở rộng thông qua việc học tập tích cực đối với các chuỗi MR khác như hình ảnh bão hòa không béo có trọng số T 2- và hình ảnh có trọng lượng T 1-, có thể thêm thông tin hình thái học mới vào mô hình. Hơn nữa, một kiến ​​trúc tương tự có thể được áp dụng cho các phương thức hình ảnh khác như chụp CT.

Kết luận

Chúng tôi đã phát triển một phương pháp hoàn toàn tự động để phân đoạn 3D mô hình nang thận trong hình ảnh T2 MR cho bệnh nhân ADPKD với bệnh nhẹ, trung bình và nặng. Cần có các nghiên cứu trong tương lai với bộ dữ liệu lớn hơn để hiểu rõ hơn về cách các dấu ấn sinh học bổ sung này liên quan đến tình trạng bệnh và tiên lượng của bệnh nhân.

Tuyên bố

Xung đột lợi íchCác tác giả tuyên bố không có lợi ích cạnh tranh.

Mở quyền truy cậpBài viết này được cấp phép theo Creative Commons Attribution 4. 0 Giấy phép Quốc tế, cho phép sử dụng, chia sẻ, phóng tác, phân phối và tái sản xuất ở bất kỳ phương tiện hoặc định dạng nào, miễn là bạn ghi công phù hợp cho (các tác giả gốc ) và nguồn, cung cấp liên kết đến giấy phép Creative Commons và cho biết liệu các thay đổi có được thực hiện hay không. Hình ảnh hoặc tài liệu của bên thứ ba khác trong bài viết này được bao gồm trong giấy phép Creative Commons của bài viết trừ khi có quy định khác trong hạn mức tín dụng cho tài liệu. Nếu tài liệu không có trong giấy phép Creative Commons của bài viết và mục đích sử dụng của bạn không được quy định pháp luật cho phép hoặc vượt quá mục đích sử dụng được phép, bạn sẽ cần xin phép trực tiếp từ chủ bản quyền.

Người giới thiệu

1. Willey C, Kamat S, Stellhorn R, Blais J: Phân tích dữ liệu toàn quốc để xác định tỷ lệ mắc và tỷ lệ hiện mắc được chẩn đoán của bệnh thận đa nang chiếm ưu thế tự tử ở Hoa Kỳ: 2013–2015. Bệnh thận 5: 107-117, 2019

2. Torres VE, Harris PC, Pirson Y: Bệnh thận đa nang chiếm ưu thế trên tử cung. The Lancet 369: 1287-1301, 2007

3. Perrone RD và cộng sự: Tổng thể tích thận là một dấu ấn sinh học tiên lượng về sự suy giảm chức năng thận và tiến triển thành bệnh thận giai đoạn cuối ở những bệnh nhân mắc bệnh thận đa nang chiếm ưu thế về thể tích. Kidney Int rep 2: 442-450, 2017

4. Alam A và cộng sự: Tổng thể tích thận trong bệnh thận đa nang chiếm ưu thế trên thể tích: dấu hiệu sinh học về sự tiến triển của bệnh và hiệu quả điều trị. Am J Kidney Dis 66: 564-576, 2015

5. Tangri N, Hougen I, Alam A, Perrone R, McFarlane P, Pei Y: Tổng thể tích thận như một dấu hiệu sinh học về sự tiến triển của bệnh trong bệnh thận đa nang chiếm ưu thế trên thể tích. Can J Kidney Health Dis 4: 2054358117693355, 2017

6. Harris PC và cộng sự: Số lượng nang nhưng không phải tốc độ phát triển của nang có liên quan đến gen đột biến trong bệnh thận đa nang trội trên NST thường. J Am Soc Nephrol 17: 3013-3019, 2006

7. Irazabal MV, et al. J Am Soc Nephrol 26: 160-172, 2015

8. Bae KT, và cộng sự: Phân loại hình ảnh mở rộng của bệnh thận đa nang chiếm ưu thế trong tử thi. J Am Soc Nephrol, 2020

9. Qi CR, Su H, Mo K, Guibas LJ: Pointnet: Học sâu về tập điểm để phân loại và phân đoạn 3d. Proc. Trình bày tại Hội nghị thường niên CVPR2017

10. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-Rodriguez J: Một bài đánh giá về các kỹ thuật học sâu được áp dụng cho phân đoạn ngữ nghĩa. arXiv preprint, 2017

11. Gupta A, Vedaldi A, Zisserman A: Dữ liệu tổng hợp để bản địa hóa văn bản trong hình ảnh tự nhiên. Proc. Trình bày tại Hội nghị thường niên CVPR2017

12. Litjens G và cộng sự: Một cuộc khảo sát về học sâu trong phân tích hình ảnh y tế. Med Image Hậu môn 42: 60-88, 2017

13. Sharma K, và các cộng sự: Tự động phân đoạn thận bằng cách sử dụng Deep Learning để định lượng tổng thể tích thận trong bệnh thận đa nang chiếm ưu thế tự động. Khoa học viễn tưởng 7: 2049, 2017

14. Turco D, Valinoti M, Martin EM, Tagliaferri C, Scolari F, Corsi C: Phân đoạn hoàn toàn tự động của thận đa nang từ chụp cắt lớp vi tính không cản quang: Một nghiên cứu khả thi và

kết quả kỳ thi vào trường. Acad Radiol 25: 850-855, 2018

15. Kline TL, et al: Hiệu suất của Mạng thần kinh sâu đa quan sát nhân tạo để phân đoạn hoàn toàn tự động của thận đa nang. J Digit Imaging 30: 442-448, 2017

16. van Gastel MD, Edwards ME, Torres VE, Erickson BJ, Gansevoort RT, Kline TL: Đo tự động khối lượng thận và gan từ hình ảnh MR của bệnh nhân bị bệnh thận đa nang chiếm ưu thế tự động. J Am Soc Nephrol 30: 1514-1522, 2019

17. He K, Gkioxari G, Dollár P, Girshick R: Mặt nạ r-cnn. Proc. Kỷ yếu hội nghị quốc tế IEEE về thị giác máy tính

18. Prabhakar G, Kailath B, Natarajan S, Kumar R: Phát hiện và phân loại chướng ngại vật bằng cách sử dụng học sâu để theo dõi trong lái xe tự động tốc độ cao. Proc. Hội nghị chuyên đề IEEE Khu vực 10 2017 (TENSYMP)

19. Huang Z, Zhong Z, Sun L, Huo Q: Mặt nạ R-CNN với mạng chú ý kim tự tháp để phát hiện văn bản cảnh. Proc. Hội nghị mùa đông IEEE 2019 về các ứng dụng của thị giác máy tính (WACV)

20. Yu Y, Zhang K, Yang L, Zhang D: Phát hiện trái cây cho robot thu hoạch dâu tây trong môi trường phi cấu trúc dựa trên Mask-RCNN. Tính toán Electron Agric 163: 104846, 2019