Mô hình tài nguyên-hợp lý trong quá trình xử lý cấu trúc ngôn ngữ đệ quy của con người Phần 3

Thí nghiệm 2: Tác dụng của tín hiệu ngữ nghĩa

Tiếp theo, chúng tôi lặp lại thí nghiệm 1 trên bộ vật phẩm thứ hai và đồng thời kiểm tra tác động dự đoán của khả năng tương thích ngữ nghĩa.

Khả năng tương thích về ngữ nghĩa đề cập đến sự hiểu biết và làm chủ của con người về khả năng tương thích và mối quan hệ qua lại giữa các đơn vị khác nhau trong ngôn ngữ, từ ngữ hoặc ký hiệu. Trí nhớ đề cập đến khả năng ghi nhớ và lưu trữ thông tin của con người.

Có một mối quan hệ chặt chẽ giữa khả năng tương thích ngữ nghĩa và trí nhớ. Khả năng tương thích ngữ nghĩa tốt có thể cải thiện chất lượng bộ nhớ của con người, trong khi khả năng tương thích ngữ nghĩa kém sẽ cản trở khả năng hiểu thông tin và hiệu ứng trí nhớ của con người.

Đầu tiên, khả năng tương thích về ngữ nghĩa có thể cải thiện mức độ liên quan của thông tin, từ đó giúp mọi người hiểu và ghi nhớ thông tin tốt hơn. Nếu có mối tương quan rõ ràng giữa các đơn vị khác nhau, con người có thể sử dụng mối tương quan này để xây dựng sự kết nối giữa các thông tin và hình thành cấu trúc mạng lưới giữa các thông tin. Cấu trúc mạng này có thể cải thiện hiệu quả ghi nhớ thông tin và nâng cao khả năng lưu trữ thông tin của mọi người.

Thứ hai, khả năng tương thích ngữ nghĩa tốt có thể cải thiện khả năng hiểu thông tin, giúp mọi người dễ nhớ hơn. Nếu có mối quan hệ tương thích rõ ràng giữa các thông tin, con người có thể dễ dàng hiểu được mối liên hệ giữa các thông tin, từ đó hình thành sự hiểu biết và ghi nhớ thông tin. Ngược lại, nếu có sự không tương thích rõ ràng giữa các thông tin, con người sẽ cảm thấy bối rối, bối rối và khó hiểu, khó ghi nhớ thông tin.

Cuối cùng, khả năng tương thích ngữ nghĩa kém có thể ảnh hưởng xấu đến hiệu suất bộ nhớ của con người. Nếu có quá nhiều sự khác biệt giữa các đơn vị khác nhau thì con người sẽ khó hiểu và ghi nhớ được thông tin, từ đó làm mất đi giá trị của trí nhớ. Vì vậy, trong quá trình viết và phổ biến thông tin, cần duy trì khả năng tương thích ngữ nghĩa càng nhiều càng tốt để nâng cao khả năng hiểu và ghi nhớ của mọi người.

Tóm lại, có một mối quan hệ chặt chẽ giữa khả năng tương thích ngữ nghĩa và trí nhớ. Khả năng tương thích ngữ nghĩa tốt có thể cải thiện mức độ liên quan và dễ hiểu của thông tin, từ đó nâng cao khả năng lưu trữ thông tin và hiệu ứng trí nhớ của mọi người. Vì vậy, trong cuộc sống và công việc hàng ngày, cần duy trì khả năng tương thích ngữ nghĩa càng nhiều càng tốt để cải thiện khả năng hiểu và ghi nhớ thông tin. Có thể thấy, chúng ta cần cải thiện trí nhớ, và Cistanche Deserticola có thể cải thiện trí nhớ đáng kể vì Cistanche Deserticola là một dược liệu cổ truyền của Trung Quốc có nhiều tác dụng độc đáo, một trong số đó là cải thiện trí nhớ. Hiệu quả của thịt băm đến từ các hoạt chất khác nhau có trong nó, bao gồm axit, polysacarit, flavonoid, v.v. Những thành phần này có thể tăng cường sức khỏe não bộ theo nhiều cách khác nhau.

Bấm biết bổ sung để cải thiện trí nhớ

Ngoài hai thao tác từ thí nghiệm 1, trong điều kiện HAI và BA, chúng tôi còn biến đổi thêm cụm động từ thứ hai đến cuối cùng: Trong điều kiện TƯƠNG THÍCH, danh từ đầu tiên là một chủ ngữ hợp lý (ví dụ: "làm phiền bệnh nhân"); trong điều kiện KHÔNG TƯƠNG THÍCH thì không (ví dụ: "đã chữa khỏi bệnh nhân"). Trong điều kiện TƯƠNG THÍCH, các phiên bản không xác thực như "báo cáo của..." phải có xác suất tiên nghiệm cao hơn, đưa ra dự đoán về động từ cuối cùng kém chính xác hơn. Chúng tôi đã xây dựng được 42 mặt hàng kích thích.

Hình 3B thể hiện các dự đoán từ mô hình tài nguyên-hợp lý và các lý thuyết trước đó cho những hạng mục này. Ngoài các hiệu ứng từ thí nghiệm 1, mô hình còn dự đoán độ khó cao hơn trong điều kiện TƯƠNG THÍCH, đặc biệt là trong BA. Cả lý thuyết bất ngờ lẫn DLT đều không dự đoán bất kỳ ảnh hưởng nào của tính tương thích.

Chúng tôi đã thu thập dữ liệu về thời gian đọc từ 200 người tham gia, bao gồm cả hai biến thể TƯƠNG THÍCH và KHÔNG TƯƠNG THÍCH trong HAI và BA điều kiện. Trong tất cả các khía cạnh khác, thử nghiệm và phân tích dữ liệu giống hệt với thử nghiệm 1. Thời gian đọc được hiển thị trong Hình 3B.

Kết quả của thí nghiệm 1 được nhân rộng: Đầu tiên, thời gian đọc ở BA cao hơn ở HAI(=0.29, 95% CrI [0.24, 0.35], P( < 0) ​​< 0.0001; hiệu ứng thời gian đọc thô: 337 ms, 95% CrI [267, 411] ms).

Thứ hai, có sự tương tác giữa độ lệch nhúng và sự hiện diện của mệnh đề "that" (=−0.06, 95% CrI [−0.1{ {9}}, −0,024],P( > 0)=0.0007). Như trong thí nghiệm 1, tác động của sai lệch nhúng là tích cực trong MỘT điều kiện (sự khác biệt giữa "thực tế" và "báo cáo": 193 ms, 95% CrI [37, 357] ms) và âm trong HAI và BA điều kiện (sự khác biệt giữa " thực tế" và "báo cáo": −105 ms, 95% CrI [−194, −18]ms).

Thứ ba, phù hợp với các dự đoán của mô hình, thời gian đọc ở điều kiện TƯƠNG THÍCH cao hơn điều kiện KHÔNG TƯƠNG THÍCH ( {{0}}.083, 95% CrI [0.031, 0,136 ],P( < 0)=0.0014; hiệu ứng trong thời gian đọc thô: 96 ms, 95% CrI[36, 156] ms). Xem Phụ lục SI, phần S3 để biết thêm phân tích.

Lưu ý rằng tác động của độ lệch nhúng và tính tương thích trong BA điều kiện lớn hơn về mặt số lượng so với HAI điều kiện; một phân tích tổng hợp cho thấy những khác biệt này có ý nghĩa thống kê về cả thời gian đọc và các phần của không gian tham số của mô hình (Phụ lục SI, phần S2.1 và S6.6).

Sự khác biệt về mặt số học về độ dốc của độ lệch nhúng giữa TƯƠNG THÍCH và KHÔNG TƯƠNG THÍCH không có ý nghĩa thống kê (Phụ lục SI, Hình S23), cũng như sự khác biệt về số trong việc ngăn chặn các dự đoán mô hình giữa hai thử nghiệm (Phụ lục SI, Hình S6).

Xem Phụ lục SI, phần S6 để biết bằng chứng hội tụ từ các nghiên cứu về thời gian đọc trước đó (tổng n=501). Chúng tôi đã nhân rộng thêm tác động của việc đưa thành kiến ​​vào khả năng hiểu trong hai nghiên cứu xếp hạng (tổng n=335; Phụ lục SI, phần S5).

Thí nghiệm 3: Nghiên cứu sản xuất

Cho đến nay, chúng tôi đã xác nhận các dự đoán mô hình về thời gian đọc. Độ khó đo được trong thời gian đọc cho thấy kỳ vọng của con người bị vi phạm, nhưng không trực tiếp chỉ ra kỳ vọng của con người là gì.

Để cung cấp thử nghiệm thứ hai về kỳ vọng của con người, chúng tôi đã chuyển sang mô hình sản xuất-sự hoàn thiện Cloze (40,41)-đã được sử dụng trong nghiên cứu ngôn ngữ để đánh giá những từ nào được mong đợi ngay sau phần mở đầu. Chúng tôi sử dụng phương pháp này để đánh giá mức độ phức tạp của các cấu trúc đa lồng nhau và đo lường số lượng động từ mà con người mong đợi sau một phần mở đầu phức tạp.*

Chúng tôi yêu cầu những người tham gia hoàn thành các ngữ cảnh của mẫu "Báo cáo rằng bác sĩ, nhà ngoại giao..." thành một câu hoàn chỉnh. Chúng tôi mong đợi những người tham gia hoàn thành ngữ pháp với ba động từ, chẳng hạn như "...ngầm tin tưởng đã chữa khỏi bệnh nhân đã bị đáng ngạc nhiên" hoặc các phiên bản không đúng ngữ pháp với ít động từ hơn, chẳng hạn như "...không đáng tin cậy thật đáng ngạc nhiên." Sự mất mát hợp lý về tài nguyên-ngữ cảnh dự đoán rằng tỷ lệ hoàn thành sai ngữ pháp như vậy sẽ thấp hơn đối với các danh từ có độ lệch nhúng cao (ví dụ: "sự thật"), vì những điều này giúp khôi phục ngữ cảnh thực từ các biểu diễn bộ nhớ không hoàn hảo dễ dàng hơn (Hình 4A). Các mô hình dựa trên kỳ vọng và dựa trên bộ nhớ hiện tại không dự đoán rằng tỷ lệ hoàn thành ngữ pháp phụ thuộc vào độ lệch nhúng.

Chúng tôi đã tuyển được 80 người tham gia. Hình 4 cho thấy tỷ lệ hoàn thành không đầy đủ (ít hơn ba động từ) là một hàm số của sự thiên vị. Đúng như dự đoán, có tác động của sai lệch nhúng đến tỷ lệ phản hồi sai ngữ pháp (=−0.32, 95% CrI[−0.60, −0,05 ], P( > 0)=0.0123) trong phân tích hiệu ứng hỗn hợp logistic theo từng thử nghiệm.

Chúng tôi đã nhân rộng nghiên cứu này bằng hai ngôn ngữ khác (tiếng Tây Ban Nha và tiếng Đức), trong đó có một ngôn ngữ (tiếng Đức), trong đó độ khó của việc nhúng trung tâm yếu hơn đáng kể so với tiếng Anh (42).

Trong tiếng Tây Ban Nha, chúng tôi nhắm mục tiêu các mệnh đề quan hệ chủ ngữ (el hechode que el giám đốc que, "thực tế là giám đốc ai") để tránh các mệnh đề quan hệ chủ ngữ-tân ngữ ban đầu kém tự nhiên hơn, đồng thời kiểm tra khả năng khái quát hóa sang một cấu hình cú pháp khác. Trong tiếng Đức, chúng tôi nhắm mục tiêu các cấu trúc nhúng (ví dụ: Klaus hat erzahlt, ¨dass die Behauptung, dass der Sinh viên, den der Giáo sư, "Klaus nói rằng tuyên bố rằng sinh viên là giáo sư"), vì chúng được biết là tăng độ khó lên các cấp độ gần hơn với Tiếng Anh (35).

Chúng tôi đã tuyển được 60 người tham gia ở mỗi ngôn ngữ. Trong cả hai ngôn ngữ, tác động của tỷ lệ nhúng được ước tính là âm, với mức độ tác động ước tính tương đương với kết quả bằng tiếng Anh (tiếng Tây Ban Nha:=−0.23, 95% CrI [−{{7 }}.34, −0.12], P( > 0)< 0.0003; German: β = −0.28, 95% CrI [−0.56, −0.03], P(β > 0) = 0.01738). These results suggest that the-previously undocumented-effect of embedding bias on human expectations holds across different languages, even when they vary in the overall difficulty of center embeddings.

Cuộc thảo luận

Chúng tôi đã giới thiệu một mô hình xử lý ngôn ngữ của con người dưới dạng dự đoán hợp lý về tài nguyên, được điều chỉnh theo tỷ lệ đầu vào tùy ý bằng cách sử dụng các phương pháp học máy hiện đại. Nhằm mục đích dung hòa các quan điểm dựa trên trí nhớ và kỳ vọng về quá trình xử lý cú pháp của con người, mô hình này không chỉ khôi phục các dự đoán của các lý thuyết trước đó khi chúng đúng mà còn dự đoán các tương tác không được ghi chép trước đây giữa các giới hạn bộ nhớ và kỳ vọng xác suất, mà chúng tôi đã xác nhận trong ba thí nghiệm hành vi thăm dò quá trình xử lý đệ quy của con người. cấu trúc.

Kết quả của chúng tôi cho thấy rằng khó khăn được ghi chép rõ ràng trong việc tích hợp các phụ thuộc ngôn ngữ dài, vốn là trọng tâm của các mô hình dựa trên bộ nhớ hiện có (5, 7, 36), được điều chỉnh đáng kể bởi các kỳ vọng xác suất: So sánh giữa điều kiện MỘT và BA cho thấy rằng như vậy Hiệu ứng cục bộ có thể bị suy yếu hoặc thậm chí bị đảo ngược khi cấu trúc cú pháp không cục bộ có xác suất tiên nghiệm cao, một dự đoán xuất hiện một cách tự nhiên từ sự thống nhất được đề xuất của chúng tôi về các quan điểm dựa trên trí nhớ và kỳ vọng.

Công việc của chúng tôi tiếp tục ghi lại ba nhóm tác động nổi bật từ tài liệu ngôn ngữ học tâm lý trong một thử nghiệm duy nhất và với một mô hình duy nhất: hiệu ứng cục bộ (độ khó tăng lên của BA), hiệu ứng có thể dự đoán được (tác động của khuynh hướng nhúng trong MỘT điều kiện) và hiệu ứng can thiệp ngữ nghĩa (hiệu ứng của khả năng tương thích ngữ nghĩa) ).

Đã có sự quan tâm đáng kể đến việc xử lý lý thuyết thống nhất các họ hiệu ứng này; công việc của chúng tôi cho thấy cách một mô hình có thể mô tả chi tiết cách chúng tương tác. Một nhóm hiện tượng không được nhắm đến trong các thí nghiệm của chúng tôi là sự can thiệp dựa trên sự tương đồng (43, 44). Việc điều tra xem liệu nó có thể được giải thích bằng khung mô hình hóa này hay không là một vấn đề thú vị cho nghiên cứu trong tương lai.

Mô hình tài nguyên-hợp lý của chúng tôi có liên quan chính thức đến các mô hình thuộc các miền không đa dạng. Công trình cổ điển đã chỉ ra rằng việc phân tích hợp lý các xác suất ghi nhớ có thể giải thích các đặc tính cơ bản của trí nhớ con người (28, 29). Công trình gần đây (45–48) đã chính thức hóa các mô hình hợp lý về trí nhớ làm việc của con người trong một số lĩnh vực, chẳng hạn như trí nhớ làm việc bằng hình ảnh, sử dụng lý thuyết biến dạng tốc độ, một khuôn khổ lý thuyết thông tin tạo ra các mã hóa có độ chính xác cao trong điều kiện hạn chế về tài nguyên.

Sự khác biệt chính giữa lý thuyết biến dạng tỷ lệ và mô hình của chúng tôi là thước đo của nền kinh tế là tỷ lệ các từ có sẵn ở đây, trong khi đó là số bit được mã hóa trong lý thuyết biến dạng tỷ lệ. Áp dụng vào việc hiểu câu, lý thuyết về tỷ lệ-bóp méo sẽ dẫn đến những cách trình bày "ý chính" được nén hoàn toàn về bối cảnh trong quá khứ. Các biểu diễn được nén hoàn toàn như vậy không dẫn đến các dạng khó được quan sát trong các thử nghiệm của chúng tôi (xem Phụ lục SI, phần S8 để biết chi tiết).

Mặt khác, mô hình của chúng tôi cũng đơn giản hóa ở chỗ nó mô hình hóa bối cảnh gần đây dưới dạng một chuỗi các từ, điều này có thể đánh giá thấp vai trò của việc biểu diễn bộ nhớ trong bối cảnh dài hơn, trong đó các từ riêng lẻ có thể bị lãng quên nhưng ký ức về ý nghĩa vẫn còn. Những tiến bộ hơn nữa trong máy móc việc học có thể cho phép suy ra một định dạng biểu diễn bộ nhớ phức tạp hơn từ việc tối ưu hóa hợp lý tài nguyên.

Trong khoa học máy tính, cấu trúc đệ quy thường được xử lý bằng cấu trúc dữ liệu dựa trên ngăn xếp. Tương ứng, các mô hình xử lý cú pháp ban đầu của con người giả định các giới hạn về kích thước của ngăn xếp hoặc số lượng nút có thể được giữ trong bộ nhớ cùng một lúc (2, 24).

Những mô hình như vậy dự đoán rằng việc nhúng sâu hơn sẽ khó khăn hơn, nhưng không dự đoán rằng khó khăn đó được điều chỉnh bởi các tín hiệu thống kê hoặc ngữ nghĩa. Không giống như các kiến ​​trúc dựa trên ngăn xếp, lý thuyết của chúng tôi gán vai trò chính cho các dấu hiệu xác suất trong việc thiết lập cấu trúc đệ quy. Về mặt này, nó đồng ý với các lý thuyết dựa trên bộ nhớ gần đây hơn khi cho rằng con người không duy trì các cấu trúc dữ liệu như ngăn xếp, mà thay vào đó, thiết lập các cấu trúc cú pháp bằng cách sử dụng truy xuất dựa trên tín hiệu kết hợp (5, 7, 49, 50). như hiện đang được triển khai (7) không tính đến các mô hình khó khăn đặc biệt được dự đoán bởi mô hình của chúng tôi và được quan sát trong các thử nghiệm của chúng tôi. Tuy nhiên, chúng tôi xem lý thuyết của chúng tôi tương thích với các ý tưởng từ tài liệu đó.

Lý thuyết của chúng tôi cung cấp một mô hình cấp độ tính toán giúp dự đoán tương thích với các mô hình dựa trên bộ nhớ hiện có, nhưng - không giống như các mô hình đó - được điều chỉnh hợp lý với cấu trúc thống kê phong phú của ngôn ngữ, cho phép nó dự đoán cách các giới hạn bộ nhớ tương tác với các kỳ vọng xác suất. Kết quả của chúng tôi cho thấy rằng việc xác định các phiên bản xác suất của các mô hình truy xuất kết hợp, như việc triển khai ở cấp độ thuật toán của mô hình tài nguyên-hợp lý được mô tả ở đây, là một vấn đề thú vị đối với nghiên cứu ngôn ngữ học tâm lý. Xem Phụ lục SI, phần S7.2 để biết thêm về ý nghĩa của các kết quả của chúng tôi đối với các mô hình bộ nhớ dựa trên truy xuất.

Sự thống nhất được đề xuất của chúng tôi về các mô hình dựa trên kỳ vọng và dựa trên trí nhớ dựa trên ý tưởng rằng các biểu diễn trí nhớ làm việc không hoàn hảo được xây dựng lại một cách hợp lý - mặc dù đôi khi sử dụng không chính xác kiến ​​thức về số liệu thống kê của ngôn ngữ. Ý tưởng này có tiền lệ quan trọng trong công việc tái tích hợp trong trí nhớ làm việc bằng lời nói ( ví dụ: tham khảo 51–55), một quá trình trong đó trí nhớ ngắn hạn bị suy giảm được khôi phục bằng cách sử dụng kiến ​​thức từ trí nhớ dài hạn. Điều này đã được áp dụng cho bộ nhớ dành cho danh sách từ (ví dụ: tham khảo 52–55) và gần đây hơn là bộ nhớ dành cho các mẫu cú pháp (56). Mô hình của chúng tôi cung cấp giải thích về các quy trình như vậy dựa trên suy luận Bayes bị ràng buộc bởi tính hợp lý của tài nguyên. Ngoài ra còn có các mô hình trong đó trí nhớ làm việc được xử lý không phải như một thành phần của bộ nhớ mà là kết quả từ sự tương tác giữa quá trình xử lý và trí nhớ dài hạn (57, 58). Đối với các mô hình như vậy, kết quả của chúng tôi cung cấp dữ liệu về kiến ​​thức dài hạn tác động đến quá trình xử lý như thế nào .

Các thử nghiệm của chúng tôi tận dụng các mối tương quan thống kê của cấu trúc cú pháp để thăm dò xem kỳ vọng xác suất tương tác với các hạn chế về bộ nhớ như thế nào. Điều này có một số điểm tương đồng với các mô hình dựa trên kỳ vọng của công việc trước đó cho thấy mức độ tương quan, chẳng hạn như giữa hoạt ảnh và loại mệnh đề quan hệ, tác động đến việc xử lý theo những cách không được tính đến bởi các tài khoản dựa trên bộ nhớ hiện có (ví dụ: tham khảo 59–61). Công việc của chúng tôi mở rộng dòng công việc này bằng cách trình bày một lý thuyết đã được triển khai về sự tương tác giữa các ràng buộc về trí nhớ và kỳ vọng xác suất.

Mô hình của chúng tôi có tham số miễn phí δ, số từ được giữ lại trung bình. Chúng tôi giả định một giá trị duy nhất trong việc đưa ra các dự đoán và so sánh chúng với thời gian đọc của con người. Việc lắp nó cho phù hợp với các đối tượng riêng lẻ và hiểu được mối quan hệ của nó với các thước đo đã được thiết lập về sự khác biệt của từng cá nhân là một vấn đề thú vị cho các nghiên cứu trong tương lai.

Các mô hình kết nối về xử lý cú pháp của con người (8, 62–64) nhằm mục đích mô tả quá trình xử lý của con người bằng cách sử dụng các kỳ vọng bắt nguồn từ các biểu diễn mạng thần kinh và đã được đề xuất để mô hình hóa các hiệu ứng liên quan đến cả giới hạn bộ nhớ và kỳ vọng xác suất. Tuy nhiên, sự khác biệt giữa sự bất ngờ đơn giản được tính toán bởi GPT-2 và sự ngạc nhiên về bối cảnh mất mát tài nguyên hợp lý cho thấy rằng những hạn chế về bộ nhớ giống con người không nhất thiết phải tự động xuất hiện trong các mô hình kết nối.

Chúng tôi đã chỉ ra cách mô hình xử lý ngôn ngữ hợp lý tài nguyên có thể được mở rộng theo cấu trúc thống kê phong phú của ngôn ngữ tự nhiên. Phương pháp dựa trên học máy của chúng tôi có thể mở ra cơ hội phù hợp với các mô hình hợp lý phức tạp về thống kê đầu vào tự nhiên cũng như trong các lĩnh vực nhận thức khác của con người.

Tính tổng quát của mô hình của chúng tôi cũng gợi ý rằng các hiện tượng tương tự có thể tồn tại bên ngoài ngôn ngữ: Bất cứ khi nào con người xử lý dữ liệu đầu vào quá phức tạp để tất cả các phần của nó có thể tham gia đồng thời, quá trình xử lý sẽ bị ảnh hưởng bởi cấu trúc thống kê của các đầu vào tương tự.

Nguyên liệu và phương pháp

Danh từ. Chúng tôi đã thu thập các danh từ có thể bổ sung câu, sử dụng Penn Treebank (65), English Web Treebank (66), AnCoRA treebank (67) bằng tiếng Tây Ban Nha và HDT Treebank (68) bằng tiếng Đức. Chúng tôi ước tính độ lệch nhúng theo xác suất nhật ký mà "danh từ" được theo sau bởi "cái đó" bằng cách sử dụng Wikipedia tiếng Anh (2,3 tỷ từ), Wikipedia tiếng Đức (800 triệu từ) và Wikipedia tiếng Tây Ban Nha (500 triệu từ). Xem Phụ lục SI, phần S11 để biết chi tiết. Chúng tôi đã xác thực các ước tính tiếng Anh bằng cách sử dụng hai kho ngữ liệu lớn khác là tiếng Anh Mỹ và tiếng Anh Anh (Phụ lục SI, phần S10.1).

Người mẫu. Sự bất ngờ của bối cảnh tổn thất tài nguyên-hợp lý được xác định bởi một nhóm xác suất lưu giữ θ={qw, i: i, w}, trong đó w nằm trong các từ vài=1, ..., N, trong đó N=20 là độ dài ngữ cảnh tối đa được xem xét, đủ dài để chứa tất cả ngữ cảnh xuất hiện trong thử nghiệm. Chúng tôi tham số hóa qw, tôi sử dụng mạng thần kinh kết hợp danh tính của một từ trong quá khứ và số lượng từ can thiệp để tạo ra mức lưu giữ xác suất (Phụ lục SI, phần S1.1). Mô hình θ làm tăng khả năng p(c|c) và do đó dẫn đến p(c|c sau). Nó được chọn để giảm thiểu sự ngạc nhiên trung bình của từ tiếp theo đối với p(w|c) của từ tiếp theo:

Thiết lập thử nghiệm cho nghiên cứu về thời gian đọc. Đối với tất cả các nghiên cứu, quy trình thử nghiệm đã được phê duyệt bởi Hội đồng Đánh giá Thể chế tại Đại học Stanford. Tất cả các thành viên đã xác nhận đồng thuận.

Mỗi người tham gia được đưa ra 10 thử nghiệm quan trọng. Trong cả hai thử nghiệm, hai thử nghiệm ở dạng MỘT, và bốn thử nghiệm ở dạng HAI và BA. Trong thí nghiệm 2, một nửa trong số HAI và BA thử nghiệm đều ở điều kiện TƯƠNG THÍCH (KHÔNG TƯƠNG THÍCH). Chúng tôi đã chọn một số lượng nhỏ các thử nghiệm quan trọng để giảm thiểu bất kỳ ảnh hưởng nào của việc thích ứng thống kê đối với phần nhúng trung tâm trong quá trình thực hiện nhiệm vụ.

Để tối đa hóa độ chính xác thống kê, chúng tôi đã chọn 15 danh từ có độ lệch nhúng rất cao và 15 danh từ có độ lệch nhúng rất thấp (Phụ lục SI, Hình S36). Đối với mỗi người tham gia, chúng tôi đã lấy mẫu năm danh từ có độ thiên vị nhúng cao và năm danh từ có giá trị thấp và đối sánh những danh từ này với 10 thử nghiệm quan trọng. Đối với mỗi người tham gia, chúng tôi cũng đã lấy mẫu 30 phần bổ sung từ một nhóm 56 phần bổ sung từ một nghiên cứu về thời gian đọc trước đó về phần nhúng trung tâm (42).

Để loại bỏ những bất thường về ngữ nghĩa do vi phạm tiền giả định (ví dụ: "sự thật là sai"), chúng tôi đã phân loại các danh từ thành đòi hỏi (ví dụ: "sự thật"), trung lập không mang lại lợi ích (ví dụ: "khiếu nại") và phủ định không mang lại lợi ích (ví dụ: " buộc tội") danh từ và các mục được phân loại để tương thích với từng lớp trong số ba lớp này (Phụ lục SI, phần S11). Đối với mỗi người tham gia, chúng tôi ghép 10 danh từ với các mục tương thích về mặt ngữ nghĩa.

Đối với nhiệm vụ mê cung, chúng tôi đã tự động tạo các yếu tố phân tâm (39) bằng cách sử dụng mô hình ngôn ngữ Gulordava (69): những yếu tố phân tâm này có xác suất ngữ cảnh cực kỳ thấp trong khi được khớp với từ mục tiêu về tần suất và độ dài. Các yếu tố phân tâm được khớp theo các điều kiện, ngoại trừ trong phạm vi thứ hai đến -cụm động từ cuối cùng trong các điều kiện (IN)COMPATIBLE trong thí nghiệm 2. Đặc biệt, các yếu tố phân tâm được khớp với từ quan trọng trong tất cả các điều kiện.

Khi người tham gia mắc lỗi (tức là chọn từ gây mất tập trung), họ được nhắc thử lại từ hiện tại (70). Thời gian phản ứng trong các thử nghiệm như vậy đã bị loại trừ; lựa chọn này không ảnh hưởng đến kết luận (Phụ lục SI, phần S3.6).

Đối với mỗi đối tượng, các thử nghiệm được trình bày theo thứ tự ngẫu nhiên sao cho không có hai thử nghiệm quan trọng nào liền kề nhau. Những người tham gia, được tuyển dụng trên nền tảng học thuật Prolific, mất trung bình 13 phút và nhận được £2,20 (≈3 USD).

Phân tích dữ liệu cho thời gian đọc. Chúng tôi đã loại trừ các thử nghiệm 1) với câu trả lời sai, 2) khỏi những người tham gia mắc lỗi trên 20% số từ và 3) dưới hoặc trên 99% tổng số lần đọc. Xem Phụ lục SI, phần S3.6 để biết độ bền đối với điều kiện 1 và xem Phụ lục SI, phần S3.7 để biết độ bền đối với điều kiện 3. Sau đó, chúng tôi đã phân tích thời gian đọc chuyển đổi log trên mô hình hiệu ứng hỗn hợp Bayesian diễn giải cuối cùng được triển khai trong Stan (71) sử dụng vũ khí (72). Xem Phụ lục SI, phần S3.3 để biết tính ưu việt và tính chắc chắn của các lựa chọn trước đó. Chúng tôi đã sử dụng mã hóa tương phản với sự hiện diện của mệnh đề "cái đó" (MỘT so với HAI/THREE), độ sâu (TWO so với BA) và thao tác tương thích (TƯƠNG THÍCH so với KHÔNG TƯƠNG THÍCH) làm tương phản. Độ lệch nhúng được căn giữa và tất cả các tương tác nhị phân không trống đã được thêm dưới dạng hiệu ứng cố định (Phụ lục SI, phần S3.2).

Chúng tôi đã đưa vào cấu trúc hiệu ứng ngẫu nhiên tối đa được chứng minh bằng thiết kế thử nghiệm, nhập các mục, danh từ và người tham gia dưới dạng hiệu ứng ngẫu nhiên. Để ước tính hiệu ứng theo thời gian đọc thô (mili giây), trước tiên, chúng tôi tính toán thời gian đọc chuyển đổi nhật ký dự đoán trong cả hai điều kiện (ví dụ: TƯƠNG THÍCH và KHÔNG TƯƠNG THÍCH), sau đó chuyển đổi cả hai thành mili giây bằng cách lũy thừa và tính toán sự khác biệt (xem Phụ lục SI, phần S3.4 để biết thêm chi tiết). Trong Hình 3, chúng tôi vẽ biểu đồ giá trị trung bình sau của thời gian đọc được dự đoán trong mọi điều kiện đối với các danh từ có chứa thành kiến ​​phù hợp với "thực tế" hoặc "báo cáo". Thanh lỗi đại diện cho SD sau.

Chi tiết cho nghiên cứu sản xuất. Chúng tôi đã xây dựng 28 mục có dạng "The XXXthat nhà ngoại giao là thượng nghị sĩ" và chọn ra 12 danh từ, mỗi danh từ có 6 danh từ có độ lệch nhúng rất cao hoặc rất thấp. Đối với mỗi người tham gia, chúng tôi ghép ngẫu nhiên các mục và danh từ. 12 thử nghiệm quan trọng được trình bày theo thứ tự ngẫu nhiên với 27 chất bổ sung. Nhà ngôn ngữ học sẽ chú thích thủ công cho mỗi lần hoàn thành được cung cấp, xem số lượng cụm động từ (ba) có được tạo ra chính xác hay không. Người chú thích không nhận ra được danh từ.

Trong tiếng Tây Ban Nha và tiếng Đức, chúng tôi đã chọn 20 danh từ có độ thiên vị nhúng rất cao hoặc rất thấp trong mỗi ngôn ngữ, lấy mẫu 6 danh từ có độ nhúng cao và 6 danh từ có độ nhúng thấp cho mỗi người tham gia. Như trong phiên bản tiếng Anh, chúng tôi ghép ngẫu nhiên 12 mục với 12 danh từ mẫu cho mỗi người tham gia. Chất độn được dịch từ thí nghiệm tiếng Anh.

Trong tiếng Đức, chúng tôi đã xây dựng thêm 12 câu ma trận (ví dụ: "Klaus saythat") và ghép chúng ngẫu nhiên với các mục và danh từ cho mỗi người tham gia. Chúng tôi đã tiến hành phân tích hiệu ứng hỗn hợp hậu cần thử nghiệm theo từng thử nghiệm Bayesian với việc lồng ghép thành kiến ​​như một hiệu ứng cố định và các hiệu ứng ngẫu nhiên của danh từ, vật phẩm, người tham gia và câu ma trận (bằng tiếng Đức). Xem Phụ lục SI, phần S4 để biết chi tiết.

Dữ liệu, Tài liệu và Phần mềm sẵn có. Xác suất lưu giữ phù hợp và dự đoán mô hình đã được gửi vào Zenodo (https://zenodo.org/record/6602698) (73), (https://zenodo.org/record/6988696) (74). Thời gian đọc ẩn danh, dữ liệu sản xuất ngôn ngữ và mã nguồn đã được lưu trữ trong GitLab (https://gitlab.com/ m-hahn/resource-rational-surprisal) (75).

SỰ NHÌN NHẬN. Chúng tôi cảm ơn người biên tập và những người phản biện vì những phản hồi mang tính xây dựng của họ, đã giúp cải thiện bản thảo. Chúng tôi cũng rất biết ơn Judith Degen, Tiwalayo Eisape, Hailin Hao, Jennifer Hu, Dan Jurafsky, PengQian, Cory Shain, Shravan Vasishth, Tom Wasow, Ethan Wilcox và khán giả tại Hội nghị CUNY 2020 về Xử lý Câu để có những thảo luận và phản hồi hữu ích.

Thẩm quyền giải quyết

1. N. Chomsky, Cấu trúc cú pháp (Mouton, The Hague, 1957).

2. GA Miller, N. Chomsky, "Mô hình hữu hạn của người sử dụng ngôn ngữ" trong Sổ tay Toán học Tâm lý học, RD Luce, RR Bush, G. Galanter, Eds. (John Wiley, 1963), trang 269–321.

3. L. Frazier, "Độ phức tạp cú pháp" trong phân tích ngôn ngữ tự nhiên: Các quan điểm tâm lý, tính toán và lý thuyết, DR Dowty, L. Karttunen, AM Zwicky, Eds. (Nhà xuất bản Đại học Cambridge, NewYork, 1985), trang 129–189.
4. E. Gibson, Độ phức tạp ngôn ngữ: Vị trí của sự phụ thuộc cú pháp. Nhận thức 68, 1–76 (1998).

5. B. McElree, S. Foraker, L. Dyer, Cấu trúc bộ nhớ hỗ trợ việc hiểu câu.J. M.Lang. 48, 67–91 (2003).

6. W. Tabor, B. Galantucci, DC Richardson, Ảnh hưởng của sự gắn kết cú pháp đơn thuần cục bộ đối với quá trình xử lý câu.J. Mẹ ơi. Lang. 50, 355–370 (2004).

7. RL Lewis, S. Vasishth, Một mô hình xử lý câu dựa trên kích hoạt dưới dạng truy xuất bộ nhớ lành nghề.Cogn. Khoa học. 29, 375–419 (2005).

8. MH Christiansen, MC MacDonald, Cách tiếp cận dựa trên cách sử dụng để đệ quy trong xử lý câu.Lang. Học hỏi. 59, 126–161 (2009).

9. J. Hale, (2001) "Trình phân tích cú pháp xác suất sớm như một mô hình ngôn ngữ tâm lý" trong Kỷ yếu Cuộc họp lần thứ hai của Chương Bắc Mỹ của Hiệp hội Ngôn ngữ học tính toán, NAACL 2001,L. Levin, K. Knight, Eds. (Hiệp hội Ngôn ngữ học tính toán, Stroudsburg, PA), trang 1–8.

10. R. Levy, Hiểu cú pháp dựa trên kỳ vọng. Nhận thức 106, 1126–1177 (2008).

11. K. Rayner, AD Well, Ảnh hưởng của hạn chế ngữ cảnh đến chuyển động của mắt khi đọc: Một cuộc kiểm tra sâu hơn. Kẻ tâm thần. Bò đực. Rev. 3, 504–509 (1996).

12. A. Staub, Ảnh hưởng của khả năng dự đoán từ vựng đến chuyển động của mắt khi đọc: Đánh giá phê phán và diễn giải lý thuyết.Lang. Nhà ngôn ngữ học. La bàn 9, 311–327 (2015).

For more information:1950477648nn@gmail.com