Mô hình tài nguyên-hợp lý trong việc xử lý cấu trúc ngôn ngữ đệ quy của con người Phần 2

Những kỳ vọng này có thể được đo lường thông qua thời gian đọc của người bản xứ khi họ gặp động từ cuối cùng sau ngữ cảnh trước đó hoặc bằng cách cung cấp cho người bản ngữ ngữ cảnh trước đó và yêu cầu họ hoàn thành câu.

Tiếng mẹ đẻ là ngôn ngữ đầu tiên mà mọi người tiếp xúc và tiếp thu. Nó không chỉ là công cụ giao tiếp mà còn ảnh hưởng tới khả năng ghi nhớ của chúng ta. Tiếng mẹ đẻ là một trong những yếu tố quan trọng nhất trong quá trình phát triển nhận thức và nhận thức của con người. Nó liên quan trực tiếp đến khả năng học ngôn ngữ, khả năng diễn đạt và khả năng tư duy của con người.

Đối với nhiều người, tiếng mẹ đẻ là một công cụ ghi nhớ hữu hiệu vì khả năng sử dụng tiếng mẹ đẻ có liên quan mật thiết đến khả năng ghi nhớ. Tiếng mẹ đẻ của chúng ta kích thích trí nhớ của mọi người vì chúng ta sử dụng nó một cách tự nhiên để giao tiếp với những người xung quanh và trong quá trình này, chúng ta phải hiểu và phản hồi lại thông tin có trong ngôn ngữ đó. Những trải nghiệm này tích lũy trong não và cải thiện mức độ trí nhớ của chúng ta.

Có thể thấy điều này khi trẻ bắt đầu học tiếng mẹ đẻ bởi khả năng tiếp thu kiến ​​thức ngôn ngữ mới của trẻ là không giới hạn. Hiệu quả của việc học ngôn ngữ ở người lớn không rõ ràng như ở trẻ em vì não bộ đã trải qua quá nhiều giai đoạn phát triển.

Ngoài ra, tiếng mẹ đẻ cũng góp phần tạo nên trí nhớ cảm xúc của chúng ta. Giống như các cơ quan nội tạng, bộ não có thể in sâu ký ức vào bên trong chúng ta. Tiếng mẹ đẻ có thể kích thích cảm xúc của chúng ta, hình thành khuôn khổ cảm xúc ban đầu, sau đó hình thành những cảm xúc và ký ức mang tính biểu tượng trong trí nhớ của chúng ta.

Tóm lại, mối quan hệ giữa tiếng mẹ đẻ và trí nhớ là rất quan trọng. Nếu muốn cải thiện trí nhớ của mình, bạn có thể muốn học thêm ngôn ngữ bản địa và sử dụng chúng thành thạo, điều này sẽ cải thiện đáng kể khả năng ghi nhớ của bạn. Đồng thời, tiếng mẹ đẻ cũng là một di sản văn hóa quan trọng. Nó cho phép chúng ta hiểu rõ hơn và thể hiện rõ hơn những đặc điểm văn hóa, bản sắc dân tộc của mình. Đó là sự giàu có quan trọng của chúng tôi và là một cách quan trọng để chúng tôi kế thừa lịch sử văn hóa của mình. Có thể thấy rằng chúng ta cần cải thiện trí nhớ và Cistanche Deserticola có thể cải thiện đáng kể trí nhớ, bởi vì Cistanche Deserticola cũng có thể điều chỉnh sự cân bằng của các chất dẫn truyền thần kinh, chẳng hạn như tăng mức độ acetylcholine và các yếu tố tăng trưởng. Những chất này rất quan trọng cho trí nhớ và học tập. Ngoài ra, Thịt còn có thể cải thiện lưu lượng máu và thúc đẩy quá trình cung cấp oxy, có thể đảm bảo não nhận đủ chất dinh dưỡng và năng lượng, từ đó cải thiện sức sống và sức bền của não.

Bấm vào biết cách cải thiện chức năng não

Chúng tôi sử dụng cả hai để kiểm tra lý thuyết của chúng tôi. Đầu tiên, chúng tôi chứng minh rằng việc triển khai mô hình của chúng tôi trên quy mô lớn thực sự dẫn đến những dự đoán được mô tả trực quan ở trên. Tiếp theo, trong hai thử nghiệm về thời gian đọc, chúng tôi thay đổi một cách có hệ thống xác suất tiên nghiệm của ngữ cảnh thực so với các biến thể có cấu trúc khác nhau. Chúng tôi thấy rằng khi các biến thể trước thiên về các biến thể phi thực tế, con người gặp khó khăn hơn trong việc xử lý động từ cuối cùng.

Sự tương phản này là một dự đoán đặc trưng của mô hình thống nhất được đề xuất của chúng tôi và không tuân theo các mô hình hiện có từ mô hình dựa trên kỳ vọng hoặc dựa trên bộ nhớ.

Cuối cùng, trong một nghiên cứu sản xuất bằng ba ngôn ngữ (tiếng Anh, tiếng Đức và tiếng Tây Ban Nha), chúng tôi chỉ ra mô hình tương tự trong sản xuất, theo đó con người có nhiều khả năng tạo ra số lượng động từ chính xác hơn khi các biến thể khác nhau về cấu trúc có xác suất tiên nghiệm thấp hơn.

Chính thức hóa và thực hiện
Chúng tôi mô tả mô hình được đề xuất, tổn thất hợp lý tài nguyên-bối cảnh bất ngờ, trong Hình 2. Mô hình tính toán xác suất lưu giữ (28, 29) cho mỗi từ trong ngữ cảnh quá khứ, được xác định bởi 1) danh tính của từ đó và 2) có bao nhiêu từ có được quan sát sau khi quan sát nó.

Biểu diễn bộ nhớ tổng thể c sau đó bao gồm các từ có sẵn và ký hiệu giữ chỗ cho những từ chưa được giữ lại.

Thông qua quy tắc của Bayes và kiến ​​thức về thống kê tiên nghiệm của ngôn ngữ, c tạo ra P(c|c) hậu nghiệm đối với các ngữ cảnh có thể và do đó phân phối dự đoán P(w|c) đối với từ tiếp theo. Độ khó xử lý một từ được xác định bởi mức độ không thể đoán trước của nó từ c, được đo bằng lượng bất ngờ theo lý thuyết thông tin,

−log P(w|c)=−logcP(w|c)P(c|c). [1]

Chúng tôi trình bày số liệu thống kê tiên nghiệm về tiếng Anh bằng cách sử dụng GPT-2(30), một mô hình mạng thần kinh quy mô lớn cung cấp một trong những mô hình thống kê mạnh nhất hiện có về văn bản tiếng Anh.

Xác suất lưu giữ được tham số hóa bằng cách sử dụng mạng thần kinh hoạt động trên biểu diễn vectơ độc lập với ngữ cảnh của từ và khoảng cách của nó. Chúng tôi tối ưu hóa xác suất lưu giữ để giảm thiểu sự bất ngờ của mô hình trung bình [1] đối với dữ liệu văn bản quy mô lớn, tùy thuộc vào giới hạn trên về số lượng từ ngữ cảnh trung bình được giữ lại.

Chúng tôi đã trang bị mô hình cho các giá trị số nguyên của giới hạn này từ 0 đến 20.

Tối ưu hóa sử dụng dữ liệu văn bản từ Wikipedia tiếng Anh, không liên quan đến các nội dung kích thích được quan tâm ở trung tâm (xem Tài liệu và Phương pháp).

Xác suất lưu giữ được tối ưu hóa thể hiện nổi bật hai thuộc tính chính: Các từ có nhiều khả năng được giữ nguyên hơn khi chúng ở gần đây và khi chúng có tần suất từ ​​thấp hơn (Phụ lục SI, Hình S2). Cả hai thành kiến ​​này đều được ghi chép rõ ràng trong nghiên cứu thực nghiệm về trí nhớ ngôn ngữ của con người (31–33).

Phỏng đoán

Chúng tôi đã sử dụng sự ngạc nhiên của bối cảnh mất mát tài nguyên hợp lý để rút ra ba dự đoán về việc xử lý các cấu trúc đệ quy lồng nhau (Hình 1 B và C). Đầu tiên, việc khôi phục từ nhiều cấp độ nhúng hơn sẽ khó hơn (các đường màu xanh lam và xanh lục trong Hình 1C).

Dự đoán đơn giản này phổ biến đối với hầu hết các mô hình trí nhớ trong việc hiểu câu, kể từ những năm 1960 (2, 4, 7, 24). Mô hình của chúng tôi thường dự đoán điều đó bởi vì nhiều cấp độ nhúng ít có khả năng tiên nghiệm hơn nên các biến thể phi thực tế có ít cấp độ hơn có xu hướng có xác suất tiên nghiệm cao hơn.

Thứ hai, việc khôi phục sẽ dễ dàng hơn khi các tín hiệu ngữ nghĩa củng cố cấu trúc phụ thuộc chính xác cho bối cảnh nhúng trước đó. Chúng tôi đã kiểm tra dự đoán này bằng cách điều chỉnh xem động từ thứ hai đến cuối cùng có tương thích với cả danh từ thứ nhất và thứ hai làm chủ ngữ của nó hay không, như trong Hình 1B, mục 1 (báo cáo ... khó chịu và bác sĩ... khó chịu đều hợp lý), hoặc chỉ với danh từ thứ hai, như trong Hình 1B, mục 2 (báo cáo... chữa khỏi là không hợp lý, trong khi bác sĩ... chữa khỏi là hợp lý).

Khi động từ này không tương thích với danh từ đầu tiên làm chủ ngữ của nó, nó sẽ không phù hợp với những cách diễn đạt ngữ cảnh phi thực tế chẳng hạn như "báo cáo của bác sĩ đã chữa khỏi bệnh nhân... "và do đó củng cố bối cảnh có thật.

Do đó, việc thay đổi động từ "khó chịu" thành "chữa khỏi" sẽ làm giảm nỗ lực xử lý động từ cuối cùng.

Nghiên cứu ban đầu về việc gắn trung tâm đã lưu ý rằng sự phù hợp về mặt ngữ nghĩa giữa danh từ và động từ giúp việc hiểu dễ dàng hơn (25, 26, 34), nhưng, theo những gì chúng tôi biết, hiệu ứng này chưa được chứng minh trong thời gian đọc từng từ. Mặc dù hiệu ứng như vậy có thể tương thích với một số lý thuyết dựa trên bộ nhớ (7, 35), nhưng nó không phát sinh trong các mô hình tính toán rõ ràng hiện có (7).

Thứ ba, việc phục hồi sẽ dễ dàng hơn khi các danh từ cung cấp các tín hiệu thống kê hỗ trợ (Hình 1B, mục 3). Các danh từ khác nhau rất nhiều ở xác suất tiên nghiệm rằng chúng được theo sau bởi mệnh đề "that"; xác suất này nằm trong khoảng từ ≈70% ("sự thật") đến ≈0,7% ("báo cáo").

Chúng tôi sử dụng thuật ngữ "khuynh hướng nhúng" để biểu thị xác suất log mà một danh từ được theo sau bởi "that". Trong Hình 1B, mục 3, việc thay đổi danh từ "báo cáo" thành "sự thật" sẽ làm giảm xác suất của các biến thể phi thực tế, điều này một lần nữa được dự đoán sẽ làm giảm nỗ lực xử lý đối với động từ cuối cùng.

Trong điều kiện HAI và BA, động từ thứ ba phải được dự đoán chính xác hơn khi nhúng độ lệch cao hơn, vì nó làm tăng xác suất tiên nghiệm của ngữ cảnh thực (các đường màu xanh lam và xanh lục giảm dần trong Hình 1C).

Dự đoán này không tuân theo các mô hình hiện có mà là hệ quả đơn giản của mô hình của chúng tôi. Trong điều kiện MỘT, chúng tôi mong đợi mẫu đối lập (đường màu đỏ tăng dần trong Hình 1C), vì các danh từ gắn mệnh đề với xác suất rất cao sẽ ít có khả năng được động từ theo sau ngay lập tức.

Kiểu khó khăn thu được rất khác so với những gì được dự đoán bởi các mô hình dựa trên bộ nhớ và dựa trên kỳ vọng hiện có (Hình 1 D và Phụ lục SI, phần S7.1).

Chúng tôi minh họa những điều này bằng cách sử dụng lý thuyết địa phương phụ thuộc (DLT) (36), khẳng định rằng khó khăn bắt nguồn từ việc tích hợp các phụ thuộc cú pháp dài và lý thuyết bất ngờ (9, 10), khẳng định rằng nỗ lực xử lý tỷ lệ thuận với mức độ bất ngờ bắt nguồn từ các biểu diễn bối cảnh hoàn toàn xác thực.

Tác động của số lượng mức nhúng và hành vi của MỘT điều kiện, tương ứng được dự đoán bởi các lý thuyết dựa trên bộ nhớ và dựa trên kỳ vọng hiện có.

Tuy nhiên, cả hai nhóm mô hình trước đó đều không dự đoán được tác động của khả năng tương thích về ngữ nghĩa hoặc đưa ra sai lệch trong điều kiện HAI và BA. Xem Phụ lục SI, phần S7 để biết thêm về các mẫu trước đó.

Thí nghiệm 1: Tác dụng của tín hiệu thống kê

Chúng tôi đã kiểm tra sự ngạc nhiên của bối cảnh mất mát tài nguyên hợp lý bằng cách so sánh sự ngạc nhiên của mô hình (Phương trình 1) với độ khó xử lý của con người đối với động từ cuối cùng, như được phản ánh trong thời gian đọc.

Chúng tôi đã xây dựng 32 kích thích có dạng trong Hình 1A, mỗi kích thích có ba điều kiện (MỘT, HAI và THREE) và kết hợp chúng với 58 danh từ khác nhau có độ lệch nhúng khác nhau (ví dụ: báo cáo, thực tế, ...).

Trước tiên, chúng tôi đưa ra dự đoán về lý thuyết bất ngờ và DLT về độ khó ở động từ cuối cùng (Hình 3); chúng tôi đã triển khai lý thuyết bất ngờ bằng cách sử dụng cùng một mô hình thống kê được sử dụng cho mô hình tiên nghiệm của chúng tôi (GPT-2). Sau đó, chúng tôi đã tính toán ngữ cảnh hợp lý về tài nguyên một cách đáng ngạc nhiên, thay đổi số lượng từ ngữ cảnh trung bình được giữ lại trong quá trình tối ưu hóa xác suất lưu giữ từ 0đến 20.

Trên phạm vi của tham số này, mô hình trải qua ba giai đoạn riêng biệt (Phụ lục SI, Hình S4): Khi giữ lại nhiều (17) từ, hành vi rất giống với lý thuyết bất ngờ.

Khi có rất ít (4) từ được giữ lại, sự ngạc nhiên của mô hình sẽ không rõ ràng ở HAI và BA.

Ở giữa, mô hình thể hiện các dự đoán định tính được mô tả ở trên; chúng tôi hiển thị kết quả về tỷ lệ lưu giữ trung bình là 10 từ trong Hình 3A (xem Phụ lục SI, Hình S4 để biết kết quả ở các tỷ lệ lưu giữ khác): Mức độ ngạc nhiên của mô hình cao hơn trong BA điều kiện so với HAI, tăng khi nhúng sai lệch trong MỘT điều kiện và giảm với sự thiên vị nhúng trong các điều kiện HAI và BA.

Chúng tôi so sánh những dự đoán này với thời gian đọc của con người mà chúng tôi đo lường bằng mô hình mê cung (37–39). Trong mô hình này, người tham gia đọc từng câu một và chọn giữa từ tiếp theo đúng và từ gây phân tâm có độ dài và tần suất phù hợp nhưng lại rất tệ trong ngữ cảnh nhất định.

Biến phụ thuộc được quan tâm là thời gian cần thiết để đưa ra lựa chọn (thời gian phản ứng). Mô hình mê cung cho phép độ phân giải và độ nhạy theo thời gian cao hơn so với mô hình đọc theo nhịp độ truyền thống, có khả năng định vị kém do hiệu ứng lan tỏa và tiếng ồn do những người tham gia không chú ý, đặc biệt là trong các thử nghiệm dựa trên web (38, 39).

Có nhiều phương pháp khác nhau để tạo ra các từ gây phân tâm; chúng tôi sử dụng biến thể A-mê cung trong đó các yếu tố phân tâm được tạo tự động bằng mô hình ngôn ngữ thống kê quy mô lớn (39) (xem Tài liệu và Phương pháp để biết chi tiết).

Chúng tôi đã tuyển dụng 100 người nói tiếng Anh bản ngữ, thu thập dữ liệu từ 10 thử nghiệm quan trọng cho mỗi người tham gia, xen kẽ với 30 thử nghiệm bổ sung (xem Tài liệu và Phương pháp để biết chi tiết).

Người tham gia trung bình mắc lỗi 1,9% số từ trong cả thử nghiệm bổ sung và thử nghiệm quan trọng. Tiêu chí loại trừ được xác định trước cho người tham gia (phản hồi không chính xác về Lớn hơn hoặc bằng 20% số từ) đã ảnh hưởng đến 1,0% số người tham gia.

Chúng tôi đã loại trừ các thử nghiệm khỏi phân tích thời gian đọc khi phản hồi về từ quan trọng sai; điều này ảnh hưởng đến 5,2% dữ liệu (chủ yếu ở BA điều kiện khó). Xem Phụ lục SI, phần S3.6 để biết phân tích lỗi và thời gian đọc tùy theo lỗi.

Chúng tôi hiển thị thời gian đọc của động từ cuối cùng trong Hình 3A. Chúng tôi đã phân tích những điều này, sau khi chuyển đổi log, trong hồi quy hiệu ứng hỗn hợp tuyến tính Bayesian, nhập người tham gia, mục và danh từ dưới dạng hiệu ứng ngẫu nhiên (xem Tài liệu và Phương pháp để biết chi tiết).

Các kết quả thể hiện những tác động được dự đoán bởi mô hình tài nguyên-hợp lý. Đầu tiên,thời gian đọc ở BA cao hơn so với HAI ( khoảng tin cậy=0.18,95% [CrI] [0.13, 0.25], P( < {{ 8}}) < 0.0{{20}}01,hiệu ứng trong thời gian đọc thô: 217 mili giây, 95% CrI [144, 297] ms).Thứ hai, có sự tương tác giữa độ lệch nhúng và sự hiện diện của mệnh đề "that" (=−0,09, 95% CrI [−0,15, −0,03],P( > 0) {{25} }.0015).

Phù hợp với cả mô hình và lý thuyết bất ngờ của chúng tôi, tác động của sai lệch nhúng là tích cực trong MỘT điều kiện (sự khác biệt giữa "thực tế" và "báo cáo": 297 mili giây, 95% CrI [34, 566] mili giây).

Tuy nhiên, như mô hình của chúng tôi dự đoán, hiệu ứng này trở nên tiêu cực khi có mệnh đề "that" (sự khác biệt giữa "thực tế" và "báo cáo": −166 ms, 95% CrI [−297, −41]ms). Hiệu ứng này phù hợp với dự đoán của mô hình và không phù hợp với DLT hoặc lý thuyết bất ngờ.

Có thể chứng minh sự tương tác giữa độ sâu nhúng và độ lệch nhúng khi tổng hợp dữ liệu qua các thử nghiệm (Phụ lục SI, phần S2.1 và S6.6). Xem Phụ lục SI, phần S3 để phân tích thêm.

Chúng tôi nhận thấy rằng bối cảnh mất mát tài nguyên hợp lý cải thiện đáng ngạc nhiên so với lý thuyết bất ngờ và DLT trong việc dự đoán thời gian đọc không chỉ trong các phần nhúng trung tâm mà còn trong các thử nghiệm phụ (SI Phụ lục, phần S9).

Chúng tôi cũng đã kiểm tra các dự đoán cho một mô hình bộ nhớ thống nhất trong đó mỗi từ ngữ cảnh được giữ lại với xác suất bằng nhau, được giả định trong nghiên cứu trước đây về sự bất ngờ của ngữ cảnh bị mất (22). Mô hình này dự đoán tác động của độ lệch nhúng nhưng không dự đoán ảnh hưởng của độ sâu.

Chúng tôi còn so sánh nó với một mô hình dựa trên cửa sổ nơi có sẵn chính xác K từ cuối cùng; mô hình này dự đoán tác động của độ sâu nhưng không dự đoán tác động tiêu cực của sai lệch nhúng. Xem SI Phụ lục, phần S2.2 để biết chi tiết.

For more information:1950477648nn@gmail.com