DeepLearning_AspectbasedSentimentAnalysis.pptx

Editor's Notes

• #16: Biểu diễn của đầu chú ý thứ m học biểu diễn cạnh i,j dựa trên các cạnh kề với đỉnh i
• #17: Cổng quyết định mức độ đóng góp thông tin giữa 2 đầu
• #18: Dg là biểu diễn thông tin của câu được tăng cường thông tin cú pháp tại đầu thứ g.
• #20: SA-Transformer và một số mô hình trước đây chỉ xem xét ghép nối biểu diễn của cặp từ làm đầu vào cho lớp phân loại thực thể [1], [8]. Tuy nhiên, cách tiếp cận này không nắm bắt được đầy đủ thông tin trong các đặc trưng được ghép nối. Để tạo ra biểu diễn mang nhiều thông tin hơn, tôi đề xuất sử dụng một mạng Biaffine Attention để thu được thêm thông tin biểu diễn quan hệ giữa các cặp từ với hy vọng cải thiện hiệu suất của tác vụ phân loại nhãn cho cặp từ
• #21: U1 là ma trận bậc 2, U2 là ma trận bậc 1
• #23: Khi thêm một loss vào đầu ra của lớp Biaffine, tôi buộc mô hình tại lớp này phải học các đặc trưng có ý nghĩa hơn. Hàm loss tại biểu diễn đầu ra Biaffine attention như một tín hiệu hướng dẫn sớm. Nó giúp kết quả sau lớp Biaffine phù hợp hơn với mục tiêu đầu ra cuối cùng, thay vì chỉ dựa vào việc học ngẫu nhiên qua tầng kế tiếp. Điều này giúp tránh việc các đặc trưng từ lớp này trở nên quá phức tạp hoặc nhiễu, từ đó cải thiện khả năng tổng quát hóa của mô hình Khi thêm một loss tại lớp Biaffine, tôi đã thêm một đường dẫn ngược( backpropagation) mới cho gradient. Điều này giúp giảm thiểu tình trạng gradient suy biến (độ lớn gradient giảm dần qua các tầng), đặc biệt trong các mô hình sâu. Lớp này sẽ được cập nhật hiệu quả hơn, cải thiện chất lượng đầu ra của nó
• #26: Tổng số mẫu: 2067 và 1456
• #31: Ởmẫu a, mô hình chỉ bắt được từ chỉ khía cạnh là "delivery", không đầy đủ là "delivery times". Ở mẫu b, mô hình bắt thừa từ chỉ ý kiến là "hot ready" (thực tế chỉ có "hot"). Ở mẫu c, mô hình dự đoán sai do sự phức tạp về mặt ngữ nghĩa. Lỗi phổ biến nhất là mô hình đề xuất có thể dự đoán sai span, so với kết quả thực tế chỉ sai khác một vài từ, thường là các từ/cụm từ bổ nghĩa như tính từ, trạng từ, .... Lỗi này thường hay xuất hiện, đặc biệt trên tập dữ liệu theo miền cụ thể như Lap14 hay Res14 Đôi khi mô hình dự đoán đúng các mối quan hệ so với cách gán nhãn nhưng chúng lại không đúng trong thực tế. Ví dụ trong câu: "The menu is interesting and quite reasonably priced .", cụm từ "reasonably priced" vừa là từ chỉ ý kiến ứng với từ chỉ khía cạnh "menu", tuy nhiên chúng cũng có thể tách ra thành từ chỉ ý kiến là "reasonably" và từ chỉ khía cạnh "priced".
• #35: Độ đo F1-score được ưu tiên sử dụng thay cho Accuracy trong một số trường hợp cụ thể bởi vì nó phản ánh tốt hơn hiệu suất của mô hình trong các tình huống có sự mất cân bằng giữa các lớp dữ liệu. Cả lỗi dương tính giả (False Positive) và âm tính giả (False Negative) đều quan trọng.Bạn muốn đảm bảo rằng mô hình vừa nhận diện đúng các mẫu dương, vừa không dự đoán sai quá nhiều.