Chủ đề của AI – CHALLENGE 2021 năm nay là “Nhận diện chữ tiếng Việt trong ảnh ngoại cảnh và sinh hoạt hàng ngày – Vietnamese Scene Text Recognition”.
Đã có nhiều nghiên cứu đến từ các chuyên gia hàng đầu về CNTT trong ngành Trí tuệ nhân tạo (AI) nhằm tìm hiểu về công nghệ nhận diện mới này, song vẫn còn tồn tại nhiều thách thức trong việc tìm ra được lời giải về một thuật toán “siêu ưu việt” để có thể được áp dụng một cách rộng rãi.
Vậy, cách đánh giá cũng như các tiêu chí cho Vòng sơ tuyển về “Vietnamese Scene Text Recognition” sẽ ra sao tại Hội thi năm nay?
Cách đánh giá Vòng sơ tuyển, cụ thể:
BTC công bố tập dữ liệu kiểm tra cho vòng sơ tuyển (Test set A), gồm dữ liệu thử nghiệm nhưng không đi kèm đáp án. Các đội sẽ thử nghiệm giải pháp của mình nhằm có thể đạt được kết quả cao trên dữ liệu kiểm tra cho vòng sơ tuyển (test set A).
Mỗi đội sẽ chọn các giải pháp tốt nhất của mình cho dữ liệu kiểm tra trong vòng sơ tuyển (test set A) để nộp chính thức thông qua website cho Ban tổ chức. Mỗi đội có thể nộp tối đa 20 lời giải trên hệ thống trực tuyến và không quá 5 lời giải trong mỗi ngày. Số lượng lời giải nộp trong mỗi ngày được tính từ 0 giờ cùng ngày đến trước 0 giờ của ngày hôm sau.
Dữ liệu được sử dụng đánh giá không gán nhãn cùng với một từ điển chung sẽ được cung cấp cho các đội thi. Từ điển có thể không chứa toàn bộ những từ xuất hiện trong train/test set. Tại vòng này, ban tổ chức chỉ tập trung đánh giá độ chính xác của mô hình. Độ chính xác của mô hình được đo bằng giá trị h-mean score là độ đo được sử dụng rộng rãi trong bài toán scene text spotting hiện tại.
Đầu tiên, quy trình đánh giá sẽ so sánh kết quả bước detection trước. Đối với kết quả detection, ban tổ chức sẽ so khớp dựa trên độ đo Intersection over Union (IoU). Đối với các bounding box dự đoán có IoU so với ground truth lớn hơn hoặc bằng ngưỡng 0.5 sẽ được coi là khớp. Trong trường hợp có nhiều bounding box thỏa mãn ngưỡng, bounding box có IoU lớn nhất sẽ được chọn, các bounding box còn lại sẽ được tính là false positive. Khi đã tính toán được các bounding box thỏa mãn, bước tiếp theo sẽ so sánh kết quả của bước recognition. Groundtruth và chuỗi ký tự dự đoán sẽ đồng thời được chuyển thành dạng chữ viết hoa (upper case) và so sánh. Kết quả được đánh giá là đúng khi hai chuỗi ký tự đó giống hệt nhau.
Hội đồng giám khảo đánh giá, thẩm định kết quả của các đội dự thi dựa trên kết quả lời giải hợp lệ tốt nhất mà mỗi đội đã nộp (không nhất thiết phải là lời giải cuối cùng mà đội đã nộp), Ban tổ chức công bố danh sách các đội xuất sắc nhất để tham gia vòng chung kết.
Các mốc thời gian quan trọng:
01/11/2021: Bắt đầu vòng sơ khảo. Ban tổ chức công bố nội dung chủ đề, cùng với tập dữ liệu huấn luyện (training set), tập dữ liệu kiểm tra của vòng sơ tuyển (test set A).
Từ 11/11/2021 đến hết 28/11/2021: Các đội đăng ký và nộp các lời giải trên hệ thống chấm trực tuyến. Việc đăng ký tham dự cần hoàn tất trước ngày 27/11/2021.
29/11/2021 đến 30/11/2021: Công bố danh sách các đội vào vòng chung kết.
01/12/2021: Bắt đầu vòng chung kết.
Từ 01/12 đến 10/12/2021: Thời gian thi vòng chung kết trên tập dữ liệu kiểm tra của vòng chung kết [test set B].
Đăng ký tham gia và gửi bài dự thi lên hệ thống nộp bài của AI- CHALLENGE 2021, để có cơ hội được trải nghiệm các lớp đào tạo AI hoàn toàn miễn phí và được cấp chứng nhận từ Sở Thông tin và Truyền thông TP.HCM ngay tại đây: https://aichallenge.hochiminhcity.gov.vn/#AiChallenge2021
