Tìm kiếm ảnh theo ngữ nghĩa dựa trên đồ thị cụm

dung hòa F-measure. Công thức tính các giá trị này như sau [2]: Trong đó, relavant images là tập ảnh tương tự với ảnh truy vấn có trong tập dữ liệu ảnh, retrieved images là tập ảnh đã tìm kiếm được. Các giá trị độ chính xác, độ phủ và độ do dung hòa được tính theo tỷ lệ và được quy đổi thành giá trị trên đoạn [ ]. Precision-Recall và đường cong ROC của hệ thống trên tập dữ liệu ImageCLEF Trung bình độ chính xác, độ phủ và độ dung hòa của hệ thống trên tập dữ liệu ImageCLEF Trong thực nghiệm của bài báo này, chúng tôi chọn 7500 ảnh trong tập 20000 ảnh của tập dữ liệu ImageCLEF 484 TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM để kiểm thử. Kết quả thực nghiệm của phương pháp chúng tôi đề xuất được mô tả tại Hình 5, Hình 6; hiệu suất của phương pháp được trình bày trong Bảng 1; giá trị MAP của phương pháp đề xuất được so sánh với các phương pháp khác trên cùng bộ dữ liệu ImageCLEF được mô tả trong Bảng 2. Hình 5 mô tả các đường cong Precision-Recall và ROC, mỗi đường cong mô tả một bộ dữ liệu được truy vấn. Hình 6 mô tả giá trị Precision, Recall, F-measure trung bình của 39 bộ ảnh trong tập dữ liệu ImageCLEF. Kết quả trong Bảng 2 cho thấy phương pháp đề xuất của chúng tôi tương đối chính xác so với các hệ truy vấn ảnh theo ngữ nghĩa. Bảng 1. Hiệu suất tìm kiếm ảnh của phương pháp được đề xuất trên bộ dữ liệu ImageCLEF Tập ảnh Số ảnh Số cụm Độ chính xác trung bình Độ phủ trung bình Độ đo dung hòa trung bình 00-10 2500 6 0.694152 0.338917 0.455458 11-20 1551 7 0.646883 0.402911 0.496578 21-30 1235 8 0.644240 0.400223 0.493727 31-40 2217 6 0.729549 0.569591 0.639723 Bảng 2. So sánh độ chính xác giữa các phương pháp trên bộ dữ liệu ImageCLEF Phƣơng pháp Mean Average Precision (MAP) C.A. Hernández-Gracidas, 2013 [13] 0.5826 Hakan Cevikalp, 2017 [12] 0.4678 Vijayarajan, 2016 [25] 0.4618 Van T.T, 2017 [23] 0.7945 Phƣơng pháp đề xuất của chúng tôi 0.6787 Ứng dụng thực nghiệm của phương pháp đề xuất Kết quả tìm kiếm ảnh của phương pháp đề xuất VI. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Bài báo đã xây dựng được phương pháp tìm kiếm ảnh theo ngữ nghĩa dựa trên đồ thị cụm bao gồm đồ thị đặc trưng thị giác của hình ảnh. Trong bài báo này, chúng tôi đã đề xuất độ đo tương tự giữa hai hình ảnh và xây dựng cấu trúc đồ thị cụm. Trên cơ sở lý thuyết đã được đề xuất, chúng tôi xây dựng hệ truy vấn ảnh theo ngữ nghĩa dựa trên nội dung của hình ảnh. Kết quả thực nghiệm trên bộ dữ liệu ảnh ImageCLEF được đánh giá và so sánh với các công trình khác trên cùng một tập dữ liệu ảnh đã cho thấy phương pháp đề xuất là hiệu quả. Vì vậy, phương pháp đề xuất của chúng tôi có thể được sử dụng cho các hệ thống tra cứu dữ liệu đa phương tiện. Việc xây dựng đồ thị cụm dựa trên đồ Nguyễn Văn Thịnh, Nguyễn Thị Định, Văn Thế Thành 485 thị đặc trưng thị giác của hình ảnh đã tạo ra một cấu trúc tìm kiếm ảnh nhanh chóng. Từ đó, kết quả của quá trình tìm kiếm ảnh có thể phân tích được ngữ nghĩa và tạo câu truy vấn SPARQL làm cơ sở thực hiện trích xuất mô tả ngữ nghĩa trên ontology. Hướng phát triển tiếp theo của bài báo là phát triển phương pháp cụm dựa trên các kỹ thuật phân lớp hình ảnh, nghĩa là có thể tạo ra một mô hình phân lớp để phân bố các hình ảnh thuộc về các cụm cho trước, đồng thời xây dựng cấu trúc mở rộng các cụm dựa trên phương pháp phân lớp. VII. LỜI CẢM ƠN Nhóm tác giả chân thành cảm ơn Trường Đại học Công nghiệp Thực phẩm TP.HCM là nơi bảo trợ cho nghiên cứu này. Chúng tôi trân trọng cám ơn nhóm nghiên cứu SBIR-HCM và Trường Đại học Sư phạm TP.HCM đã hỗ trợ về chuyên môn và cơ sở vật chất giúp chúng tôi hoàn thành bài nghiên cứu này. TÀI LIỆU THAM KHẢO 1. S. R. W. A. Hlaoui. "A graph clustering algorithm with applications to content-based image retrieval". in Proceedings of the 2003 International Conference on Machine Learning and Cybernetics. 2003. Xi'an, China: IEEE. 2. A. A. Ahmad Alzu’bi, Naeem Ramzan, "Semantic content-based image retrieval: A comprehensive study", Journal of Visual Communication and Image Representation, vol. 32, no., pp. 20-54, 2015. 3. X. Y. B. B. Z. Yao, L. Lin, M.W. Lee, S. C. Zhu. "I2T: Image Parsing to Text Description". in Proceedings of the IEEE. 2010. IEEE. 4. B. S. Banerjee M., Pal S. K., "A Clustering Approach to Image Retrieval Using Range Based Query and Mahalanobis Distance". in In: Skowron A., Suraj Z. (eds) Rough Sets and Intelligent Systems - Professor Zdzisław Pawlak in Memoriam. 2013. Springer, Berlin, Heidelberg. 5. J. B. Bin Xu, Chun Chen, Can Wang, Deng Cai, Xiaofei He, "EMR: A Scalable Graph-Based Ranking Model for Content-Based Image Retrieval", IEEE Transactions on Knowledge and Data Engineering, vol. 7, no. 1, pp. 102- 114, 2015. 6. P. Carbonetto. Available from: 7. C. C. C. Chuen-Horng Lin, Hsin-Lun Lee, Jan-Ray Liao, "Fast K-means algorithm based on a level histogram for image retrieval", Expert System with Application, vol. 41, no. 7, pp. 3276-3283, 2014. 8. Deloitte. 2018; Available from: https://www2.deloitte.com. 9. Deloitte, " Photo sharing: trillions and rising", Deloitte Touche Tohmatsu Limited, Deloitte Global, Tech. Rep., vol., no., 2016. 10. J. Y. Guang-HaiLiu, "Content-based image retrieval using color difference histogram", Pattern Recognition, vol. 46, no. 1, pp. 188-198, 2013. 11. M. M. H. R. Saboorian, Jamzad, M. Rabiee. "User adaptive clustering for large image databases". in 20th IEEE International Conference on Pattern Recognition. 2010. Istanbul, Turkey: IEEE. 12. M. E. Hakan Cevikalp, Savas Ozkan, "Large-scale image retrieval using transductive support vector machines", Computer Vision and Image Understanding, vol. 173, no., pp. 2-12, 2018. 13. C. A. Hernández-Gracidas, Sucar, L. E. & Montes-y-Gómez, "Improving image retrieval by using spatial relations", Multimed Tools Application, vol. 62, no. 2, pp. 479-505, 2013. 14. C. A. H. Hugo Jair Escalante, Jesus A. Gonzalez, A. López- López, Manuel Montes, Eduardo F. Morales, L. Enrique Sucar, Luis Villasenor, Michael Grubinger "The segmented and annotated IAPR TC-12 benchmark", Computer Vision and Image Understanding, vol. 114, no. 4, pp. 419-428, 2010. 15. S. H. J. Hun-Woo Yoo, Dong-Sik Jang, Yoon-Kyoon Na, "Extraction of major object features using VQ clustering for content-based image retrieval", Pattern Recognition, vol. 35, no. 5, pp. 1115-1126, 2002. 16. S. Jabeen, et al., "An effective content-based image retrieval technique for image visuals representation based on the bag-of-visual-wordsmodel", PLoS ONE, vol. 13, no. 4, pp. 1-24, 2018. 17. P. S. Kim S., Kim M. "Central Object Extraction for Object-Based Image Retrieval". in International Conference on Image and Video Retrieval. 2003. Berlin, Heidelberg: Springer, Berlin, Heidelberg. 18. S. M. N. Zakariya, Ali, R., Ahmad. "Combining visual features of an image at different precision value of unsupervised content based image retrieval". in 2010 IEEE International Conference on Computational Intelligence and Computing Research. 2011. Coimbatore, India: IEEE. 19. Y. D. Nan Zhao, Hongliang Bai, Lezi Wang, Chong Huang, Shusheng Cen, Jian Zhao. "A semantic graph-based algorithm for image search reranking". in 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. 2013. IEEE. 486 TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM 20. Z. M. S. Jabeen, T. Mahmood, T. Saba, A. Rehman, M. T. Mahmood, "An effective content-based image retrieval technique for image visuals representation based on the bag-of-visual-wordsmodel", PLoS ONE, vol. 13, no. 4, pp. 1-24, 2018. 21. N. V. T. Thanh The Van, Thanh Manh Le, "The Method Proposal of Image Retrieval Based on K-Means Algorithm", Advances in Intelligent Systems and Computing, vol. 746, no. 2, pp. 481-490, 2018. 22. T.M.L. Thanh The Van, "Content-Based Image Retrieval using A Signature Graph and A Self-Organizing Map", International Journal of Applied Mathematics and Computer Science (AMCS), vol. 26, no. 2, pp. 423-438, 2016. 23. T. M. L. Thanh The Van, "Content-based image retrieval based on binary signatures cluster graph", Journal of Knowledge Engineering, Expert System, vol. 35, no. 1, pp. 1-22, 2017. 24. T. M. L. Thanh The Van, "Image Retrieval Based on Binary Signature ang S-kGraph", Annales Univ. Sci. Budapest, vol. 43, no., pp. 105-122, 2014. 25. M. D. V. Vijayarajan, P. Tejaswin, M. Lohani, "A generic framework for ontology‑ based information retrieval and image retrieval in web data", Human-centric Computing and Information Sciences, vol. 6, no. 18, pp. 1-30, 2016. 26. X. C. Xiao Xie, Junpei Zhou, Nan Cao, Yingcai Wu, "A Semantic-based Method for Visualizing Large Image Collections", IEEE Transactions on Visualization and Computer Graphics, vol., no., 2018. 27. G. L. Yan Yan, Sen Wang, Jian Zhang, Kai Zheng, "Graph-based clustering and ranking for diversified image search", Multimedia Systems, vol. 23, no. 1, pp. 41-52, 2017. 28. B. B. Z. Yao, et al. "I2T: Image Parsing to Text Description". in Proceedings of the IEEE. 2010. IEEE. SEMANTIC-BASED IMAGE RETRIEVAL BASED ON CLUSTER GRAPH Nguyen Van Thinh, Nguyen Thi Dinh, Van The Thanh ABSTRACT: The Semantic-Based Image Image (SBIR) problem is of interest in recent years because this approach can extract image semantics and overcome the disadvantages of Text-Based Image Retrieval (TBIR) and Content-Based Image Retrieval (CBIR) methods. Therefore, in this paper, we propose methods retrieval and extracting images semantics with a visual feature graph of images and a cluster graph. To accomplish this problem, the visual feature graph clustering method is proposed to create the cluster graph from which to extract image semantics. First of all, we propose a structure of image description graphs and similarity measure based on low-level features along with spatial relationships among regions in the image. Then, cluster graphs were created using a method of clustering the visual feature graphs of the images on the basis of the proposed similarity measure; At the same time, we build the ontology that describes the semantics for the image dataset and create the SPARQL query rely on the visual word vector to perform image retrieval on the ontology. Based on the built cluster graph and ontology, we propose an image retrieval and semantic extraction algorithm. In order to illustrate the proposed theory, experiments were built and evaluated on ImageCLEF dataset; Experimental results are evaluated compared to other recently published methods on the same dataset. From the experimental results show that our proposed method is effective and can be applied in many multimedia data systems. Keywords: SBIR, image retrieval, clustering, ontology, SPARQL.