توان نظر داوران Cochrane و بافتار استناد در شناسایی چکیده مقالات مرتبط و بخش‌های اصلی آن‌ها

نوع مقاله : مقاله پژوهشی

نویسندگان
عادله اسعدی 1
هاجر ستوده 2
جواد عباسپور 3
مصطفی فخراحمد 4
1 دانشجوی دکتری تخصصی، علم اطلاعات و دانش‌شناسی، گروه علم اطلاعات و دانش‌شناسی، دانشکده روان‌شناسی و علوم تربیتی، دانشگاه شیراز، شیراز، ایران
2 دانشیار، علم اطلاعات و دانش‌شناسی، گروه علم اطلاعات و دانش‌شناسی، دانشکده روان‌شناسی و علوم تربیتی، دانشگاه شیراز، شیراز، ایران
3 استادیار، علم اطلاعات و دانش‌شناسی، گروه علم اطلاعات و دانش‌شناسی، دانشکده روان‌شناسی و علوم تربیتی، دانشگاه شیراز، شیراز، ایران
4 دانشیار، نرم‌افزار، گروه مهندسی کامپیوتر، دانشکده مهندسی برق و کامپیوتر، دانشگاه شیراز، شیراز، ایران
10.22122/him.v17i4.4130
چکیده
مقدمه: فرامتن یا متن درباره متن، در بهبود بازیابی اطلاعات و یادگیری ماشینی مؤثر است. پژوهش حاضر با هدف بررسی قدرت سامانه‌های مبتنی بر دو نوع فرامتن شامل نظر داوران Cochrane و بافتارهای استناد در شناسایی متن کامل و بخش‌های اصلی چکیده‌های کارآزمایی‌های بالینی تصادفی کنترل ‌شده انجام گردید.روش بررسی: این مطالعه از نوع توصیفی بود و به روش تحلیل محتوای کمی، به بررسی 846 مقاله کارآزمایی بالینی پرداخت. نظر داوران و بافتارهای استناد از پایگاه‌های Cochrane و Colil (Comment on Literature in Literature) استخراج شد. سپس 30 مدرک پایه تصادفی به‌ عنوان جایگزین پرسش انتخاب و شباهت متنی آن‌ها با مجموعه آزمایشی محاسبه گردید. منحنی عملکرد سامانه برای هر فرامتن و ترکیب آن‌ها مورد تجزیه و تحلیل قرار گرفت.یافته‌ها: سطح زیر منحنی عملکرد برای سامانه مبتنی بر نظر داوران، مطلوب (638/0) و برای سامانه‌های بافتارهای استناد (807/0) و ترکیبی (936/0) بالاتر بود. نظر داوران در بخش روش‌شناسی (606/0) و بافتار استناد در بخش مقدمه (661/0)، بالاترین سطح زیر منحنی را نشان داد.نتیجه‌گیری: نظر داوران و بافتارهای استناد، توان شناسایی صحیح متون مرتبط را دارند. نظر داوران در شناسایی بخش روش‌شناسی و بافتارهای استناد در شناسایی بخش مقدمه توانایی بالاتری را نشان می‌دهند. ترکیب دو سامانه، قدرت آن‌ها را در شناسایی بخش بحث و نتیجه‌گیری به حداکثر می‌رساند. این قدرت را می‌توان در بهبود عملکرد سامانه‌های یادگیری ماشینی، بازیابی، طبقه‌بندی و خلاصه‌سازی متن به کار برد.

کلیدواژه‌ها

عنوان مقاله English

The Potentials of Cochrane Reviewers' Comments and Citation Contexts in the Recognition of Randomized Controlled Trials' Texts and their Main Sections

نویسندگان English

Adeleh Asadi 1
Hajar Sotudeh 2
Javad Abbaspour 3
Mostafa Fakhr-Ahmad 4
1 PhD Student, Knowledge and Information Science, Department of Knowledge and Information Science, School of Psychology and Educational Sciences, Shiraz University, Shiraz, Iran
2 Associate Professor, Knowledge and Information Science, Department of Knowledge and Information Science, School of Psychology and Educational Sciences, Shiraz University, Shiraz, Iran
3 Assistant Professor, Knowledge and Information Science, Department of Knowledge and Information Science, School of Psychology and Educational Sciences, Shiraz University, Shiraz, Iran
4 Associate Professor, Software, Department of Computer Engineering, School of Electrical and Computer Engineering, Shiraz University, Shiraz, Iran
چکیده English

Introduction: Meta-textuality can provide effective medium for facilitating information retrieval and machine learning. This study explored the strengths of two types of meta-texts (i.e., reviewers' comments and citation contexts) in correct classification and recognition of their related texts and main sections at abstract level.Methods: In this descriptive study with quantitative content analysis method, 846 randomized controlled trials were assessed; and their reviewers' comments and citation contexts were extracted from Cochrane reviews and Colil databases. Thirty seed documents were randomly selected as queries, and their abstract similarities to the test collection and the main sections (IMRaD: introduction, method, results, discussion) were calculated. Receiver operating characteristic (ROC) was used to analyze the performance of Cochrane reviewers' comments and citation contexts individually and in combination.Results: The citation contexts’ area under the curve (0.807) was higher than the Cochrane comments' (0.638), and reached its highest for their combination (0.936). The former had the highest performance in correct classification of the introduction section (0.661), and the latter in correct recognition of the methodology section (0.606).Conclusion: Cochrane reviewers’ comments and the citation contexts had the potential of correct classification of the related texts. The former did well in identifying the methodology section, while the latter in identifying the introduction section. Combining the two systems can boost their power in identifying the discussion section. The results can have implications for natural language processing, machine learning systems, text categorization, retrieval, and summarization.

کلیدواژه‌ها English

Text Similarity
Cochrane Reviewers' Comments
Citation Contexts
Natural Language Processing
  1. Duan L, Street N, Xu E. Healthcare information systems: Data mining methods in the creation of a clinical recommender system. Enterp Inf Systems 2011; 5(2): 169-81.
  2. Elliott JH, Synnot A, Turner T, Simmonds M, Akl EA, McDonald S, et al. Living systematic review: 1. Introduction-the why, what, when, and how. J Clin Epidemiol 2017; 91: 23-30.
  3. Xu R, Supekar K, Huang Y, Das A, Garber A. Combining text classification and Hidden Markov Modeling techniques for categorizing sentences in randomized clinical trial abstracts. AMIA Annu Symp Proc 2006; 824-8.
  4. Asadi Shali A. Clinical librarianship services methods. Tabriz, Iran: Ahrar; 2015. [In Persian].
  5. Tbahriti I, Chichester C, Lisacek F, Ruch P. Using argumentation to retrieve articles with similar citations: An inquiry into improving related articles search in the MEDLINE digital library. Int J Med Inform 2006; 75(6): 488-95.
  6. Agarwal S, Yu H. Automatically classifying sentences in full-text biomedical articles into Introduction, Methods, Results and Discussion. Bioinformatics 2009; 25(23): 3174-80.
  7. Kovacevic A, Konjovic Z, Milosavljevic B, Nenadic G. Mining methodologies from NLP publications: A case study in automatic terminology recognition. Comput Speech Lang 2012; 26(2): 105-26.
  8. Agibetov A, Blagec K, Xu H, Samwald M. Fast and scalable neural embedding models for biomedical sentence classification. BMC Bioinformatics 2018; 19(1): 541.
  9. Dernoncourt F, Lee J, Szolovits P. Neural networks for joint sentence classification in medical paper abstracts. arXiv: 1612 05251v1. 2016.
  10. Kiela D, Guo Y, Stenius U, Korhonen A. Unsupervised discovery of information structure in biomedical documents. Bioinformatics 2015; 31(7): 1084-92.
  11. Marshall IJ, Kuiper J, Wallace BC. RobotReviewer: Evaluation of a system for automatically assessing bias in clinical trials. J Am Med Inform Assoc 2016; 23(1): 193-201.
  12. Ritchie A. Citation context analysis for information retrieval [PhD Thesis]. Cambridge, UK: University of Cambridge; 2009.
  13. Yaghtin M, Sotudeh H, Mohammadi M, Mirzabeigi M, Fakhrahmad SM. A correlation study of co-opinion and co-citation similarity measures. Int J Inf Sci Manag 2019; 17(2): 19-31.
  14. Boughanem M. Information retrieval and social media. In: Amine A, Otmane AM, Bellatreche L, editors. Modeling Approaches and algorithms for advanced computer applications. Cham, switzerland: Springer International Publishing; 2013. p. 7.
  15. Bornmann L, Egghe L. Journal peer review as an information retrieval process. J Doc 2012; 68(4): 527-35.
  16. Barney JB, Mackey A. Text and metatext in the resource-based view. Hum Resour Mana. J 2016; 26(4): 369-78.
  17. Rashidi Sharifabad K, Sotodeh H, Mirzabeigi M, Fakhrahmad SM. Measuring similarities between open peer review comments and contents of scientific articles: AS natural language processing technique inquiry. National Studies on Librarianship and Information Organization 2020; 31(2): 86-103. [In Persian].
  18. Rashidi K, Sotudeh H, Mirzabeigi M, Nikseresht A. Determining the informativeness of comments: A natural language study of F1000Research open peer review reports. Online Inf Rev 2020; 44(7): 1327-45.
  19. Liu S, Chen C, Ding K, Wang B, Xu K, Lin Y. Literature retrieval based on citation context. Scientometrics 2014; 101(2): 1293-307.
  20. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane handbook for systematic reviews of interventions. 2nd ed. Chichester, UK: John Wiley and Sons; 2019.
  21. Case D, Higgins G. How can we investigate citation behaviour? A study of reasons for citing literature in communication. Journal of the American Society for Information Science 2000; 51(7): 635-45.
  22. Doslu M, Bingol HO. Context sensitive article ranking with citation context analysis. Scientometrics 2016; 108(2): 653-71.
  23. Jeong YK, Song M, Ding Y. Content-based author co-citation analysis. J Informetr 2014; 8(1): 197-211.
  24. Tian H, Zhuo HH. Paper2vec: Citation-context based document distributed representation for scholar recommendation. arXiv: 1703 06587. 2017.
  25. Duma D, Klein E. Citation resolution: A method for evaluating context-based citation recommendation systems. Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics; 2014 Jun 22-27; Baltimore, MD, USA. p. 358-63.
  26. Duma D, Liakata M, Clare A, Ravenscroft J, Klein E. Applying core scientific concepts to context-based citation recommendation. Proceedings of the 10th International Conference on Language Resources and Evaluation; 2016 May 23-28; Portoroz, Slovenia. p. 1737-42.
  27. Zhu X, Turney P, Lemire D, Vellino A. Measuring academic influence: Not all citations are equal. J Assoc Inf Sci Tech 2015; 66(2): 408-427.
  28. An J, Kim N, Kan MY, Chandrasekaran MK, Song M. Exploring characteristics of highly cited authors according to citation location and content. J Assoc Inf Sci Tech 2017; 68(8): 1975-88.
  29. Hernandez-Alvarez M, Gomez JM. Survey about citation context analysis: Tasks, techniques, and resources. Nat Lang Eng 2016; 22(3): 327-49.
  30. American National Standards Institute. American National Standard for Writing Abstracts, Z39. Baltimore, MD: ANSI; 1979.
  31. Yamamoto Y, Takagi T. A sentence classification system for multi biomedical literature summarization. Proceedings of the 21st International Conference on Data Engineering Workshops; 2005 Apr 3-4; Tokyo, Japan.