نوع مقاله : مقاله پژوهشی

نویسندگان

• هاجر ستوده ¹
• معصومه روایی ²
• مهدیه میرزابیگی ³
• زهرا مزارعی ²

¹ دانشیار، علم اطلاعات و دانش‌شناسی، گروه علم اطلاعات و دانش‌شناسی، دانشکده علوم تربیتی و روان‌شناسی، دانشگاه شیراز، شیراز، ایران

² کارشناس ارشد، علم اطلاعات و دانش‌شناسی، گروه علم اطلاعات و دانش‌شناسی، دانشکده علوم تربیتی و روان‌شناسی، دانشگاه شیراز، شیراز، ایران

³ استادیار، علم اطلاعات و دانش‌شناسی، گروه علم اطلاعات و دانش‌شناسی، دانشکده علوم تربیتی و روان‌شناسی، دانشگاه شیراز، شیراز، ایران

چکیده

مقدمه: حوزه دگرسنجی با وجود مزایای بسیار برای ارزیابی پژوهش، به دلیل نوپایی و تأثیر از محیط پویای وب، با چالش‌هایی روبه‌رو است. مطالعه حاضر با هدف تعیین نقاط ضعف دگرسنجه‌ها و چالش‌های به کارگیری آن‌ها در ارزیابی پژوهش و نمایان ساختن ابعادی از این شاخص‌ها که خود نیازمند ارزیابی است، انجام شد.روش بررسی: این پژوهش از نوع توصیفی بنیادین بود که در آن به کمک روش تحلیل مضمون، محتوای آثار پیرامون تحلیل استنادی و دگرسنجی تحلیل گردید. جمع‌آوری داده‏‌ها، با مرتبط‌ترین آثار آغاز شد و تا مرحله اشباع اطلاعات ادامه یافت. داده‌ها به کمک روش مقایسه‌‌ای مستمر مورد تجزیه و تحلیل قرار گرفت.یافته‌ها: مهم‌ترین چالش‌های دگرسنجی عبارت از «احتمال دستکاری شاخص‌ها، عدم تفکیک انگیزه‌های مثبت و منفی، پوشش نامتوازن منابع، ناسازگاری و ابهام و گوناگونی منابع وب اجتماعی، سوگیری، بی‌ثباتی و نوسان، سرشت متغیر وب اجتماعی، یکسان دانستن ارزش دگرسنجه‌ها، ضعف ابزارها و مبانی نظری و استانداردها، عدم امکان سنجش نوع و زمینه استفاده و در نهایت ضعف در سنجش کیفیت» بود.نتیجه‌گیری: اگرچه دگرسنجی نقاط قوت منحصر به فرد بسیاری دارد که می‌تواند تحلیل استنادی را تقویت کند، اما از ضعف‌های بنیادینی نیز رنج می‌برد که کاربرد محتاطانه و هوشیارانه آن را می‌طلبد. در غیر این صورت، به کارگیری زودهنگام و شتاب‌زده آن می‌تواند نتایج ارزیابی پژوهش را تحریف نماید.

کلیدواژه‌ها

• ارزیابی پژوهش
• دگرسنجی
• تحلیل استنادی
• شاخص‌های استناد

عنوان مقاله [English]

Altmetrics Challenges in Research Evaluation: A Thematic Analysis

نویسندگان [English]

• Hajar Sotudeh ¹
• Masumeh Ravaie ²
• Mahdieh MirzaBeigi ³
• Zahra Mazarei ²

¹ Associate Professor, Knowledge and Information Sciences, Department of Knowledge and Information Sciences, School of Educational Sciences and Psychology, Shiraz University, Shiraz, Iran

² MSc, Knowledge and Information Sciences, Department of Knowledge and Information Sciences, School of Educational Sciences and Psychology, Shiraz University, Shiraz, Iran

³ Assistant Professor, Knowledge and Information Sciences, Department of Knowledge and Information Sciences, School of Educational Sciences and Psychology, Shiraz University, Shiraz, Iran

چکیده [English]

Introduction: Despite the advantages of altmetrics in research evaluation, it encounters many challenges as a nascent field impacted by web dynamism. The present study attempted to identify the challenges of employing altmetrics’ in evaluating research and to highlight some of the features that required evaluation and validation.Methods: The present communication was a basic descriptive research, applying a qualitative thematic analysis method. It studies the research and theoretical works on citation and altmetric indicators in order to extract the indicators’ weaknesses and challenges.Results: The findings led to the identification of many challenges including possibility of indicator manipulation and false improvement, inability to differentiate between positive or negative credits, unbalanced coverage of materials, incompatibility, ambiguities and diversity in the sources of social web, biases, fluctuations, variable nature of social web, equating all citations, lack of standardization, inability to determine the usage type and contexts, and finally inability to measure the quality.Conclusion: Although the altmetrics have many unique strengths that can boost citation analysis, it has several fundamental weaknesses regarding its concepts, services and resources that requires its cautious and conscious use, otherwise its premature and hasty usage would distort research evaluation results.

کلیدواژه‌ها [English]

• Research Evaluation
• Altmetrics
• Citation Analysis
• Citation Indicators