| | | | | | | | | | | | | | | 目前已有不少的研究績效評鑑方法,但甚少是完全獲致滿意的(King, 2004)。迄今已有三種方法較常受到學術界的討論,而且實際應用於研究評鑑活動。茲將這三種研究績效評鑑方法分別析述如下: | 一、 | 同行審查 | | 同行審查(peer review)主要是對研究品質的直接評鑑,但亦可以使用同行審查針對研究和研究獎助的(社會)影響之間接評鑑,這是所謂的「調整型同行審查」(modified peer review),在此種情況下,審查者需要具備從終端使用者(end-users)和整體社會利益觀點的專門技術和經驗,來評量研究或研究獎助的價值和關聯性(Vayrynen, 2006)。就學理而言,可對受評單位研究活動與成果進行全面性的評量,為同行審查之主要優點(Johnes, 1992; Johnes & Taylor, 1990);其次是它的經濟性 (Johnes, 1992)。但實際上無可避免的是評鑑人員的主觀性,在審查時可能會受到評鑑者本身的研究偏好,及其對受評機構的忠誠與特殊情感所左右(Johnes, 1992; Johnes & Taylor, 1990)。還有,此一方法容易受到月暈效應(halo effects)的影響,也就是某大學所屬單位可能因為該大學的高知名度,在接受評鑑時獲益。此外,使用同行審查可能存在一項危險,亦即評鑑委員可能會根據已經過時的印象,例如某一受評單位可能受惠於一些雖然已離職甚久,但積極從事學術研究的人員,而繼續享有良好的聲望。在接受評鑑時,大型的受評單位也可能較小規模的受評單位,處於更有利的地位,因為一方面其研究成果較易於顯現;另一方面至少有較大的機會,其成員可能為評鑑委員所熟識(Gleave, Harrison, & Moss, 1987)。最後,此種方法可能會導致許多大學花費大筆經費在營造名聲,而造成一種資源的浪費(Johnes, 1992; Johnes & Taylor, 1990)。 | | | 二、 | 文獻計量法 | | 文獻計量法(bibliometrics)是一種使用於圖書與資訊科學的研究方法,它運用量化分析與統計學來描述在一特定領域或文獻體系之內的出版品型態。研究者可以使用文獻計量法的評鑑方法,來確定單一作者之影響力,或者描述兩位或以上的作者或其論文之關係。從事文獻計量法評鑑的一種共通方法是使用社會科學引用索引(Social Science Citation Index, SSCI)和科學引用索引(Science Citation Index, SCI)或藝術和人文引用索引(Art and Humanities Citation Index, A & HCI)來追溯論文被引用情形(Bibliometrics, 2006)。 | | | | 文獻計量法在過去10年已發展得相當不錯而成為評估基礎研究的科學影響之工具,主要係根據出版量及其引用情形。雖然大規模的、在方法上領先的文獻計量法評鑑係源自於美國,但對文獻計量法的評論似乎集中於歐洲,因為歐洲各國政府經常委託學者進行使用文獻計量法之評鑑工作(Hicks, Tomizawa, Saitoh, & Kobayashi, 2004)。研究出版一直是科學社群傳播研究成果之重要方式,出版的量化研究即所熟知的上述文獻計量法,其係運用出版及其引用的各種資料庫,但在國際資料庫使用上的一項主要困難是英語期刊的過度代表性,這在社會科學與人文學上特別是有問題的(Lehvo & Nuutinen, 2006)。簡言之,文獻計量法是衡量不同國家研究品質和數量的一種方法,通常包括出版的研究論文和評論性文章數量及其引用情形(citations)(King, 2004)。 | | | 三、 | 研究收入 | | 另一種評鑑研究績效的方法是:使用大學爭取自外部的研究收入,做為研究績效的測量。Cave、Hanney與Kogan及Tomkins與Green認為研究獎助款反映出所從事研究的市場價值,因而可被視為研究績效的一項指標(Valadkhani & Worthington, 2005),但是Johnes與Johns(1993)卻認為獎助款是支出,而非產出。 | | | | 以研究收入做為研究績效的評鑑具有的優點是:一、這種方法與學術出版(publications)或論文引用情形,需要時間間隔等待研究成果出版的方法不同;二、目前大學的研究收入資料往往已公開,容易取得。但此種方法面對的批評有:一、研究收入代表一項輸入,並不等於研究產出,有人認為,一個單位研究收入的多寡與其研究品質無關;二、對於一些目前已經缺乏研究經費支援的學科領域而言,用此種方法來評量研究績效,可能會雪上加霜。研究收入的多寡,可能只代表研究產出的市場價值。此外,不同領域之間所須的研究經費甚為不同,甚至於同一領域中,不同性質的研究所需的經費,也會有極大的差異,例如:經濟學領域中有關應用性的研究,可能需要大量經費;相對地,理論性的研究可能需要的是長時間的思考與書面作業,因此只需要少量經費來支援。以研究經費多寡來計算研究績效,必然低估了只需要較少資源的研究類型之學術貢獻;另一項嚴重的問題是:以研究收入來測定研究績效是建立在市場的價值,相對忽視研究的社會性價值。最後,使用研究收入來評定研究績效可能導致的惡果是:研究人員為了提高績效,可能會在提出研究計畫時,膨脹需要的研究經費(Johnes & Taylor, 1990)。 | | | | … 轉載自《國際大學研究績效評鑑》 | | | | | | | | | | |