針對政策實施進行評鑑

原文網頁連結,如對本網頁翻譯有問題,歡迎聯絡我們



在我們的研究中,很少有機構針對政策實施進行過評鑑。我們建議各機構在研發政策時實施評鑑計畫。

有評鑑發現,例如:

  • 將研究中的生理性別和社會性別分析(知識問題)與團隊中的社會性別平等(參與人的問題)混淆
  • 將生理性別和社會性別兩個名詞混用(Haverfield & Tannenbaum,2021)
  • 未能評估生理性別、社會性別與其他多樣性因素的交織性。

我們建議進行多元面向的評鑑如下:

1. 包含SG&DA的補助案數量和比例。加拿大衛生研究院發現,從2011年到2019年,生理性別分析的比例從22%增加到83%,社會性別分析的比例從12%增加到33%。整合的水平因領域而異,生物醫學最低,臨床研究最高(Haverfield & Tannenbaum, 2021)。美國國家衛生研究院的一項獨立研究發現,在實驗設計、分析和報告中處理SABV(Sex As a Biological Variable,生理性別作為生物學變項)的申請人從2016年的51%上升到2017年的66%(Woitowich & Woodruff, 2019)。

愛爾蘭研究委員會(IRC)針對其博士後補助計畫進行全面評鑑時發現,在研究提案中包含生理性別和社會性別分析的可能性取決於學科領域,藝術、人文和社會科學領域者更願意這麼做,生物科學和醫學領域的可能性則次之,而物理科學和工程學領域的可能性最小。這種情形也因社會性別而異,女性比男性更可能納入社會性別向度(Irish Research Council, 2021)。為了克服這些落差,IRC建議針對落後的領域發展更多提供具體範例的培訓。

2. 申請計畫案件的SG&DA的品質。歐盟委員會(EC)在2017年針對Horizon 2020進行了期中評鑑,包括社會性別向度的品質。他們考慮了方法、影響、傳播,以及該計畫是否在其領域推動了生理性別或社會性別的方法學。他們的結論認為,計畫提案中社會性別向度的品質不高,因此需要更多培訓。

對於將SG&DA獨立成為一項問題的機構,機構政策評鑑人員可透過檢驗審查者評分與申請人提案品質之間的相關性,來監督審查者的工作品質。這也可用於衡量不同補助金流的評審品質(Science Foundation Ireland, 2020)。

加拿大衛生研究院(CIHR)將提案中的SG&DA機構的品質納入審查流程。如前文所述,CIHR要求評審人員對提案的生理性別和社會性別面向進行評分,並提供評分之理由(Haverfield & Tannenbaum, 2021)。

3. 評審人員評分及評論的品質。CIHR以人工抽查評審人員評論中的5%,以檢驗回應的品質(Haverfield & Tannenbaum, 2021)。

歐盟委員會檢討了審查小組的效力,發現僅有36%的審查小組考慮到社會性別向度,其中的70%是有邀請一位性別專家參加,顯示審查小組需要性別專家的指導(European Commission, 2017)。考慮到每年的申請量,歐盟委員會以電腦輔助文本分析進行實驗(European Commission, 2017)。這些方法尚在起步階段,後續可能進一步發展。

針對美國國家衛生研究院(NIH)的外部審查發現,2017年有88%的審查者自認他們了解SABV政策,卻只有68%認為SABV對美國NIH補助的所有研究都很重要(Woitowich & Woodruff, 2019)。這項研究並未評估審查者評分的品質。

4. 申請人、評審人員、工作人員參與培訓的人數以及參與的培訓類型。如果可能,應評估參加的培訓與受訓後提交之計畫案成效間的相關性。有些補助單位如西班牙卡洛斯三世健康研究所(Carlos III Health Institute),表示其監督SG&DA培訓的參與人數,並且設定目標以便今後逐漸促進這一點。愛爾蘭研究委員會則評鑑申請人對於培訓的反應,發現大多數人都希望培訓課程能提供針對其學科的特定範例(Irish Research Council, 2021)。

5. 納入SG&DA的補助所產生的同儕審查出版物,或其他認可的推廣方式的數量和比例。為了監督這點,補助單位將需要使用補助編號來追蹤論文及研究成果。愛爾蘭科學基金會(Science Foundation Ireland,SFI)在我們的研究中表示,他們收集研究人員自述的出版物數據,以檢驗他們提出的計畫案是否也在他們的出版物中都包含生理性別及/或社會性別分析。這將使得SFI科學計畫經辦人,可以在期中獎勵審查中提出任何問題。

透過其審查流程,加拿大衛生研究院發現了我們未加以評鑑、但值得注意的其他相關要項。他們發現,在生理性別/社會性別問題方面獲得高分的申請人,總體得分也高,意即生理性別/社會性別分析促進了提案的整體品質,申請人更可能獲得補助(Haverfield & Tannenbaum, 2021)。此外,與其他文獻(Nielsen et al., 2017)一致,他們發現女性申請人更可能將生理性別和社會性別分析納入她們的提案中。

參考資料

Arnegard, M. E., Whitten, L. A., Hunter, C., & Clayton, J. A. (2020). Sex as a biological variable: a 5-year progress report and call to action. Journal of Women's Health, 29(6), 858-864.

European Commission. (2017). Interim evaluation: Gender equality as a crosscutting issue in 2020. Publications Office of the European Union, Annexe 1.

Hunt, L. & Schiebinger, L. (2022). Global review of sex, gender, and/or diversity analysis in research policies of major public granting agencies.

Haverfield, J., & Tannenbaum, C. (2021). A 10-year longitudinal evaluation of science policy interventions to promote sex and gender in health research. Health research policy and systems, 19(1), 1-12.

Irish Research Council, Review of the IRC Gender Strategy & Action Plan, Final Report, 2021.

Nielsen, M. W., Andersen, J. P., Schiebinger, L., & Schneider, J. W. (2017). One and a half million medical papers reveal a link between author gender and attention to gender and sex analysis. Nature human behaviour, 1(11), 791-796.

Science Foundation Ireland, Call for Submission of Proposals.
https://www.sfi.ie/funding/funding-cal%20ls/frontiers-for-the-future/SFI-Frontiers-for-the-Future-Programme-2020-Call-Document.pdf (2020).

Tannenbaum, C., Ellis, R. P., Eyssel, F., Zou, J., & Schiebinger, L. (2019). Sex and gender analysis improves science and engineering. Nature, 575(7781), 137-146.

Tannenbaum, C., & Van Hoof, K. (2018). Effectiveness of online learning on health researcher capacity to appropriately integrate sex, gender, or both in grant proposals. Biology of sex differences, 9(1), 1-8.

Woitowich, N. C., & Woodruff, T. K. (2019). Implementation of the NIH sex-inclusion policy: attitudes and opinions of study section members. Journal of Women's Health, 28(1), 9-16.

上一頁 | 返回政策頁面