科学計量学者がみる大学ランキング

科学計量学者がみる大学ランキング
調麻佐志（東京工業大学）
大切なことは
文部科学省NISTEP『科学研究のベンチマーキング 2015 』
「現実」をみること
最新のTHEランキングより
THEランキングにおける
トルコ各大学の躍進
2013-14
2014-15
ところが、QS rankingsでは…
原因はCitations（被引用数）
「Higgs粒子論文」
ATLAS collaboration
CMS collaboration
Ankara Univ
Cukurova Univ
Dumlupinar Univ
Middle E Tech Univ
Gazi Univ
Bogazici Univ
TOBB Univ Econ & Technol
Istanbul Tech Univ
Bogazici Univ
Dogus Univ
Gaziantep Univ
Istanbul Tech Univ
Middle E Tech Univ
Boğaziçi大学の2012年論文の被引用数のうち、 (2552+2409)/12362 = 40%
Boğaziçi大学
日本でも
本題へ
科学計量学
• 科学技術活動を定量的に
理解しようとする学問分
野
• 広義には研究開発統計
（たとえば、研究者数、
研究費…）などの科学技
術指標も含む
• 狭義には（特許等を含む
科学技術）文献データを
使った科学技術研究
図書館
情報学
科学技
術指標
科学論
「文献データ」とは
• 文献＝学術文献
– 現実には、文献データベース（Web of ScienceとScopus
の二択に近い…）に収録された学術誌に掲載された論文
• 文献データ（書誌情報）
– 収録誌、巻・号、ページ、タイトル、要旨、発刊年、著者、
所属、分野、キーワード、参考文献、引用数…
なぜ学術文献（論文）に注
目するか
• 研究は、論文を核として、進められる。
–
–
–
–
「成果」は論文になることで公に流通する
評価は、（主に）論文を対象として行われる
成果の質保証
再生産（教育）は論文執筆能力の養成…
研究において具体的に着
目するのは
• 論文の量と質
– 論文の量
• 本数（ページ数、重さ…）
• 学問分野ごとの違いには注意
– 論文の質
• （理想を言えば、一つずつ吟味＝＞採用時）
• 簡便な方法として、被引用数が用いられる
• 論文の類似性
– 共有
•
•
•
•
引用論文、被引用論文
キーワード
言葉
著者…
引用数（被引用数とも…）
• ある論文が別の論文に引用（参照）された回数
（i.e., 参考文献のリストにのった回数）を学術
論文の質の指標（尺度）として用いることが多
い＝＞人気投票の得票数
– 注意点
•
•
•
•
•
引用されたからといって肯定的とは限らない。
引用は必ずしも参照を意味しない。
引用されやすい分野、論文内容、著者の属性…がある。
引用時期も分野による。
そもそも質と引用回数が合致するか？（たとえば、田中耕一さん
のノーベル賞研究）
h-index （質と量のmix）
•
ある研究者のh指数は、「その研究
者が公刊した論文のうち、被引用
数がh以上であるものがh以上ある
ことを満たすような数値」となる。
具体的には、h指数が30である研
究者は、被引用数30以上の論文が
少なくとも30編あることを示す。
（wikipedia）
• 研究歴に依存するという
問題は残るが、科学者と
科学計量学者（数十の亜
種）のお気に入り
• 異なるh-indexを持つ二
人が共著論文を書くとhindexの順序が逆転する
具体的な研究のイメージ
素粒子物理学の高引用論文
（Small 1973）
国境を超えた共著の生起確
率（調・富澤 2004）
研究テーママップ
世界の論文数の推移
日本の論文数推移
米国特許に引用された
日本の論文シェア
Comparison with disease
burden（ロシアの事例、
Lewison 2011）
2
ALCOH
Relat ive research out put
1.5
PARKI
RESPI
HEPAT
ON COL
AIDSR
1
UROLG MEN T H
OPHT H
CARDI
DIABE
MULSC
DEN T A
0.5
ROT RA
0
0
1
2
Relative burden in DALYs
3
4
2
leukaemia
1.5
lymphoma
t his sit e
Relat ive research out put on cancer on
Comparison of disease
burden
（ガンのタイプ別、ロシア、
Lewison 2011）
1
lung
cervical
liver
breast
子宮
ovarian
uterine
stomach melanoma
oesophagusprostatecolorectal
pancreas
bladder
mouth
0.5
0
0
0.5
1
1.5
2
2.5
3
Relative disease burden from cancer on this site
3.5
4
大学ランキング
世界の「有力」「大学ラ
ンキング」
• Times Higher Education World University Rankings
– http://www.timeshighereducation.co.uk/
• QS World University Rankings
– http://www.topuniversities.com/
• 上海交通大学ランキング
– http://www.shanghairanking.com/
• Leiden CWTSランキング
– http://www.leidenranking.com/
vs. National ranking（詳細な項目、国情や文化の反映、
プロセスへの着目…）
Times Higher
Education
構成
QS World University
Rankings
構成
上海交通大学ランキン
グ
構成
結局
• それぞれのランキングに癖がある
– 「研究」重視
– 規模の処理
– 「意見（reputation）」の扱い …
大学ランキングと科学計量学（者）と…
国立大学改革プラン（www.mext.go.jp/component/a_menu/education/.../1341974_01.pdf）
THE rankingにおける
International Outlook指標の感度分析
企画員調麻佐志
International Outlookの構成とScoresの
作成（THEのmethodologyより）
• the ratio of international to domestic students (IS)
2.5%
• the ratio of international to domestic staff (IF)
2.5%
• the proportion of a university's total research journal
publications that have at least one international co-author (IC)
2.5%
7.5%
Scores
• To calculate the overall rankings, "Z-scores" were created for
all data sets except for the results of the academic reputation
survey.
• The Z-score is then turned into a "cumulative probability score"
to arrive at the final totals.
（対数変換を行うreputation以外は）正規分布を仮定し、累積パーセ
ンタイルにしめる位置をスコアにしている。
データの定義 1
(Thomson Global Institutional Profiles Projectより)
• Numbers of People
Many staff and students operate on a part-time basis, in which case headcount is a poor
indication of actual volumes. When we count numbers of people we standardize the data as
the equivalent of a single person studying or occupied on a full time basis.
e.g.
1 staff member working half the hours of one full time employee will be counted as 0.5 FTE.
• Number of Academic Staff
This is the FTE number of staff that are employed for an academic post, such as lecturer,
reader, assistant/associate professor or professor. This should include permanent staff
and staff that employed on a long-term contract basis.
This will NOT include: non-teaching ‘fellows’, researchers, post-doctorial researchers,
research assistants, technicians, and staff that support the general infrastructure or
students. This will NOT include visiting staff.
Of which are international/overseas origin
The FTE number of “academic staff” whose nationality is different from the country in
which your institution is based. This will NOT include naturalized citizens(帰化市民）.
データの定義 2
(Thomson Global Institutional Profiles Projectより)
• Numbers of Student
This is the FTE number of students of all programs that lead to a degree, certificate,
institutional credit or other qualification.
Typically these will be undergraduate and postgraduate students who are studying for
Higher Education Programs such as Bachelors, Masters or Doctorial or other equivalent
degrees or components of those programs.
It will include visiting/exchange students who are studying for programs that results in
credits at your institution (incoming students). But it will not include exchange students
who are currently studying at another institution (outgoing exchange students, who are not
currently studying for credits at your institution).
Of which are international/overseas origin
The FTE number of “students” whose nationality is different from the country in which
your institution is based. This will NOT include naturalized citizens(帰化市民）.
感度分析に必要なパラ
メータと推計方法
• 正規分布を仮定した場合の各変数のμとσ
international student ratio
• 推計方法
– QS rankingでは
• International Faculty Ratio
• International Student Ratio
3.5
3
2.5
2
1.5
1
0.5
0
-0.5 0
-1
-1.5
10
20
30
40
50
が別々に得点化。
– 20〜30程度の公表値からQSのscoreと推計値の変換
テーブルを作成し、そこから各大学の実数を推計。
– Internationally Coauthored Paper ratioはLeiden
rankingの2014で代替（データ取得期間に多少のズレ）
– エクセルのゴールシークを使ってinternational outlook全
体の推計誤差２乗和を最小化してパラメーターを推計（上
位大学のみ対象）
推計結果
• 留学生比率（IS）
– μ: 0.131(13.1%)
– σ: 0.110 (11.0%)
cf. QSサンプル(14.1%)
cf. QSサンプル(8.3%)
• 外国人教員比率（IF）
どのポジションにいるかで得点上昇効果が大きく異なる
– μ: 0.241 (24.1%)
– σ: 0.299 (29.9%)
• 国際共著論文比率（IC）
– μ: 0.347 (34.7%)
– σ: 0.103 (10.3%)
留学生比率
100
効果
外国人教員比率効果
国際共著比率効果
5.9%
6.9%
7.9%
8.9%
9.9%
-0.41
-0.34
-0.26
-0.17
-0.09
1.5%
2.5%
3.5%
4.5%
5.5%
-0.13
-0.11
-0.08
-0.05
-0.03
25.4%
26.4%
27.4%
28.4%
29.4%
-0.39
-0.32
-0.25
-0.17
-0.09
10.9%
11.9%
12.9%
13.9%
14.9%
15.9%
0.00
0.09
0.18
0.27
0.36
0.45
6.5%
7.5%
8.5%
9.5%
10.5%
11.5%
0.00
0.03
0.06
0.09
0.12
0.15
30.4%
31.4%
32.4%
33.4%
34.4%
35.4%
0.00
0.09
0.18
0.28
0.38
0.47
16.9%
17.9%
18.9%
19.9%
20.9%
21.9%
0.54
0.62
0.70
0.78
0.85
0.92
12.5%
13.5%
14.5%
15.5%
16.5%
17.5%
0.18
0.21
0.24
0.27
0.30
0.34
36.4%
37.4%
38.4%
39.4%
40.4%
41.4%
0.57
0.67
0.76
0.85
0.93
1.01
University of Helsinki
Finland
感度分析
52.6
100
Snip
95
90
117
University of St Andrews
United Kingdom
51.6
121
University of Sussex
United Kingdom
51.2
121
University of Zürich
Switzerland
51.2
123
Lund University
Sweden
51.1
得点とランク（THE）
85
80
75
70
65
60
124
University of Geneva
Switzerland
51.0
125
Tokyo Institute of Technology
Japan
50.8
55
50
0
20
40
60
80
100
120
140
さらに国際交流に一役…
change in
total score
TU Delft
0.90
Normarized mean citation (estimated)
0.40
-0.10
0.0%
-0.60
20.0%
40.0%
60.0%
international Faculty ratio
change in
total score
0.80
0.60
0.40
0.20
Current TU Delft
0.00
-0.205.0%
15.0%
25.0%
35.0%
-0.40
-0.60
International Student Ratio
Kyoto
change in
total score
1.00
0.80
NUS
0.60
UTokyo
0.40
…
0.20
0.00
-0.2025.0% 35.0% 45.0% 55.0% 65.0%
-0.40
changes in
Total score
0.90
-6.53
0.92
-6.00
0.94
-5.46
0.96
-4.90
0.98
-4.32
1.00
-3.74
1.02
-3.13
1.04
-2.52
1.06
-1.90
1.08
-1.27
1.10
-0.64
1.12
0.00
1.14
0.64
1.16
1.28
1.18
1.92
1.20
2.56
1.22
3.19
1.24
3.82
1.26
4.43
1.28
5.04
1.30
5.64
1.32
6.22
1.34
6.79
International Coauthorship
MIT
2.30
15.79
「闘う」科学計量学者たち…
Leiden Manifesto for research
metrics (Nature 520, 429–431)
1.
Quantitative evaluation should support qualitative, expert
assessment.
2. Measure performance against the research missions of the
institution, group or researcher.
3. Protect excellence in locally relevant research.
4. Keep data collection and analytical processes open, transparent and
simple.
5. Allow those evaluated to verify data and analysis.
6. Account for variation by field in publication and citation practices.
7. Base assessment of individual researchers on a qualitative
judgement of their portfolio.
8. Avoid misplaced concreteness and false precision.
9. Recognize the systemic effects of assessment and indicators.
10. Scrutinize indicators regularly and update them.

Download Report