東京外大2017
Japan Studies 2：コーパス日本語学入門
- 秋学期・木曜4限
- ogiso＠ogiso.net ←＠を@に直してください
2016/10/13 （前期の復習）中納言による検索と集計 ／ Rを使ってみる
（前期の復習）中納言による検索と集計
Rを使ってみる
- 中納言でBCCWJコアの語彙素「矢張り」を検索、語形別に集計
| 雑誌 | 書籍 | 新聞 | ブログ | 知恵袋 | 白書 |
| ヤッパ | 1 | 2 | | 9 | 4 | |
| ヤッパリ | 20 | 12 | 1 | 30 | 23 | |
| ヤハリ | 31 | 54 | 13 | 17 | 31 | 2 |
独立性の検定(χ二乗検定)
- ブログと知恵袋で「やはり」「やっぱり」「やっぱ」の使われ方に差はあるか
data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T)
chisq.test(data)
帰無仮説（H0）：二つのレジスターで「やはり」類の使用頻度には差がない
検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される ＝二つのレジスターで差がある（レジスターと関係がないのに偶然こうなる可能性は5%以下）
クラスター分析
- 「やはり」「やっぱり」「やっぱ」の使用から見たレジスター間の距離（どのレジスター同士が似ているか）
yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")
yahari <- t(yahari) #行と列を入れ替え
yahari.d<-dist(yahari) #距離の計算
yahari.d
result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析
plot(result,hang=-1) #デンドログラムを描く
#amazon(4274065707)
2017/10/05 イントロダクション
- 講義・演習の別
- 演習
- 授業の目標
- 日本語コーパスを研究に利用することができるようになるためのやや高度な知識と技術を身につける。
- 授業の概要
- 日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を利用した調査研究と発表を行う。
- 授業の計画
- 実際にコーパスを利用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを利用したデータの処理、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。
最初に講義形式でコーパスの利用法を説明した後は、毎回参加者による演習発表形式で授業を行う。
- 成績の評価
- 授業態度・期末レポート等を総合して評価する。
- 事前学習等
- 担当教員の前期の授業（Japan Studies １）を履修するなどして日本語コーパスの基本的な利用方法を身につけておくこと。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
