総研大2024/言語資源学演習1 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 総研大2024/言語資源学演習1 へ行く。
• 総研大2024/言語資源学演習1 の差分を削除

#author("2024-11-26T14:30:37+09:00","default:ogiwiki","ogiwiki")
#author("2024-12-16T12:28:57+09:00","default:ogiwiki","ogiwiki")
[[総研大2024]]

*言語資源学演習Ⅰ [#ed78e76b]

-月曜4限

-[[授業フォルダ（OneDrive）>https://ninjal-my.sharepoint.com/:f:/g/personal/togiso_ninjal_ac_jp/EpDgwNBNtTlDq1I0LHtWAE8BUuc22XHrjnFvfsxpCZ0l4A?e=qHPu49]]


**2024/12/09 [#xc31ca33]
**2024/12/16 [#xc31ca33]
 
***青空文庫XHTMLをコーパス用XMLにする [#q00bfc44]

-[[授業資料/PythonでXML]]

-方針を決める
--余計なタグをどうするか
--フリガナの処理
-Pythonで変換プログラムを書く

-コーパス用XMLの文書型定義(DTD）
-データの検証（Validation）


**&color(red){2024/12/09 休講}; [#xb267a4c]
-風邪のためお休みです

**&color(red){2024/12/02 休み}; [#o44796a2]


**2024/11/25 [#p398088c]

***はじめてのPython [#z0887d1f]
-[[準備>授業資料/Pythonでテキストデータ整形]]

-青空文庫テキストを整形する
-[[授業資料/Pythonでテキストデータ整形]]
-[[ChatGPTにうまく聞く>https://chatgpt.com/share/6743f4eb-a7f8-800f-80ff-cca25fdbd130]]


***ライブラリのインストール [#s107b072]
-ライブラリ、パッケージ、モジュール


**2024/11/18 [#j878c8c0]

***コマンドラインで形態素解析 [#n8a07db5]
-[[コマンドラインで形態素解析>授業資料/コマンドラインで形態素解析]]
-diff, cut, sort, uniq

***はじめてのPython [#z0887d1f]
-[[Pythonでデータ整形（準備）>授業資料/Pythonでデータ整形]]
-ChatGPTにうまく聞く


**2024/11/11 [#ae3e03b7]

-[[コマンドラインに慣れる>授業資料/コマンドラインの基礎]]


**2024/10/28 対象資料の決定／データ処理環境の整備[#g7c1cbce]

***対象資料の決定 [#l2d06b75]

-紙資料(OCR)
--[[NDLOCR>https://github.com/ndl-lab/ndlocr_cli]]
--[[WinReader PRO v.15>https://mediadrive.jp/products/wrp]]

-デジタルデータ
--[[Wikisource>https://ja.wikisource.org/wiki/%E3%83%A1%E3%82%A4%E3%83%B3%E3%83%9A%E3%83%BC%E3%82%B8]]
--[[青空文庫>https://www.aozora.gr.jp/]]

- 円朝の落語　https://www.aozora.gr.jp/index_pages/person989.html#sakuhin_list_1 -- [[K]] &new{2024-10-28 (月) 15:21:18};
- 山月記　https://www.aozora.gr.jp/cards/000119/files/624_14544.html -- [[呉]] &new{2024-10-28 (月) 15:21:50};
- 注文の多い料理店　https://www.aozora.gr.jp/cards/000081/files/43754_17659.html -- [[hk]] &new{2024-10-28 (月) 15:22:16};
- 舞姫 https://www.aozora.gr.jp/cards/000129/card682.html -- [[ogi]] &new{2024-10-28 (月) 15:25:51};

//#comment

***データ処理環境の整備 [#wa78aa05]
-VisualStudio Code
--[[授業資料/テキストエディタと正規表現]]
-WSL (Ubuntu)
--[[授業資料/コマンドラインの基礎]]


***生成AI（Python プログラミングのサポート） [#h7396c48]
-https://chatgpt.com/


**2024/10/21 ガイダンス[#y0ff74b8]

-[[シラバス>https://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=20241021_%E8%A8%80%E8%AA%9E%E8%B3%87%E6%BA%90%E5%AD%A6%E6%BC%94%E7%BF%921_%E3%82%B7%E3%83%A9%E3%83%90%E3%82%B9%E5%8F%82%E7%85%A7.pdf&refer=%E7%B7%8F%E7%A0%94%E5%A4%A72024%2F%E8%A8%80%E8%AA%9E%E8%B3%87%E6%BA%90%E5%AD%A6%E6%BC%94%E7%BF%921]]

-対象資料の選定
--自分の研究で使いたい資料
--オープンデータ

-整備した資料をOpenCHJの一部として公開することを検討