総研大2024/言語資源学演習1 の履歴(No.11)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 総研大2024/言語資源学演習1 へ行く。
  • 1 (2024-10-21 (月) 13:06:09)
  • 2 (2024-10-21 (月) 13:06:45)
  • 3 (2024-10-28 (月) 15:20:32)
  • 4 (2024-10-28 (月) 15:23:20)
  • 5 (2024-10-28 (月) 15:25:51)
  • 6 (2024-10-28 (月) 15:39:13)
  • 7 (2024-10-29 (火) 17:12:38)
  • 8 (2024-10-30 (水) 18:26:12)
  • 9 (2024-11-13 (水) 13:58:59)
  • 10 (2024-11-17 (日) 17:16:51)
  • 11 (2024-11-18 (月) 17:01:05)
  • 12 (2024-11-25 (月) 15:15:09)
  • 13 (2024-11-26 (火) 14:30:37)

---

総研大2024

言語資源学演習Ⅰ†

• 月曜4限

• 授業フォルダ（OneDrive）

2024/11/25†

はじめてのPython†

• Pythonでデータ整形
• ChatGPTにうまく聞く

• 青空文庫XHTMLをテキストデータにして解析してみる
  • ライブラリ（パッケージ、モジュール）

青空文庫XHTMLをコーパス用のXMLにする†

• 方針を決める
  • 余計なタグをどうするか
  • フリガナの処理
• Pythonで変換プログラムを書く

• データをチェック

2024/11/18†

コマンドラインで形態素解析†

• コマンドラインで形態素解析
• diff, cut, sort, uniq

はじめてのPython†

• Pythonでデータ整形（準備）
• ChatGPTにうまく聞く

2024/11/11†

• コマンドラインに慣れる

2024/10/28 対象資料の決定／データ処理環境の整備†

対象資料の決定†

• 紙資料(OCR)
  • NDLOCR
  • WinReader PRO v.15

• デジタルデータ
  • Wikisource
  • 青空文庫

• 円朝の落語　https://www.aozora.gr.jp/index_pages/person989.html#sakuhin_list_1 -- K 2024-10-28 (月) 15:21:18
• 山月記　https://www.aozora.gr.jp/cards/000119/files/624_14544.html -- 呉 2024-10-28 (月) 15:21:50
• 注文の多い料理店　https://www.aozora.gr.jp/cards/000081/files/43754_17659.html -- hk 2024-10-28 (月) 15:22:16
• 舞姫 https://www.aozora.gr.jp/cards/000129/card682.html -- ogi 2024-10-28 (月) 15:25:51

データ処理環境の整備†

• VisualStudio Code
  • 授業資料/テキストエディタと正規表現
• WSL (Ubuntu)
  • 授業資料/コマンドラインの基礎

生成AI（Python プログラミングのサポート）†

• https://chatgpt.com/

2024/10/21 ガイダンス†

• シラバス

• 対象資料の選定
  • 自分の研究で使いたい資料
  • オープンデータ

• 整備した資料をOpenCHJの一部として公開することを検討