自然言語処理の発展がもたらす未来（電気通信協会調査会での講演）
0 likes282 views
巨大言語モデルの進化方向 •スケーリング則：計算量、データサイズ、パラメータの増加に性能が単調増加 •マルチモーダル情報（音声・映像・IoTデータ）の統合 •帰納的タスクから演繹的タスク（多段推論）へ相転移 •身体性・能動性の獲得による知識の自動習得 巨大言語モデル（LLM)だけなら 20億円くらいで生成できるか。 問題はそれから。 データ整備とAI倫理への対応 バイアスに対する説明責任とバイアスがもたらす副作用是正への努力義務。攻撃に対する不断の対応。 MLOps体制の整備 InstructGPTに相当する応答の順序学習 これは応用ドメイン選定が必須 投下コストに見合う収益モデルの設計 （これができる人ないと思う） LLM作るより、エンドユーザーを巻き込んだカスタマイズビジネスを成立させることが重要。それをやりながら、耐えて耐えて：） 独自LLM作成が必要ならする。：） 製造業にあるダークデータの有効活用 教育を見直さなければならない。これ大事。 Z世代、α世代を巻き込んだ社会のありようを議論すべき。
自然言語処理の発展がもたらす未来（電気通信協会調査会での講演）
- 1. 自然言語処理の 発展がもたらす 未来 1 栄藤 稔 ⼤阪⼤学 先導的学際研究機構 教授 順天堂大学医学研究科客員教授 科学技術振興機構（JST) CREST人工知能 領域総括 3/29/2022 @mickbean https://www.linkedin.com/in/micketoh/
- 2. 2 自己紹介 • パターン認識 （パナソニック） • 推論システム （ATR) • 画像符号化 MP-4の生みの親（パナソニック→ドコモ） • モバイルサービスと自然言語処理 （ドコモ） • 研究開発企画、そして投資部門（ドコモ） • イノベーションマネージメント（ドコモ→大阪大学） • 起業＆会社経営 （みらい翻訳，コトバデザイン ） • LINE AI COMPANY テクニカルアドバイザリー
- 5. Foreseen Technical Events in Time (2020) conservative Disruptive time 2020 2023 2025 2027 Digital Me Me AVATAR Digital Identity Better Care Trustworthy AI Privacy preserving AI Fairness Scam Discriminator) Explainable AI Dark Data Omnipotent AI Gigantic Language model Unlabeled Data Data Marketplace Generative Intelligence New Education Autonomous AI Workforce Interactive Virtual experience Dependable STT 5
- 6. •Digital Me: 「個人のデジタル化」 •Generative AI：「生成するAI」 •Trustworthy AI： 「信頼できるAI」 •Dark Data：「ダークデータ」 6 ４つの未来（-2025) 6
- 13. Time Performance 音声認識 2012 2014 2016 DNN 単一画像認識 多層CNN 一文機械翻訳 LSTM- Attention GAN Transformer 2018 巨大言語 モデル Pre-Training 13
- 15. Prompt Tuning/Engineering 指示： XYZ がしたい INPUT: 入力例 OUTPUT: 出力例 INPUT： ------------------------で答えは？ -------------------------------- 15
- 16. IN: 蛙が古い池に飛び込んだ時の音の様子を詠んだ句です。蛙が池に飛び込む音を表現した 単純な句ではありますが、周囲の静寂や寂れた古池の様子、蛙が池に飛び込む生の躍動のよ うな情景がまざまざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で 、これは春を表現している季語です。 OUT: 古池や蛙飛こむ水のおと IN: 山形県にある立石寺（りっしゃくじ）でセミが鳴いている様子を詠まれた句です。この 句は明確な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳 句です。「閑さ」と「蝉の声」という一見矛盾する表現の意図が特に考えさせられますね。 OUT: 閑さや岩にしみ入蝉の声 ---- ↑までが事前入力 ↓以下の解説に対して、OUTから後ろを生成 IN: 夜中なのに仕事が終わらない様の悲しさを詠んだ句です。この句は切実さが伝わりすぎ ると困る部分も有るので、曖昧な雰囲気でごまかしつつも、釈然としない気持ちを少しだけ でも晴らそうという、どっちつかずな気持ちが現れています。 OUT: 夜業果てて朝寝覚めて見れば秋の風 16
- 18. 20 AI 20
- 20. 音声認識と巨大言語モデル の統合 Open AIによる Whisper AI Source: https://cdn.openai.com/pa pers/whisper.pdf 23
- 21. •皆様!壱百満天原サロメ! 壱百満天原 サロメでございますわ! 略 •もうだいぶわかってきたと思いますが、 皆様にもっと私のことを知ってほしいん ですわということで、 •こちら、住民票ですわ。 ちょっと危な いところは消してるんですけれども。 •そして続きまして、履歴書ですわ。 •中学・高校の時期はですね、学校に なじめずに引きこもりになりまして、 大 学でもうまくなじめずに結局中退いたし ましたわ。 壱百満天原サロメの初配信 がほぼ音声認識できるようになった 2年前では無理！ 以下が結果。 24
- 23. カリフォルニアの高校生の英語 26 So like, what's gonna be expected from people in the next five years? It's gonna be super important to know how to use generative AI as a tool, you know? And also, we're gonna need to figure out if we should use stuff made by these AIs or not. That's why schools are gonna change too. Instead of trying to figure out if a student actually did their homework or not, it's gonna be more about if they can write something even better than a computer can. Because of the whole AI thing, the stuff that only humans can do is gonna become even more important, and it's gonna change how businesses and schools work and stuff.
- 24. 高学歴、ラテン語習得者の英語 27 As we contemplate the ensuing five years, what shall be demanded of mankind? A crucial competency shall be the effective utilization of generative AI as an instrument, in addition to the discernment required for determining the adoption or rejection of works produced by such AI. Thus, the domain of education shall undergo transformation. Rather than ascertaining the veracity of whether a student has completed their homework autonomously, the emphasis shall shift towards assessing the individual’s capacity to compose textual content exceeding the capabilities of their personal computing devices. Owing to the disruptive force exerted by generative AI, the value that solely humans can provide will be honed, ultimately altering the modus operandi of both corporate administration and education.
- 29. 日本企業が生き残れるセグメントはどこか？ 34 エンド ユーザー カスタマイゼー ション インタフェース エンジン 提供 音声認識 エンジン 議事録 サービス 議事録 議事録 要約 サービス 議事録
- 32. ⾮定型 定型 知識労働 作業労働 第II象限: AIが強化 第Ⅰ象限 AI/ロボティクスが分担 第Ⅳ象限︓AI/ロボティクスが代替 スポーツの審判 第Ⅲ象限︓AIが代替 俳優 ⻭医者 読影医 不動産のブローカー 消防⼠ 経営者 エコノミスト 介護⼠ 精神科医 弁護⼠ ⼩売接客係 注：職ではなくタスクが置換される． 39 AIを使いこなす仕事 → 社会問題を切り取る仕事 → 人相手の情緒的な共感を得る仕事 多芸・多能・共感力 AI-Operators
- 33. 私からみた情報社会トレンド ユーザー参加によるイノベーション From Z to Alpha: モノからコトへ、コトからココロへ 自動化ツールと共存する生活と仕事 (ChatGPTとか) 40