Webデータレポート

株式会社ルーターのデータレポートブログです

九大が電子教材で1年生全員の受講データ分析、教師による学習効果の違いが明白に

九大が電子教材で1年生全員の受講データ分析、教師による学習効果の違いが明白に - 日経BigData

 

九州大学は昨年から、電子教材を活用する講義の教師へのリアルタイムフィードバックを実施。講義の改善に取り組んでいる。今年度前半には、新1年生2700人、15クラスを対象にある必修科目の講義状況をリアルタイム把握。教師による学習効果の違いなどが一目瞭然となった。

私(前田)の母校ですが、このような取り組みにより教養学部の学習効果が上がるとともに、アクティブティーチングで生徒、教師双方のモティベーションアップも期待できそうです。25年前は紙とペンしかなかったですね、笑

ビッグデータでバイク窃盗を現行犯逮捕、京都府警が予測システムを導入で実績

日経ビッグデータより

business.nikkeibp.co.jp

京都府警察本部はビッグデータを活用した犯罪予測システムを昨年10月に導入し、半年で数件の検挙につなげる成果を上げているとのこと。

一見すると、「すわ!監視社会か!」って反応をしそうだけど、実際には個人を追いかけるのではなく、過去の犯罪の「時間」「エリア」を丹念に集計しているだけ。

それでも、犯罪が発生しやすい時間×エリアは傾向がでるので、パトロールのリソース配分という意思決定にはめちゃくちゃ役に立つ。一種のエリアマーケティング

さらに、分析エンジンには、機械学習やAIは用いてないというのも特徴的。

京都府警は今回、NEC立命館大学と共同で開発した。分析エンジンには機械学習人工知能(AI)の要素を入れていない。それぞれの犯罪について過去データから、人が予測ロジックを作り込んでいる。「現時点ではどのようなロジックで予測結果を出しているのかについてブラックボックス化したくないと考えている」(岡本所長補佐)。

ブラックボックス化したくないから」というのが非常に示唆深いし、機械学習の特徴を分かってる。

KDDIやオムロンがデータ流通事業に参入、データ取引市場は情報連携を巡り議論

KDDIオムロンがデータ流通事業に参入、データ取引市場は情報連携を巡り議論

http://business.nikkeibp.co.jp/atclbdt/15/258675/060200053/

日経ビッグデータより
 

データ販売サービスやデータ取引市場など、企業がビッグデータを入手する手段が多様化している。一方で、データ取引市場を巡っては、事業者間でサービスモデルを巡る議論が巻き起こっている。携携帯電話事業者で先陣を切って、データ販売サービスを始めたのはKDDIである。「KDDI IoTクラウド ~データマーケット~」を6月中旬から提供する。KDDIは「様々な産業にIoTサービスを提供してきたので、価値を出すにはどのデータをどのように分析をすればいいのかのノウハウを蓄積している」と説明する。

データマーケットプレイスが今後、様々な業界で立ちあがりそうです。通信、IoTなどのプレイヤーは当然として、インターネット事業者もデータの取得、販売にフォーカスいていく企業が増えてきそうです。

Amazon Alexa 、Amazon Echo、スマートスピーカーまとめ

スマートスピーカーとは

スマートスピーカーという領域がもりあがっています。日本ではまだ発売されていませんが、北米をはじめとする国では、Amazon Echoというスマートスピーカーが結構な台数販売されています。自社でのスマートスピーカーのR&Dがだいぶ進んだので中間報告。

Amazon EchoとAlexaの関係

Amazon Echoとは、Amazonが販売しているハードウェアのことで、Alexaとはその裏のプラットフォームを指します。なので、Amazon Alexa 対応のハードウェアはAmazon以外も販売できます。

前回のCESでは、家電メーカーがこぞってAlexa対応を発表していました。 http://scrum.vc/ja/2017/01/09/ces-2017/

Amazon Alexaなどの音声プラットフォームのことは「ボイスアシスタント」と呼ばれていたりします。ちょっとGoogleアシスタントに引っ張られている感ありますが、Amazon Echoを使ってる限りアシスタントという用途はちょっと違和感あります。「秘書感」はあんまりないです。

Amazon Alexaの競合に相当するもの

この辺を抑えておけば大丈夫かと思います。

Amazon Alexaにはスキルマーケットがある

Alexaはサードパーティがアプリを作るマーケットがあります。そのアプリを「スキル」と呼びます。そしてスキルストアがあります。 https://www.amazon.com/alexa-skills/b/ref=topnav_storetab_a2s?ie=UTF8&node=13727921011 ストアがあるということは、そこにランキングがあり、そこに新着があるということです。久しぶりですねこの響き。

ただ、今のところ無料アプリしかおいてないようです。無料か有料かのフラグがあるのでそのうち有料もあるのではないかと思います。

スキルの区分

スキルには3種類の区分があります。

flash briefing

ニュースを読み上げるだけのスキルです。What’s in the news? って聞くと、アレクサは今日のニュースを読み上げてくれますが、その際にインストールしたFlash Briefingスキルを上から順に読んでくれます。テキストをそのままAlexaに読ませてもいいのですが、独自に作ったmp3を流すことも可能です。コントロールは予め決められた枠内のみで機能します。

smart home

Alexa対応の家電を操作するスキルです。有名どころとしてはフィリップスのHueですね。 http://www2.meethue.com/en-us/friends-of-hue/amazon-alexa/ 他にも、IKEAが家電をAlexa(他音声アシスタント)対応するとのことです。 http://japanese.engadget.com/2017/05/24/ikea-tradfri-siri-alexa-google/

custom skill

IT業界の人達が一番興味があるのはこのカスタムスキルではないでしょうか。プログラマブルなのはこのカスタムスキルだけです。ユーザの音声をテキストに変換するのはAlexa側がやってくれるので、プログラマは音声を直接扱う必要はありません。簡単なスキルであれば、テキストを返すとAlexaが読み上げてくれます。チャットBOTを作るような開発ですね。

チャットbotと決定的に違うのは、URLを送りつけたり選択メニューを出せないということですが、URLを送りつけるチャットBOTはその時点で負けだと思っています(個人的の感想)。

まだまだR&Dフェーズですが、弊社ではスキルを複数作ってみております。コツや制限はいろいろありますが、「声と耳だけでコントロール」ってのはかなり便利です。殆どの対人コミュニケーションは会話です。

カスタムスキルは、ユーザ毎のプライベート領域もあるので、個人設定を保持することが可能です。ECサイトの認証トークンを保持しておけば、「○○買って」と言うだけで、配達するスキルは開発可能です。スクレイピングでやっちゃえばEC側に手を入れずにすぐにアレクサ対応可能です。

Amazon Echo単体の魅力

どこからでも聞けるマイク

どこからでも聞けなくちゃだめです。PCやスマホはあえて「前面の音のみ拾う」ことに特化ていました。マイクは7個ついています。 https://japan.cnet.com/article/35099774/

うるさくても拾えるマイク

スマートスピーカー自体が、スピーカーとマイクが接しています。大きめに音楽がなってる時でも、こちらの命令を受け取ってくれます。不思議でしかたないけど、絶対必要な機能です。

低価格

北米では180ドルで売られています。2万円くらい。大人が買う新しいインターネット端末としては安い。「いい音のBluetoothスピーカー」とみても安い。リビングと寝室に複数台買ってもいいですね。複数台のEchoがあっても、片方しか反応しないという賢さもあります。

Spotifyとの相性がいい

スピーカーですから当然音楽との相性はいいです。AlexaをSpotify のアカウントと連携しておくと、「play dirty work」って言うだけで、ブルゾンちえみのBGMが流れてきます。「play songos by babymetal」って言うとベビーメタルの曲がずらーっと流れてきます。「next(次)」「louder (もっと大きく)」「what’s plaing?(今の曲何?)」くらいのコマンドだけで、音楽は一通り楽しめます。

Spotify自体が音楽聞き放題では老舗で堅実なので、他の聴き放題とちがって「オルゴールバージョン」とかでごまかしてないのがめちゃくちゃありがたいですね。

iPodiTunes(実際にはgnutella)が音楽の聞き方を変えたみたいに、Amazon EchoとSpotifyの組み合わせは、一日の過ごし方を変えそうです。

一度でも声だけで音楽を操作することを経験すると曲送りで手を使うことが面倒に感じます。

経済産業省がビッグデータを活用した新経済指標を試験的に公開

経済産業省ビッグデータを活用した新経済指標を試験的に公開
 
日経ビッグデータより
 
経済産業省は今夏から、POS(販売時点情報管理)やSNSソーシャル・ネットワーキング・サービス投稿などのビッグデータを活用した新指標の試験的な公開を始める方向で検討している。経済統計の作成の効率化、公開の迅速化、データの詳細化に向けた開発を進めており、その成果を公開し、技術的な課題や利用者ニーズの検証を進める考えだ。

野村証券は、既存の経済統計指標を代替・補完する新指標の開発を試みた。ブログやTwitterのテキストを分析して指標化し、株価指数や為替などのデータも加えて、鉱工業生産指数を算出するモデルを開発した。テキスト分析においてはまず、約200のキーワードと鉱工業生産指数との相関を確認。「残業」など鉱工業生産指数と関連性が高いキーワードについては、「今日も残業だった」なら件数に加えて「今日は残業しなかった」なら除く処理をするなど、投稿の文脈も踏まえて判定して指標化し、精度を高めた。株価指数や為替などだけで鉱工業生産指数を推定するより、Twitterから得られたデータを加えた方が高い精度で推定できることも判明した。 

 

SNSデータなどを活用することにより今までに見えなかった経済指標が見えて、より精度の高い指標(事業者視点とユーザー動向視点)になっていくことが期待できそうですね!

実務で使う分析手法は5つで十分

山本ゆうごです。

実務で使う分析手法は5つで十分、マーケッターこそデータサイエンティスト候補 日経ビッグデータより

以下の5つで十分との記事。

  • クロス集計
  • ロジスティック回帰分析
  • 決定木分析
  • アソシエーション分析
  • クラスター分析(k-平均法)

今どきのAI感は薄いが、画像認識でもしないかぎり、確かにこれで収まるケースは多い。

また、事業KPIの分析では改善プランの立案をするので、「なぜだか分からないけどこういう予測モデルができました」だと、アクションプランを立てづらい。そうなると、結局はクロス集計で一つ一つの変数の相関を見たくはなる。

多くの場合は、クロス集計さえやってない状態で、データの収集と前処理ができてないケースがほとんどなので、まずはデータを集めるところから始めましょうというのが、毎度の結論になります。

マルコフ連鎖の文章生成について検証してみた

はじめまして。新入社員の松永です。

文章生成でブログ記事のようなものを自動作成できないか調べたところ、 DeepLearningを使わなくてもマルコフ連鎖Rubyでも手軽に文章生成ができるらしいことがわかったので、 果たしてどの程度の精度で自動生成が可能なのか検証してみました。

簡単な流れとしては、 Mecabで文章を形態素分析して単語単位に分解して辞書を作成。 作成した辞書に基づいて、マルコフ連鎖でランダムに文章を生成しています。

▼実装環境

マルコフ連鎖とは

文章を生成するときに、ある形態素に繋げられそうな形態素を選んで徐々に繋げていき文章を作成します。

例えば次の文章。

マルコフ連鎖 を 使って、文章 を 自動生成 します。」

このとき、「を」という形態素に繋がりそうな形態素は「使って」と「自動生成」ですね。 この繋がりそうな2つの形態素の中から、繋げる形態素を選ぶ作業を繰り返すことで文章を作成していきます。

ブログ記事の共通項目で文章生成

2件のブログの「インフルエンザとは」項目を形態素解析して文章生成してみました。

サンプル1:

インフルエンザとはインフルエンザウイルスが原因で起こる12月から4月に流行る感染症です。
急に起こる38~40℃の高熱、関節痛、頭痛が特徴的です。通常は、薬を使わなくても約1週間で治癒するとされていますが、高齢者や糖尿病などの持病のある方や小さな子どもがインフルエンザに感染すると、肺炎や脳症など合併症を起こすことがあるので注意が必要です。
インフルエンザワクチンの接種が重篤化を防ぐために有効とされています。
インフルエンザは学校保健安全法施行規則(平成24年施行)により出席停止となる伝染病の一つで、「発症後5日かつ解熱後2日(幼児は3日)を経過」するまで出席停止となります。職場などでもそれに倣って自宅待機となることが多いです。

「インフルエンザの症状・原因・治療 Doctors Me(ドクターズミー)」 https://doctors-me.com/doctor/respiratory/13

サンプル2:

インフルエンザは、毎年12月から1月にかけて猛威を振るいます。予防接種をしたり予防・対処法についての知識を得たりと、流行が本格化する前から注意を払っておく必要もあります。今回は、インフルエンザと普通の風邪との違い・検査方法・かかった場合の対処法や治療法について、医師・武井 智昭先生による監修記事で解説していきます。

「インフルエンザの症状~症状、かぜとの違い~|インフル・ニュース」 http://www.influ-news.info/influ/symptoms.html

結果

インフルエンザは、毎年12月から1月にかけて猛威を振るいます。インフルエンザワクチンの接種が重篤化を防ぐために有効とされています。インフルエンザは、薬を使わなくても約1週間で治癒すると、流行が本格化する前から注意を払っておく必要もあります。

まぁまぁそれらしい文章ができています。 しかしよくよく読んでみると文脈が成り立ってない部分があります。

Twitterのツイートで自動生成

次に、特定のアカウントの過去のツイートを200件形態素解析して文章生成してみます。

サンプル: 恋愛依存メンヘラ@bot @memememenhel https://twitter.com/memememenhel

結果

あなたの手の温もりで有りますように、少しでも、ほんの少しでも。私が手首を切ったの大丈夫だよって証明したくて手首を舐めてくれる気がないの知ってる癖に。離れられない。

手首切りたい死にたいが口癖です。

かなりそれっぽい。 文章としては少しおかしい部分もあるのですが、それがかえってポエム感に繋がっています。

▼まとめ

センテンス単位では文章としてまぁまぁそれらしい結果になっています。 しかし、よくみると文脈として成り立っていない場合があるので、長文や論理的な文章にはあまり向いていないのかなという印象を受けました。 多少文章が崩れても問題のないポエムのような文章には向いているかもしれません。

▼ソース

require 'natto'
require 'pp'
require 'enumerator'

$h = {}
# ----------------形態素解析
# ----------------辞書的なものの作成
def parse_text(text)
    mecab = Natto::MeCab.new
    text = text.strip
    # 形態素解析したデータを配列に分けて突っ込む
    # 先頭にBEGIN、最後にENDを追加
    data = ["BEGIN","BEGIN"]
    mecab.parse(text) do |a|
        if a.surface != nil
            data << a.surface
        end
    end
    data << "END"
    # p data
    data.each_cons(3).each do |a|
        suffix = a.pop
        prefix = a
        $h[prefix] ||= []
        $h[prefix] << suffix
    end
end

# ----------------マルコフ連鎖
def markov()
    p "markov"
    # ランダムインスタンスの生成
    random = Random.new
    # スタートは begin,beginから
    prefix = ["BEGIN","BEGIN"]
    ret = ""
    loop{
        n = $h[prefix].length
        prefix = [prefix[1] , $h[prefix][random.rand(0..n-1)]]
        ret += prefix[0] if prefix[0] != "BEGIN"
        if $h[prefix].last == "END"
            ret += prefix[1]
            break
        end
    }
    p ret
    return ret
end

str = ""
file_name = STDIN.gets

begin
    File.open(file_name,"r") do |file|
        file.each_line do |line|
            str += line.to_s
        end
        parse_text(str)
    end
end

#マルコフ連鎖で文章を自動生成
markov()

▼参考

Ruby形態素解析してマルコフ連鎖で文章生成 http://utsubo21.hatenablog.com/entry/2015/02/08/224155