だらだら書く日記

Qiitaのレベルに満たないので逃げてきました。

WindowsとUbuntu16.04LTSのデュアルブート

ひさびさです。

GPUGeForce GTX 1050Ti)のついたパソコンが完成したので明日からがんがん学習させていこうと思います。今日はこのパソコンにLinuxを入れたのでその経過を記録します。

 

この記事では①パーティションの切り方、②BIOSの扱い、③Ubuntuのインストールを書きます。

 

用意するもの

Ubuntuの入ったCD-R(これは他のところで結構解説されているので省略)

Windowsの入っているパソコン

 

まず①ですが、Windowsを起動し、マイコンピュータ(PC)上で右クリックをし、管理→記憶域のページに飛びます。そうすると、今現在のHDDの内部が何に使われているかが表になっていると思いますので、空いている容量をクリックし、領域を縮小します。そうすると未割り当ての領域ができると思うので、そうしたらCD-Rを入れ、再起動をしてBIOS画面へ向かいます。

 

②のBIOS画面への行き方は、パソコンで様々ですが、最初の起動時にF1〜F12かDeleteを連打で入れます。そうするとSetup画面へ飛ぶと思いますので、Bootのタブへ移動し、BootPriorityの優先順位をCD関連のを一番にします(Windowsを起動する前にCD-Rを読み込むため)。あとはSave&Changeをすると、Ubuntuのインストール画面が出てきます。だいたいこの後は他のブログにも書いてあったのですが、先ほどのパーティションのところだけ書いておきます。

 

③として「Windowsとは別にインストール」、「ディスクを削除してインストール」、「それ以外」という選択肢が出てくるはずなのですが、そこでまず「それ以外」を選択し、①で切り分けたパーティションを調節します。Linuxパーティションは2つ必要で、「/」と「スワップ領域」です。「/」がメインとなりますので、「スワップ領域」用に512MB(大きさに関しては別のブログのほうが詳しい)くらい残し、あとは「/」用に使うというのがいいと思います。タイプや利用方法など様々な項目がありますが、「論理パーティション」、「この領域の始点」、「ext4」でやると成功しました。

 

設定が終わったらここでインストールを押さず、何番のパーティション(sda3やsda5など)に何を割り当てたかを覚えておき、戻るを押して「Windowsとは別にインストール」を選択してください。こうしないと起動の際にOS選択画面が出ず、インストールのやり直しになっていしまいます。あとは確認画面が出るので、きちんと割り当てた番号にインストールしてくれるかを確認し、実行すれば完了だと思います。

 

なお、責任は持てないですので、他のブログも注意深く確認し、自己責任でやってください。

ブログを渡り歩いててここ書いてねえのかよってところをかいつまんで紹介致しました。質問等はわかる範囲でならお受けいたします。

 

 

 

強化学習について

GPUがないと画像認識てこずることが分かったので、入手するまでとりあえず、学習させたあとの分類をどうするかを考えようとDeelについて理解しようとしています。

 

それと、画像認識GPU使わなあかんのつら〜と思い強化学習について理解しようと思い調べていたのですが、簡単に言えば強化学習ってステータスを画像で認識して、その出力のラベルを操作(左右回転とか前進とか)にしている感じなんですね。それって結局GPU使いますやん、、、強化学習の理解で自分なりにピンと来ることができたのは良かったです。実装の難しさ的には遥かに強化学習のほうが上ですね、、、

 

強化学習は深層学習の中では一番興味があるのでもうちょっとレベルアップしたら利用できるようになっていきたいですね。自然言語処理とかもNNでは本当に理解していないとか言われてますが(自分もそれであまり興味ない)、画像なんかと一緒にひたすらひたすら学習させて行ったらブレイクスルー起こって言葉の意味を理解し始めるとかありそうな気がしますが、どうなんでしょう。1歳のころなんか意味分からないながら言葉話してるところあると思いますし、余裕があったら回してみたいですね。

GPU買わなきゃ始まらない

一応BS、PL、CSに分けて学習データセットを作りnin.pyに学習させてるんですが、全然終わりそうにないのとそもそもできているのかわからないため、GPUを買ってから学習させるようにします。

買うまでは学習させた時のために分類したあと文字を読み取るところを書いて行ければと思っています。

 

久々の更新でした

帰宅

一週間程度の旅行から帰ってきました。

前回触れた気がするPdf→Pngへの変換はWandを使うことで成功したので、ここからBS、PL、それ以外を学習させて、画像を取捨選択させるところを作ります。4/4が先方との面談なので、それまでになんとか形にしたいと思っています。というか1000枚位の学習データ用意しないとですね...100〜200枚でやってほしいところですが。

Remove all ads

昨日今日は家のリフォーム作業でなかなか時間がありませんでしたので全然進んでいません。

GoogleのCloud Vision API ではPDFを処理できないようなので、PNGに変換する方法を覚える必要があることがはっきりしました。

ツールの工程としては

①フォルダに集めたPDFをPNGに変換する←ImageMagick

PNGを画像認識し、欲しいページのみ選別する←Deel

③選別したページから内容を取得する。←Cloud Vision API

となりそうです。できればURLを入れるだけで指定したフォルダにPDFを保存してほしいですね。

 

今日はここまでです。

早くも苦戦

まず企業のIRのpdfからPLとBSのみを取り出す段階を作ろうと思っているのですが、大変です。

まずデータセットを用意しなくてはならないです。

あとPDFと画像ファイルの取り扱い?使い分けが難しいですね。学習させるにはPNGとかにしなくてはならないですし、でも入力は企業のIRの決算短信などのURLを入れるだけにしたい。そこの処理をもっと勉強しなくては。pdfを読み込んで、それを全ページPNGとかに変換し、それをBS、PLのみ選別し、そこからCloudVisionAPIで文字を取得するところまでは頑張りたいですね。そこから表データにするところはまた方法を考えなくてはならないですが。

 

実働としてはDeelをセットアップするところまでやりました。DeelというのはChainerでできることをもっとお手軽にしようというソフトです。

 

今日はここまでです。明日はPDFとPNGについて知識を深めようと思います。

Remove all ads

今日から日記を続けていきます。

主にプログラミングの習得過程を日記形式で書いていこうと思います。

そう言うからにはプログラミングを習得しなければなりません。がんばります。

 

使う言語は主にPython、後々JSにも手を出していければと思います。

Pdfに画像認識を使って分類をするということを初心者ながらやっていくつもりです。

それができたらJSも練習したいのでWeb上に上げてみるつもりです。

 

環境はUbuntu16.04LTS、Python2.7(早速Anacondaで3.5の仮想環境を入れるのに苦戦している)

 

メイン機にMacMiniを持っていてそちらではAnacondaに助けてもらっているのですが、

MacでAnacondaを入れる手順は 

$ pip install conda

$ conda create -n py35 python=3.5

とかでできてたはずなのですが、Linuxになると

①Webサイトからインストーラーをダウンロードし

②$ bash Anaconda3-4.3.0-Linux-x86_64.sh

と入れられるようなので今日はそれを入れておしまいです。

 

さっき言っていたPdfからデータにするというのは主にPyPDF2とdeelを使っていこうと思っています。これからよろしくお願いいたします。