deep-learning

Using GAN to generate some non image data with CRE bateria data

Hermit / 2019-11-06

這次我將修改前次的生成對抗網路，希望能夠調整為一個自動生成樣本的神經網路。我這次將使用以前曾經使用過的CRE Bacteria data(https://hermitlin.netlify.com/post/2019/04/24/cre-bacteria-data-analysis/ )。我先建立一個簡單的分類模型，一將使用p_value前五個維度當作解釋變數，先建立一個簡單的分類模型，並將第一類的46個當作樣本輸入至生成對抗網路，調整訓練參數，且試圖讓神經網路能夠產生第一類別的資料。最後，經由生成器生成的資料我將匯入原先的分類模型，觀察是否能產生類似於第一類別的資料，並最終計算其生成準確…

deep-learning

GAN on non image data

Hermit / 2019-10-31

這次我將考慮一個非常簡單的問題，在非圖像資料上實驗生成對抗網路。在這次的實驗中，將生成隨機正弦曲線，並且將嘗試使GAN生成正確的正弦曲線。 %matplotlib inline import os import random import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from tqdm import tqdm_notebook as tqdm from keras.models import Model from keras.layers import…

deep-learning

Generative Adversarial Network Practice

Hermit / 2019-10-23

由Goodfellow等人在2014年推出的生成對抗神經網路適用於學習圖像空間VAE的替代方法。藉由強制讓聲稱ˊ圖像與真實圖片在統計上幾乎無法分別的條件下，生成相當逼真的合成圖像。若要以直覺的方式來理解GAN，可以想像一個偽造者試圖創造衣服偽造的畢卡索畫作。起先，偽造者的偽造作品非常糟糕。然後他將依些假貨與真正的畫作混合在一起，並給鑑定師鑑定。鑑定師對每幅畫進行真實性評估，並給予位作者意見回饋。接著偽造者根據意見回饋再準備一些新的假貨，隨時間的推移偽造者跟鑑定師也越來越專業，到最後便能產出一個專業偽造者與鑑定師。這就是GAN的運作原理：為偽造神經網路以及專家神經網路。因此由兩部分組成：…

deep-learning

Dropout

Hermit / 2019-10-16

Drop 是由Geoff Hinton與多倫多大學的學生所開發的神經網路常規化技術之一。神經網路層的丟棄法，主要是在訓練期間隨機丟棄layer的一些輸出特徵。假設某個輸出向量為[0.2,0.5,1.3,0.8,1.1]的向量，在使用丟棄法後將隨機幾個向量的特徵歸零:[0.2,0,1.3,0,1.1]，而控制丟失多少值一般是採用丟失率來計算，大約0.2~0.5的一個數值。而在test階段不會丟棄任何值，而是按照丟棄率去比例縮小，以平衡被歸零的影響。實務上，我們可以在訓練時執行dropout然後把輸出值同比例放大，這樣做就不用再測試做任何變動了。這個看似隨興的方法為何可以有效降…

Python

THU Preliminary by Neural Network

Hermit / 2019-08-22

先前剛看完齋藤康毅的深度學習架構，因此最近正在學習使用keras架立神經網路模型，範例檔案都是使用mnist手寫資料，正在練習時突然想到先前東海大學大數據的初賽可以拿來實踐看看。而在嘗試建立好模型後，發現準確度也是高達99%，因此寫這篇文章將架構的部分筆記起來。 […] 因使用Windows 10，所以許多環境設置相比於Linux來說更加繁瑣，因此使用Anaconda來簡化tensorflow gpu CUDA的設置。為了能順利使用keras，所以虛擬環境使用：python3.6 + CUDA 10 + cuDNN 7.4.2 + Tesorflow-GPU + Keras。…

deep-learning

What is deep learning

Hermit / 2019-08-20

最近拜讀Keras之父-Francois Chollet所撰寫的deep learning with python。因此想撰寫一些讀後心得筆記，以留日後自己參考。 […] 很常遇到有人在討論深度學習與機器學習的差異，以及“深度”是深在哪裡。因此有撰寫這篇文章的想法，順便讓自己更清楚的知道這些名詞的差異。在談論何謂深度學習之前，我們要先知道人工智慧以及機器學習、深度學習的關係。應該許多人看過以下這張圖：因此不免俗的，先簡介這三者，再深入探討我們所要談論的“深度”學習。 […] 人工智慧大約於1950年代，當時電腦科學領域內所電腦是否能用來“思考”，在最開始的…