gan

Compare to OCGAN & SMOTE & ADASYN in CRE data Simulation

Hermit / 2020-02-25

與上禮拜那篇文章一樣，只是這次將資料改為CRE data，希望也有良好的表現。 […] import pandas as pd import numpy as np from sklearn import datasets # import some data to play with df = pd.read_csv('C:/Users/User/OneDrive - student.nsysu.edu.tw/Educations/NSYSU/fu_chung/bacterial/123.csv') x = df.iloc[:,0:1471] y =…

gan

Compare to OCGAN & SMOTE & ADASYN in breast cancer data Simulation

Hermit / 2020-02-18

這次我使用sklearn內建的資料集breast-cancer(原始資料來源：https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic)) ，先將原資料以7:3比例建立一個的資料分類器出來，之後把其中一個類別挑出，並使用各種oversampling的方法來模擬樣本，並最終將模擬後的資料套回最初的模型當中，比較各方法產生的樣本能否在分類器當中回到原本的類別當中。 […] 讀取sklearn的資料並轉為dataframe： import pandas as pd import numpy…

gan

OCGAN Pratice: CRE Bateria data

Hermit / 2020-02-04

這次使用之前分析過的CRE資料，來嘗試使用OCGAN，但因原先資料CRE:NON比數為46:49，為了達到不平衡的效果，因此最後採用16:49的比例，從46個CRE中取隨機16個，而資料的訓練集以及驗證集比例為下： Train Set(CRE:Non): 6:19 Validation Set(CRE:Non): 10:30 接著我們將分為有使用OCGAN平衡數據集的資料以及未平衡數據集的資料進行分別建模，兩者皆使用SVM的方式建模，並且先透過LOOCV的方式在數據集Tuning模型，最後套入驗證集計算總準確率、f1 score、auc等，比較有無平衡的效果。 […]…

gan

OCGAN Tuning

Hermit / 2020-01-16

基本上生成樣本已經是可以達成的事情，目前就是調整gan各處的結構，如優化器、激活函數、損失函數等等，目前嘗試皆以randomforest(n=100)當作統一的模型。下圖是一般神經網路的結構：而生成對抗網路則有生成器與判別器兩個神經網路的串接，因此排列組合十分多種，且echo的次數與每個組合的效果並不一定相同，不一定回傳越多次效果越好，因此想先比較完大部分組合後再從中擇優，以下是將之前信用卡資料切分為train:test為1:1後的比較結果，比較傳統oversampling、undersampling與Non Sampling的效果，結果如下圖：接下來與gan進行比較，gan的各種組合下表…

deep-learning

Paper Review [OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations]

Hermit / 2019-12-23

這禮拜看完一篇有關生成對抗網路與One Class Learning 結合的論文(Source Link:https://arxiv.org/abs/1903.08550) ，其名稱為<>，因此主要方法與我目前在用的內容有關。作者提出了一種稱為OCGAN的檢測模型，其目的是確定是否樣本來自同一個種類。作者的方案是基於使用auto-encoder network來學習神經網路單類樣本的潛在表示。而本篇文章的模型可明確限制潛在空間。為了實現這一目標，首先迫使潛在空間通過以tanh的激活函數引入編碼器的輸出。其次，利用adversariallyr鑑別潛在空間，確保同類的編碼表示類似於從…

deep-learning

WGAN Practice On Credit Card Data

Hermit / 2019-12-17

前幾篇我有提到WGAN在訓練過程中可以改善兩個神經網路loss很難調教的問題(很常判別器的loss下降，生成器的卻一直上升，或是情況相反)，因此我將在此篇裡使用WGAN的規則來修改神經網路的一些參數，條件如下： […] The WGAN limits: 1.判別器最後一層去掉sigmoid 2.生成器和判別器的loss不取log 3.每次更新判別器的參數之後把它們的絕對值截斷到不超過一個固定常數c 4.不要用基於動量的優化算法（包括momentum和Adam），推薦RMSProp，SGD也行 […] import pandas as pd import numpy…