𝔏ℑ𝔑'𝔖 𝔅𝔏𝔒𝔊
Lin's Blog
2020-08-28
5 / 8
deep-learning
GAN with One Class Learning
Hermit
/
2019-11-09
先前幾次我嘗試使用生成對抗網路產生一系列資料,但我們知道GAN的訓練很難調整,除非將生成資料直接拿去訓練比照結果,否則很難知道這次生成樣本的品質(這裡的品質是指有時候樣本過少時,我們產生所需的假資料是否能完美的當作一般樣本進行後續分析),因此我想透過一些外部機制來當作衡量生成器生成的品質驗證,後來思考其實這有點像是異常檢測,若是先將真實資料做一個一元的異常檢測分類器,我們便可將GAN產生的資料用此當作二次確認(第一次確認是在GAN當中的判別器),構想圖如下: 我們將想要生成的某類資料匯入後,先建構一個一元分類器,並將所有資料點都包含於正常資料。接著將原資料匯入GAN當中,經過幾次迭代後,我們…
deep-learning
Using GAN to generate some non image data with CRE bateria data
Hermit
/
2019-11-06
這次我將修改前次的生成對抗網路,希望能夠調整為一個自動生成樣本的神經網路。我這次將使用以前曾經使用過的CRE Bacteria data(https://hermitlin.netlify.com/post/2019/04/24/cre-bacteria-data-analysis/ )。 我先建立一個簡單的分類模型,一將使用p_value前五個維度當作解釋變數,先建立一個簡單的分類模型,並將第一類的46個當作樣本輸入至生成對抗網路,調整訓練參數,且試圖讓神經網路能夠產生第一類別的資料。最後,經由生成器生成的資料我將匯入原先的分類模型,觀察是否能產生類似於第一類別的資料,並最終計算其生成準確…
deep-learning
GAN on non image data
Hermit
/
2019-10-31
這次我將考慮一個非常簡單的問題,在非圖像資料上實驗生成對抗網路。在這次的實驗中,將生成隨機正弦曲線,並且將嘗試使GAN生成正確的正弦曲線。 %matplotlib inline import os import random import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from tqdm import tqdm_notebook as tqdm from keras.models import Model from keras.layers import…
deep-learning
Generative Adversarial Network Practice
Hermit
/
2019-10-23
由Goodfellow等人在2014年推出的生成對抗神經網路適用於學習圖像空間VAE的替代方法。藉由強制讓聲稱ˊ圖像與真實圖片在統計上幾乎無法分別的條件下,生成相當逼真的合成圖像。 若要以直覺的方式來理解GAN,可以想像一個偽造者試圖創造衣服偽造的畢卡索畫作。起先,偽造者的偽造作品非常糟糕。然後他將依些假貨與真正的畫作混合在一起,並給鑑定師鑑定。鑑定師對每幅畫進行真實性評估,並給予位作者意見回饋。接著偽造者根據意見回饋再準備一些新的假貨,隨時間的推移偽造者跟鑑定師也越來越專業,到最後便能產出一個專業偽造者與鑑定師。 這就是GAN的運作原理:為偽造神經網路以及專家神經網路。因此由兩部分組成:…
deep-learning
Dropout
Hermit
/
2019-10-16
Drop 是由Geoff Hinton與多倫多大學的學生所開發的神經網路常規化技術之一。神經網路層的丟棄法,主要是在訓練期間隨機丟棄layer的一些輸出特徵。假設某個輸出向量為[0.2,0.5,1.3,0.8,1.1]的向量,在使用丟棄法後將隨機幾個向量的特徵歸零:[0.2,0,1.3,0,1.1],而控制丟失多少值一般是採用丟失率來計算,大約0.2~0.5的一個數值。而在test階段不會丟棄任何值,而是按照丟棄率去比例縮小,以平衡被歸零的影響。 實務上,我們可以在訓練時執行dropout然後把輸出值同比例放大,這樣做就不用再測試做任何變動了。 這個看似隨興的方法為何可以有效降…
machine-learning
One Class Learning
Hermit
/
2019-10-02
在資料探勘中,異常檢測:anomaly detection對不符合預期模式或資料集中其他專案的專案、事件或觀測值的辨識。 通常異常專案會轉變成銀行欺詐、結構缺陷、醫療問題、文字錯誤等類型的問題。異常也被稱為離群值、新奇、噪聲、偏差和例外。 特別是在檢測濫用與網路入侵時,有趣性物件往往不是罕見物件,但卻是超出預料的突發活動。這種模式不遵循通常統計定義中把異常點看作是罕見物件,於是許多異常檢測方法(特別是無監督的方法)將對此類資料失效,除非進行了合適的聚集。相反,群集分析演算法可能可以檢測出這些模式形成的微群集。 有三大類異常檢測方法。在假設資料集中大多數實體都是正常的前提下,無監督異常檢測方法能…
««
«
1
2
3
4
5
6
…
8
»
»»