machine-learning

Ghalat Machine Learning

Hermit / 2020-08-28

這次來測試自動化機器學習套件：Ghalat Machine Learning，主要針對回歸問題與分類問題的自動化學習。目前套件具有以下功能： 1.自動特徵工程 2.自動選擇機器學習和神經網路模型 3.自動超參數調校 4.排序模型效果（根據交叉驗證分數） 5.推薦最佳模型我將使用UCI breast cancer dataset(sklearn dataset)來測試此套件for分類的效果以及使用情況。套件作者Github：https://github.com/Muhammad4hmed/Ghalat-Machine-Learning Pypl套件說明：…

R

Location selection research for Nursing home

Hermit / 2020-04-21

這學期有參加一個內政部的數據競賽，主要是想做老幼托育的選址策略，在現今台灣社會上越來越多三明治族（三明治族指得是，上有父母、下有孩子，自己又有工作在身。）的情況下，老人照護與托兒的需求也逐漸提升。目前全日本各地共有1400多家兒童老人日照中心，這類型的照顧機構在日本已遍地開花。我們的產品即為「老幼共托，托育中心選址策略模型」，主要利用大數據分析的方式，建立一套考慮交通、環境、照護需求的預測分析模型，讓政府能找出目標受眾，並結合政府立案與民間配合，於適當的地點創造一個個適合照護兒童與老人的日照中心，並提供給目標受眾。主要是使用內政部人口結構資料來找尋各村里托育的需求量，並…

R

Crawler for delay load web page

Hermit / 2020-04-20

這禮拜也有同網站的內容要爬(https://heavenlyfood.cn/books/index.php?id=4000) ，其主要結構與上星期的篇章雷同，因此沿用上星期的code，只是在最後抓取文章文件的時候，有遇到一些問題，如下圖：如果有爬蟲經驗的人應該可以看出他文章主要是在一個名稱叫做div#c 這個nodes下存放，而我在整頁結構確認後，便使用R去執行html_nodes去抓這些節點，但經由文字提取的函數，卻抓不到任何文字。後來發現，文章文字的內容，並不在文章的這個連結內，而是頁面結構先載入，而後內容才進行加載，這個一般稱為delay-load的問題，主要指我們想爬取的內容並非第…

R

Buliding a Crawler for UserAgent website

Hermit / 2020-04-13

現在有許多網站使用UserAgent，主要是向用戶端發送用戶代理請求，讓用戶端提交一個特定的字串來標示自己的身份，以及相關的訊息，例如裝置、作業系統、應用程式，來表明使用的身份。而服務端一接收到這樣的身份識別後，就可以做出相對應的動作，例如為PC與mobile使用者，導向至給適合你裝置類型的網頁，進而提升使用者體驗。而在Chrome裡面，輸入chrome://version/ 就會看到類似如下代碼：使用者代理程式 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko)。問題就…

deep-learning

Auto Encoder for Anomaly Detection

Hermit / 2020-02-29

這禮拜在撰寫論文的時候，因為有一段需要更詳細說明所謂的Anomaly Detection，因而發現了一個也可以進行相同工作的方法-“Auto Encoder”，且他號稱有著更佳的分類效果，因此就看了一些介紹此方法的文章以及實作，下面我將使用breast cancer data的前一百筆當作練習範本，嘗試建立一個Auto Encoder for Anomaly Detection。 […] Autoencoder是一種無監督式學習模型。本質上它使用了一個神經網絡來產生一個高維輸入的低維表示。 Autoencoder與主成分分析PCA類似，但是Autoencoder在使用非線性激活函…

gan

Compare to OCGAN & SMOTE & ADASYN in CRE data Simulation

Hermit / 2020-02-25

與上禮拜那篇文章一樣，只是這次將資料改為CRE data，希望也有良好的表現。 […] import pandas as pd import numpy as np from sklearn import datasets # import some data to play with df = pd.read_csv('C:/Users/User/OneDrive - student.nsysu.edu.tw/Educations/NSYSU/fu_chung/bacterial/123.csv') x = df.iloc[:,0:1471] y =…

1
2
3
8