R

Using Rvest Crawler On Simple Chiness Web

Hermit / 2019-12-04

在之前的文章裡(link:https://hermitlin.netlify.com/post/2019/05/23/web-crawler-on-simple-chinese-web/) ，我只抓取了該本書的八個章節，而最近我需要將其改為能對於該網站(link: https://heavenlyfood.cn/books/menu.php?id=2021) 的各本書進行相同的爬取，並且須以該書名建立資料夾，儲存該本書各章節的內容。同樣的，我使用了rvest與ropencc這兩個package幫我完成爬蟲以及簡轉繁的工作。 […] if…

machine-learning

One Class Learning

Hermit / 2019-10-02

在資料探勘中，異常檢測:anomaly detection對不符合預期模式或資料集中其他專案的專案、事件或觀測值的辨識。通常異常專案會轉變成銀行欺詐、結構缺陷、醫療問題、文字錯誤等類型的問題。異常也被稱為離群值、新奇、噪聲、偏差和例外。特別是在檢測濫用與網路入侵時，有趣性物件往往不是罕見物件，但卻是超出預料的突發活動。這種模式不遵循通常統計定義中把異常點看作是罕見物件，於是許多異常檢測方法（特別是無監督的方法）將對此類資料失效，除非進行了合適的聚集。相反，群集分析演算法可能可以檢測出這些模式形成的微群集。有三大類異常檢測方法。在假設資料集中大多數實體都是正常的前提下，無監督異常檢測方法能…

Python

How to compose a python(or R) script on linux commander.

Hermit / 2019-08-27

In this article I will show how to bulid a script file on your location. And how to compose the script on Python (or R). You should bulid the Python script on your virtual environment if you want to use the keras CUDA. You should enter your server at begining. […] You can key “dir” to check…

R

2019 THU Big Data Preliminary

Hermit / 2019-08-11

I participated in the 2019 Donghae University Big Data Competition. In this article, I will show waht kind of the problem we should do and how I finish the work. ※There is contest Description: 1.訓練數據(用於建立模型) 此數據為建模用，數據為熱壓爐成化加工過程所量測的溫度數據，總共有 8 個群組的數據。群組內的每一個檔案為同一機台在一段連續時間內所量測數據， 8 個群組共有紀錄 230 個量測數據檔…

R

MLB win rate regression

Hermit / 2019-08-06

Last time we build a mlb team data by python. So this time we will bulid a suitable model for our data. And now we want to focus on win rate, so I let the team win rate be the response. In this time, I will read the data at first. Then bulid the full model and check whether it collinear or not. 上次我們…

R

Web crawler on simple Chinese web

Hermit / 2019-05-23

我會在這次使用R-package:“rvest”來執行網路爬蟲。這次要爬取的網站: https://heavenlyfood.cn/books/menu.php?id=2021 (国度的操练为着教会的建造) 這個網頁是用簡體中文寫的，所以我會將最後輸出的語言轉換為繁體中文。我將使用R-package：“ropencc”來完成這項工作，它可以在Github上下載“ropencc”。最後後將章節的故事輸出到每個txt文本文件，並且以章節名稱為檔案命名。 […] if (!require(rvest))install.packages("rvest")…