Trico爬蟲云原是一款全新不一樣的網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)平臺,這款軟件有著強大的協(xié)作管理平臺,靈活調(diào)度任務(wù),順利爬取海量數(shù)據(jù)的一套云數(shù)據(jù)采集平臺,能夠采集各方面數(shù)據(jù)采集操作!
trico爬蟲云原功能介紹
trico爬蟲云原生可提供商品、房價、快遞物流、天氣、新聞、咨詢、知識體庫、文獻、媒體廣告、股票基金、汽車、醫(yī)藥等各行業(yè)百萬數(shù)據(jù)信息采集服務(wù),眼見即可采,不管是圖片電話,還是貼吧論壇,支持所有業(yè)務(wù)渠道的爬蟲,滿足各種采集需求。目前已有杭州淘粉吧、海狐等公司在爬取數(shù)百個海內(nèi)外電商官網(wǎng)(amazon,Esteelauder,Eastbay,Nordstrom,Mankind,Macy,Iherb,Escentual、聚劃算、大淘客等)數(shù)據(jù)源,全面覆蓋電商行業(yè)商品類目選品,只需簡單設(shè)置,就可快速準確獲取數(shù)據(jù)。另外還有商戶爬取了北美等城市的房產(chǎn)信息源,速度極快。
trico爬蟲云原軟件特色
爬取片段
編寫自定義的爬取片段,上傳至Trico,Trico將會幫助你部署你的片段代碼,并且以最優(yōu)的調(diào)度原則將任務(wù)投遞到Trico的爬蟲集群。剩下的你只需要等待Trico回調(diào)你的服務(wù),給想要的結(jié)果。當然你也可以選擇將數(shù)據(jù)投遞到你的郵箱,更高效簡單的查看簡單的數(shù)據(jù)。
無需發(fā)布部署
強大的集群支持
Trico爬蟲語言處理
復(fù)雜邏輯的數(shù)據(jù)結(jié)
使用方法
在將segment(yml語法的代碼片段)提交給Trico部署前,您可以選擇在本地搭建Trico服務(wù)來驗證和調(diào)試你的segment。
Step 1: 下載/安裝Docker
先下載docker到您使用的機器中(Mac版本/Windows版本), 并安裝它(Mac版本/Windows版本)。
Step 2: 拉取鏡像并啟動容器
我們已經(jīng)將trico運行所需要的環(huán)境打入鏡像中,您只需要通過以下代碼拉取鏡像,并通過docker運行。
sudo docker pull tricooffical/kenerl
sudo docker run -d -p 8080:8080 -p 9010:9010 -it tricooffical/kenerl
Step 3: 使用編輯器
打開編輯器,左下角的kenerl變?yōu)榫G色表示連接成功,輸入對應(yīng)的腳本點擊RUN按鈕運行