是否有抓取 iPhone/Itunes App Store 和 Google Play 商店的服務(wù)？

簡短的回答：

是的。在 42matters，我們分析了 iOS 和 Android 應(yīng)用程序。查看我們的應(yīng)用智能 API：適用于 Android 和 iOS 的應(yīng)用市場數(shù)據(jù) API |42件事

長答案：

如果您想抓取 Google Play，您需要開發(fā)自己的網(wǎng)絡(luò)爬蟲，解析 HTML 頁面并提取您需要的應(yīng)??用元數(shù)據(jù)（例如標(biāo)題、描述、價格等）。有一些圖書館可以幫助解決這個問題，例如：

爪哇：jsoup Java HTML 解析器，具有最好的 DOM、CSS 和 jquery
Python：一個快速而強(qiáng)大的抓取和網(wǎng)絡(luò)爬蟲框架

然而，更難的部分是“找到”要抓取的應(yīng)用頁面。您可以使用 1) Google Play 站點地圖或 2) 按照鏈接提取器文檔中的說明（如果您打算使用 Scrapy）跟蹤您在抓取的每個頁面中找到的應(yīng)用程序鏈接。

另一種選擇是使用基于 ProtoBuf 的開源庫來獲取有關(guān)應(yīng)用程序的元數(shù)據(jù)，這是該項目的鏈接：安卓市場API.

該庫代表有效的 Google 帳戶從 Google Play 獲取應(yīng)用元數(shù)據(jù)，但在這種情況下，您仍然需要一個爬蟲來“查找”哪些應(yīng)用可用并安排它們的元數(shù)據(jù)檢索。這個另一個開源項目可以幫助你：Android 電子市場爬蟲.

但是，如果您不想自己實現(xiàn)所有這些，則可以使用第三方托管服務(wù)通過基于 JSON 的 API 訪問 Android 應(yīng)用程序元數(shù)據(jù)。例如，在 42matters，我們?yōu)?Android 和 iOS 提供了一個 API 來檢索應(yīng)用程序元數(shù)據(jù)（上面有鏈接）.

這是“Angry Birds Space Premium”應(yīng)用的 JSON 響應(yīng)示例：

{
"package_name": "com.rovio.angrybirdsspace.premium",
"title": "憤怒的小鳥太空高級版",
"description": "在 10 個星球上玩超過 300 個星際關(guān)卡......",
"short_desc": "有史以來排名第一的手機(jī)游戲飛向太空！",
“評級”：4.3046236038208，
"category": "街機(jī)",
"cat_key": "GAME_ARCADE",
“cat_keys”：[
"GAME_ARCADE",
“游戲”，
"FAMILY_EDUCATION",
“家庭”
],
"價格": "$1.15",
"下載": "1,000,000 - 5,000,000",
"版本": "2.2.1",
"content_rating": "所有人",
"market_update": "2015-07-03T00:00:00+00:00",
“截圖”：[
"https://lh3.googleusercontent.com/ZmuBQzIy1G74coPrQ1R7fCeKdJmjTdpJhNrIHBOaFyM0N2EYdUPwZaQjnQUtiUDGmac=h310",
"https://lh3.googleusercontent.com/Xg2Aq70ZH0SnNhtSKH7xg9jCfisWgmmq3C7xQbx6YMhTVAIRqlRJeH8GYtjxapb_qR4=h310",
"https://lh3.googleusercontent.com/T4o5-2_UP82sj4fSSegbjrGmslNHlfvtEYuZacXMSOC55-7eyiKySw05lNF1QQGO2FeU=h310",
"https://lh3.googleusercontent.com/f2ennaLdivFu5cQQaVPKsRcWxB8FS5T4Bkoy3l0iPW9-GDDnTVRhvR5kz6l4m8FL1c8=h310",
“https://lh3.googleusercontent.com/H-9M03_-O9Df1nHr2-rUdjtk2aeBY3bAxnqSX3m2zh_aV8-K1t0qU1DxLXnK0GrDAw=h310”
],
"創(chuàng)建": "2012-03-22T08:24:00+00:00",
"developer": "Rovio Entertainment Ltd.",
“number_ratings”：20812，
"price_currency": "$",
"icon": "https://lh3.ggpht.com/aQaIEGrmba1ENSEgUtArdm3yhJUug7BRWlu_WaspoJusZyHv1rjlWtYqe_qRjE_Kmh1E=w300",
"icon_72": "https://lh3.ggpht.com/aQaIEGrmba1ENSEgUtArdm3yhJUug7BRWlu_WaspoJusZyHv1rjlWtYqe_qRjE_Kmh1E=w72",
"market_url": "https://play.google.com/store/apps/details?id=com.rovio.angrybirdsspace.premium&referrer=utm_source%3D42matters.com%26utm_medium%3Dapi"
}