python使用心得之獲得github代碼庫列表

更新時間：2014年06月25日 17:26:52 投稿：hebedich

最近接了個項目，要求獲得github的repo的api，度娘了一下，有不少文章介紹，總結了本文，分享給大家并附上代碼

1.背景

項目需求，要求獲得github的repo的api，以便可以提取repo的數(shù)據(jù)進行分析。研究了一天，終于解決了這個問題，雖然效率還是比較低下。

因為github的那個顯示repo的api，列出了每個repo的詳細信息，而且是json格式的?，F(xiàn)在貌似還沒有找到可以分析多個json格式數(shù)據(jù)的方法，所以用的是比較蠢得splite加re的方法。如果大家有更好的方法，不發(fā)留言討論！

2.代碼

import re
import os

def GetUrl(num):
 str = os.popen("curl -G https://api.github.com/repositories?since=%d"%(num)).read()
 pattern = '"url"'
 pattern1='repos'
 urls=str.split(',\n')  
 for i in urls:
  if pattern in i and pattern1 in i:   
#  text1=i.splite(':')
  text=re.compile('"(.*?)"').findall(i)[1]
  print text
if __name__=='__main__':
 GetUrl(1000)

其中num的值指的是頁面的id，我們可以做一個循環(huán)，不斷增大num的值，就可以無限提取repo。因為github的api對于流量是有限制的，所以這么做是一個可行的方法。

效果如下（提取下來的repo的api地址）：

https://api.github.com/repos/wycats/merb-core

https://api.github.com/repos/rubinius/rubinius

https://api.github.com/repos/mojombo/god

https://api.github.com/repos/vanpelt/jsawesome

https://api.github.com/repos/wycats/jspec

https://api.github.com/repos/defunkt/exception_logger

https://api.github.com/repos/defunkt/ambition

https://api.github.com/repos/technoweenie/restful-authentication

https://api.github.com/repos/technoweenie/attachment_fu

https://api.github.com/repos/topfunky/bong

https://api.github.com/repos/Caged/microsis

https://api.github.com/repos/anotherjesse/s3

https://api.github.com/repos/anotherjesse/taboo

https://api.github.com/repos/anotherjesse/foxtracs

https://api.github.com/repos/anotherjesse/fotomatic

https://api.github.com/repos/mojombo/glowstick

https://api.github.com/repos/defunkt/starling

https://api.github.com/repos/wycats/merb-more

https://api.github.com/repos/macournoyer/thin

https://api.github.com/repos/jamesgolick/resource_controller

https://api.github.com/repos/jamesgolick/markaby

https://api.github.com/repos/jamesgolick/enum_field

https://api.github.com/repos/defunkt/subtlety

https://api.github.com/repos/defunkt/zippy

https://api.github.com/repos/defunkt/cache_fu

https://api.github.com/repos/KirinDave/phosphor

您可能感興趣的文章:

Python中過濾字符串列表的方法
這篇文章主要介紹了Python中過濾字符串列表的方法，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-12-12
借助Paramiko通過Python實現(xiàn)linux遠程登陸及sftp的操作
這篇文章主要介紹了借助Paramiko通過Python實現(xiàn)linux遠程登陸及sftp,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2020-03-03
Python使用asyncio標準庫對異步IO的支持
Python中,所有程序的執(zhí)行都是單線程的,但可同時執(zhí)行多個任務,不同的任務被時間循環(huán)（Event Loop）控制及調度,Asyncio是Python并發(fā)編程的一種實現(xiàn)方式；是Python 3.4版本引入的標準庫,直接內(nèi)置了對異步IO的支持
2023-11-11
pytorch GAN生成對抗網(wǎng)絡實例
今天小編就為大家分享一篇pytorch GAN生成對抗網(wǎng)絡實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
詳解pandas df.iloc[]的典型用法
本文主要介紹了詳解pandas df.iloc[]的典型用法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2022-08-08
python 實現(xiàn)手機自動撥打電話的方法(通話壓力測試)
今天小編就為大家分享一篇python 實現(xiàn)手機自動撥打電話的方法(通話壓力測試)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-08-08
Python小技巧練習分享
這篇文章主要介紹了Python小技巧練習分享，文章基于python的相關內(nèi)容展開詳細的python小技巧內(nèi)容，具有一定的參考價值，需要的小伙伴可以參考一下
2022-05-05
淺談一下Python究竟屬不屬于嵌入式語言
這篇文章主要介紹了淺談一下Python究竟屬不屬于嵌入式語言,大家普遍的認為C與C++才是標準的嵌入式語言，那么現(xiàn)在大火的Python算是一種嵌入式語言嗎,需要的朋友可以參考下
2023-04-04
一文教會你用Python讀取PDF文件
Python?工程師在日常的工作中，經(jīng)常會碰到解析和處理PDF文件的情況。本文將pdfplumber進行PDF文件的讀取操作，感興趣的可以了解一下
2022-08-08
通過Python繪制九種二次曲面的示例詳解
這篇文章主要為大家詳細介紹了如何通過Python繪制九種二次曲面，文中的示例代碼講解詳細，具有一定的學習價值，感興趣的小伙伴可以跟隨小編一起了解一下
2023-06-06