python pandas用于大數(shù)據(jù)分析的場(chǎng)景

risepp

最近在學(xué)習(xí)pandas相關(guān)的知識(shí)，嘆服他對(duì)數(shù)字型信息的高效靈活處理，但是一直覺得有些困擾的地方是，數(shù)據(jù)源可以有哪些渠道獲得？
從Python For Data Analysis 書中描述data load的方式有一下幾種：
1. 從文本文件中加載數(shù)據(jù)
2. 從數(shù)據(jù)庫(kù)中加載數(shù)據(jù)
3. 從binary format文件中加載數(shù)據(jù)，主要指hdf5和excel格式的文件
4. 從html和web API提取數(shù)據(jù)

針對(duì)以上不同的情況，那一般什么場(chǎng)景下會(huì)使用到pandas進(jìn)行分析呢？
1. 文本文件我想到的是對(duì)大日志文件的分析
2. 從數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，我很擔(dān)心會(huì)不會(huì)在獲取數(shù)據(jù)的過程中會(huì)存在性能瓶頸？比如我從一個(gè)表中提取一億條數(shù)據(jù)，光這一步就會(huì)很耗時(shí)（不知道hbase是否會(huì)快一點(diǎn)）
3. 暫時(shí)還未想到什么情況會(huì)用到，是否和第一次情況類似？至少不存在第二步數(shù)據(jù)提取的過程
4. 如果與html或者WEB API數(shù)據(jù)存在哪里呢？我理解這類數(shù)據(jù)不是一次達(dá)到一個(gè)很大的規(guī)模，是一個(gè)累積的過程吧

請(qǐng)各位大俠也幫忙指點(diǎn)指點(diǎn)，討論討論，多謝，因?yàn)槲乙恢闭J(rèn)為hadoop這樣大型的環(huán)境應(yīng)該是上了幾個(gè)TB的數(shù)據(jù)才會(huì)更加適用，pandas正好是一個(gè)補(bǔ)充，所以想把這事兒想明白