亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費(fèi)注冊(cè) 查看新帖 |

Chinaunix

  平臺(tái) 論壇 博客 文庫
最近訪問板塊 發(fā)新帖
查看: 5768 | 回復(fù): 4
打印 上一主題 下一主題

關(guān)于批處理的一些疑惑,求大神解釋 [復(fù)制鏈接]

論壇徽章:
0
跳轉(zhuǎn)到指定樓層
1 [收藏(0)] [報(bào)告]
發(fā)表于 2013-12-29 13:38 |只看該作者 |倒序?yàn)g覽
本人接觸400時(shí)間快兩年,主要干的都是業(yè)務(wù)處理這塊的聯(lián)機(jī)交易,很少有批處理的接觸,網(wǎng)上這塊的學(xué)習(xí)資料好像也不是很多,所有有那么幾個(gè)疑問,望大神們解惑。
   1、as400中批處理為什么效率高?可能我提問不夠明晰,就拿存量數(shù)據(jù)遷移來說,一般模式都是分塊提交到隊(duì)列里邊等待獲取資源,然后處理。以前學(xué)過操作系統(tǒng),了解不是很透徹,但是一個(gè)CPU在同一時(shí)刻只能處理一個(gè)語句,或是一個(gè)程序吧。既然這樣,干嘛要分塊提交,直接用一次性跑完整個(gè)存量不就完了,這兒就是疑惑的地方,是不是AS400上不止一個(gè)CPU?
   2、之前看過大神blogliou的經(jīng)驗(yàn)總結(jié),還有qingzhou、胖有型對(duì)rrn的理解,還是有一個(gè)小問題。假如現(xiàn)在有一個(gè)物理文件PF,已經(jīng)存在10個(gè)邏輯文件,LF1、LF2、LF3...現(xiàn)在還是對(duì)它在數(shù)據(jù)遷移,按照之前幾位大神的總結(jié),直接對(duì)PF操作,使用rrn分塊提交效率是很快的。但是我也看到400資料有提到邏輯文件每增加一個(gè),讀取效率就會(huì)指數(shù)下降。那現(xiàn)在已經(jīng)存在10個(gè)LF對(duì)物理文件約束,效率還會(huì)上去么?另外一種,我用其中一個(gè)邏輯文件進(jìn)行數(shù)據(jù)遷移,效率就沒這么高,如果還要增加邏輯文件個(gè)數(shù),效率還會(huì)降低,同樣的,難道用rrn做遷移的時(shí)候,10個(gè)、11個(gè)邏輯文件沒對(duì)PF起作用?

論壇徽章:
2
摩羯座
日期:2013-12-13 13:46:42白羊座
日期:2013-12-13 18:05:06
2 [報(bào)告]
發(fā)表于 2013-12-30 09:21 |只看該作者
本帖最后由 wzjwqs 于 2013-12-30 09:35 編輯

1.CPU處理模式不會(huì)解釋,但如果按你說的一個(gè)CPU處理一項(xiàng)內(nèi)容,恐怕很難支持業(yè)務(wù)并發(fā).
"一般模式都是分塊提交到隊(duì)列里邊等待獲取資源,然后處理"數(shù)據(jù)分塊后對(duì)應(yīng)多個(gè)作業(yè),這些作業(yè)能夠并發(fā)執(zhí)行(WRKACTJOB查看).
假設(shè)1000萬條數(shù)據(jù)處理要10小時(shí),拆分為100萬條一個(gè)作業(yè),并發(fā),作個(gè)除法就知道能節(jié)省多少時(shí)間,當(dāng)然這是理想狀態(tài).

2.如果在PF/LF中定義了鍵值,就會(huì)形成access path用于描述PF/LF中的一條記錄。
PF一般不定義鍵值,為了提升大數(shù)據(jù)量操作效率,如幾位前輩總結(jié)的,用rrn.
LF定義鍵值,,如果數(shù)據(jù)遷移操作LF的話,操作每一條記錄前,都需要明確access path,數(shù)據(jù)量大的話,占用的時(shí)間是很恐怖的
為了節(jié)省這個(gè)時(shí)間,參照幾位前輩的經(jīng)驗(yàn)總結(jié)的做法還是有必要的.

上面這兩個(gè)方法結(jié)合起來用,數(shù)據(jù)拆分+并發(fā)/rrn操作PF,相比來說效率最高。

個(gè)人理解,不對(duì)的地方請(qǐng)指出。

論壇徽章:
0
3 [報(bào)告]
發(fā)表于 2013-12-30 12:57 |只看該作者
本帖最后由 回頭人物 于 2013-12-30 12:58 編輯

非常感謝wzjwqs的回答)。
1、你舉得例子我明白,要是只有一個(gè)CPU,并發(fā)提交是不是就沒意義了,所有的作業(yè)都只能通過同一個(gè)CPU處理,1000w的數(shù)據(jù)一次跑,和分10次跑用的時(shí)間應(yīng)該差不多吧,就是這點(diǎn)疑惑。
2、之前聽?zhēng)业娜苏f,LF越多,操作效率越低,盡量少創(chuàng)建LF。還是說一個(gè)程序里邊F行引用的LF個(gè)數(shù)來算操作效率,不是看總的存在多少個(gè)LF,是這樣的話,我再創(chuàng)建幾個(gè)LF(可能這個(gè)程序沒用到,其他程序用到了),數(shù)據(jù)遷移程序沒用到LF,就不會(huì)降低操作效率?

論壇徽章:
2
摩羯座
日期:2013-12-13 13:46:42白羊座
日期:2013-12-13 18:05:06
4 [報(bào)告]
發(fā)表于 2013-12-30 14:04 |只看該作者
1.1000萬拆分后并發(fā)不是跑10次,是10個(gè)批,跑一次,另外多進(jìn)程/多線程跟CPU關(guān)系不大,跟操作系統(tǒng)有關(guān)。
2.數(shù)據(jù)遷移用沒有鍵值的PF,加LF也沒影響,LF越多,操作效率越低,LF實(shí)際無數(shù)據(jù),數(shù)據(jù)操作最終都體現(xiàn)在PF上,但PF有一條記錄變化,所有相關(guān)LF的access path都要跟著變化,效率就低了,尤其數(shù)據(jù)量大了以后。

論壇徽章:
0
5 [報(bào)告]
發(fā)表于 2014-03-11 13:39 來自手機(jī) |只看該作者
1.400上真的不止一個(gè)cpu,樓主說對(duì)啦!
    另外即使只有一個(gè)cpu,并發(fā)也還是有意義的,因?yàn)橛布x寫的速度遠(yuǎn)低于cpu干活的速度,所以并發(fā)的時(shí)候系統(tǒng)遇到和硬件交互的語句,cpu發(fā)完指令等待硬件返回這個(gè)空擋,還可以去干點(diǎn)別的事。
不用并發(fā)的寫法,這幾十個(gè)或者上百毫秒里cpu就閑著了。
當(dāng)然系統(tǒng)調(diào)度切換有也消耗,單cpu下不提倡過多的并發(fā)。

以上純屬抬杠,隨便看看就好。

2.根據(jù)我以前測(cè)試,一般加LF對(duì)write操作的影響比較大,read操作應(yīng)該影響不是特別大。
    要是實(shí)在糾結(jié),就在遷移前把所有LF都刪掉!就看老大答不答應(yīng)了。
您需要登錄后才可以回帖 登錄 | 注冊(cè)

本版積分規(guī)則 發(fā)表回復(fù)

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號(hào)-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號(hào):11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報(bào)專區(qū)
中國互聯(lián)網(wǎng)協(xié)會(huì)會(huì)員  聯(lián)系我們:huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請(qǐng)注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP