新人求助：一個塊設(shè)備是否可以同時對多個bio進(jìn)行處理

taylergreen

牛人幫忙哈�。。�

最近在做一個類似ramdisk的塊設(shè)備驅(qū)動，想要在驅(qū)動中實現(xiàn)多線程的訪問。但在測試中發(fā)現(xiàn)，每次進(jìn)入驅(qū)動讀寫的都只有一個線程，所有有上面的疑問。

     驅(qū)動結(jié)構(gòu)類似于ramdisk的不使用隊列的形式

     首先申請請求隊列
     mcard_queue=blk_alloc_queue(GFP_KERNEL);

     注冊處理請求隊列的函數(shù) self_make_request
     blk_queue_make_request(mcard_queue,&self_make_request);


     在self_make_request（）中直接處理bio，完成從內(nèi)存到設(shè)備的 數(shù)據(jù)傳輸
     static int self_make_request(request_queue_t *mcard_queue, struct bio * bio)
    {
        …………
        bio_for_each_segment(bvec,bio,i)
        {       
                dbg_assert_print("%d times transfer, current sector is %llu\n", i, sector);
                char * addr = bio_to_phys(bio);   //物理地址
                pcie_enter_dma++;
                mcard_transfer(sector, rw, bio, addr);    //具體的傳輸，類似ramdisk的memcpy（）
                sector += bio_cur_sectors(bio);
        }
        bio_endio(bio,bio->bi_size,0);
        return 0;
    }

     自己想當(dāng)然的情況：在多個進(jìn)程使用設(shè)備進(jìn)行讀寫的時候， 每個 進(jìn)程都會通過generic_make_request（）函數(shù)，進(jìn)入self_make_request（）來處理io請求--bio。

     測試結(jié)果：在多個進(jìn)程使用設(shè)備進(jìn)行讀寫的時候，都只有 一個 進(jìn)程能進(jìn)入self_make_request()；不知道是什么原因。

參看了ldd3 和understanding linux 的相關(guān)章節(jié)，還是摸不著頭腦。

猜測是在上層的submit_bio( ) ,generic_make_request( )相關(guān)處理中加了鎖，每次限制只能處理一個bio。但看了代碼沒發(fā)現(xiàn)鎖。

dreamice

你把整個驅(qū)動的代碼都列出來吧，應(yīng)該是底層的互斥機(jī)制導(dǎo)致不能并發(fā)訪問的

taylergreen

:wink:
整個的太長，大都是寄存器和初始化的一些操作，主要的處理函數(shù)就3個：
mcard_make_request
mcard_interrupt
mcard_transfer

mcard_make_request 調(diào)用 mcard_transfer 來進(jìn)行具體的傳輸
mcard_interrupt 通過中斷來喚醒mcard_make_request繼續(xù)下面的操作

/*********************************************************************
* transfer:   mcard_transfer
* handle the DMA ops
*/

void mcard_transfer(unsigned long sector, int rw, struct bio *bio, unsigned long long * addr)
{

        unsigned long long local_addr;
        unsigned long byte_count;
       
        local_addr = sector * 512;          //當(dāng)前處理的設(shè)備內(nèi)存的偏移
        byte_count = bio_iovec(bio)->bv_len;
        switch(rw){
                case READA:
                case READ:
                        dma_read_flag = 0;
                        MCARD_START_DMA_WRITE(addr, local_addr, byte_count);
                        wait_event_interruptible(mcard_read_queue, dma_read_flag == 1));
                        break;

                case WRITE:
                        dma_write_flag = 0;
                        MCARD_START_DMA_READ(addr, local_addr, byte_count);
                        wait_event_interruptible(mcard_write_queue, dma_write_flag == 1);
                        break;
                default:
                        printk("ERROR: blk cmd error!!!.\n";
                        break;
        }
}

/*********************************************************************
* make_request:   mcard__make_request
*make request function
*/
static int mcard_make_request(request_queue_t *mcard_que, struct bio * bio)
{
        int i, rw;
        sector_t sector;
        unsigned long len;
        struct bio_vec *bvec;

        sector = bio->bi_sector;         //bio起始的sector
        rw = bio_data_dir(bio);
       
        bio_for_each_segment(bvec,bio,i)
        {       
                char * addr = bio_to_phys(bio);   //物理地址
                mcard_transfer(sector, rw, bio, addr);
                sector += bio_cur_sectors(bio);
        }
        bio_endio(bio,bio->bi_size,0);
        return 0;
}

/*********************************************************************
* mcard_interrupt
*/
static irqreturn_t mcard_interrupt(int irq, void *data, struct pt_regs *regs)
{
        unsigned int interrupt_flag;
        interrupt_flag = MEMORY_MAPPED_IO_32BIT(MCARD_INTERRUPT_STATUS);
        smp_mb();
        if(!(interrupt_flag))
                return IRQ_NONE;
        MEMORY_MAPPED_IO_32BIT(MCARD_INTERRUPT_CLEAR)= interrupt_flag;//0xFFFFFFFF;
        smp_wmb();        

        switch (tmp_interrupt_flag )
        {
                case DMA_READ_SUCCESS_FLAG :  //DMA READ -- sys_wtire
                        dma_write_flag = 1;               
                        smp_mb();
                        wake_up_interruptible(&mcard_write_queue);
                        break;

                case DMA_WRITE_SUCCESS_FLAG :
                        dma_read_flag = 1;               
                        smp_mb();
                        wake_up_interruptible(&mcard_read_queue);
                        break;

                case TIMEOUT_WRITE_FLAG:
                        panic("time out for write occurred\n";
                        break;
                case TIMEOUT_READ_FLAG:
                        panic("time out for read occurred\n";
                        break;
                default:
                        printk("INTERRUPT ERROR,flag error, val is %d\n", interrupt_flag);
                        break;

        }
        return IRQ_HANDLED;
}

[ 本帖最后由 taylergreen 于 2008-12-23 17:58 編輯 ]

dreamice

我不知道你這個等待隊列是不是使用了互斥的喚醒機(jī)制

kns1024wh

邏輯錯誤

taylergreen

啊 請達(dá)人明示 哈子

taylergreen

才接觸linux，對隊列的這些還不太懂。一會再看一下。
在代碼中，是參照網(wǎng)上的例子，申明了一下，后面就直接用了：
DECLARE_WAIT_QUEUE_HEAD(mcard_read_queue);
DECLARE_WAIT_QUEUE_HEAD(mcard_write_queue);

感覺問題不在這里。每次進(jìn)入 mcard_make_request 的進(jìn)程 就只有一個。

taylergreen

剛仔細(xì)測試了一下   發(fā)現(xiàn)以前測試的方法有問題
現(xiàn)在發(fā)現(xiàn) 每次可以有多個進(jìn)程進(jìn)入make_request。
困惑的問題解決了。

剩下的確實是驅(qū)動邏輯的問題。等解決不了再來討教。
謝謝二位 牛人的熱情幫助。

taylergreen

還是想知道一下 邏輯錯誤有那些？

taylergreen

是不是這段有錯誤                 

                        dma_read_flag = 0;
                        MCARD_START_DMA_WRITE(addr, local_addr, byte_count);
                        wait_event_interruptible(mcard_read_queue, dma_read_flag == 1));

flag = 0應(yīng)該放在wait的后面？