Linux音視頻同步問題

buaalinux1

本人開發(fā)了一個(gè)視頻采集播放系統(tǒng)，程序基本寫好了，單音視頻不能同步，哪位大蝦幫一下忙

dreamice

這個(gè)是你的程序問題，具體現(xiàn)象描述清楚一點(diǎn)

buaalinux1

終于有回應(yīng)得了，先表示感謝，具體說來就是：聲音和圖像可以并發(fā)執(zhí)行，但時(shí)間對(duì)不上號(hào)，此刻的聲音不能和此刻的圖像同步，具體程序如下，有會(huì)寫同步的請(qǐng)幫忙給出答案，就是給點(diǎn)指點(diǎn)也好，大概該怎末做，說一下，不勝感激

//---------play avi--------------- /*image thread*/ void *thread3() { &nbsp;&nbsp;&nbsp;&nbsp;int filesize; &nbsp;&nbsp;&nbsp;&nbsp;char *bbuffer=NULL; &nbsp;&nbsp;&nbsp;&nbsp;bbuffer = (char *)malloc (320*240*4); &nbsp;&nbsp;&nbsp;&nbsp;char *dataBuf; &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;mem_file.pfilebuff=bbuffer; &nbsp;&nbsp;&nbsp;&nbsp;dataBuf=(char*)malloc(320*3*240); &nbsp;&nbsp;&nbsp;&nbsp;for(;;) &nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(fread(&filesize,1,4,avfp) == 4) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("read filesize is : %d !\n",filesize); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}  &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(fread(bbuffer,1,filesize,avfp) != filesize) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("play is over !\n"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;break; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;mem_file.base=0; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;mem_file.filesize=filesize; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(mem_file.filesize<=0) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;continue; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(!mem_file.pfilebuff) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;continue; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;cinfo.err=jpeg_std_error(&jerr.pub); &nbsp;&nbsp;&nbsp;&nbsp;   jerr.pub.error_exit=my_error_exit; &nbsp;&nbsp;&nbsp;&nbsp;   if (setjmp(jerr.setjmp_buffer)) &nbsp;&nbsp;&nbsp;&nbsp;        { &nbsp;&nbsp;&nbsp;&nbsp;       jpeg_destroy_decompress(&cinfo); &nbsp;&nbsp;&nbsp;&nbsp;       goto clearend; &nbsp;&nbsp;&nbsp;&nbsp;     &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;   jpeg_create_decompress(&cinfo);&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;jpeg_stdio_src(&cinfo,(FILE *)(&mem_file)); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;jpeg_read_header(&cinfo,TRUE); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;jpeg_start_decompress(&cinfo); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(dataBuf==NULL) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("JpegFile :\nOut of memory"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;jpeg_destroy_decompress(&cinfo); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;goto clearend; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;row_stride=cinfo.output_width * cinfo.output_components; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;width=cinfo.output_width; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;height=cinfo.output_height; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;buffer=(*cinfo.mem->alloc_sarray)((j_common_ptr) &cinfo, JPOOL_IMAGE, row_stride, 1); &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;while(cinfo.output_scanline<cinfo.output_height) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;jpeg_read_scanlines(&cinfo,buffer,1); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if (cinfo.out_color_components==3) &nbsp;&nbsp;&nbsp;&nbsp;      &nbsp;&nbsp;&nbsp;&nbsp;j_putRGBScanline(buffer[0],cinfo.output_width,dataBuf,cinfo.output_scanline-1); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else if(cinfo.out_color_components==1) &nbsp;&nbsp;&nbsp;&nbsp;      &nbsp;&nbsp;&nbsp;&nbsp;j_putGrayScanlineToRGB(buffer[0],cinfo.output_width,dataBuf,cinfo.output_scanline-1); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;(void)jpeg_finish_decompress(&cinfo); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;jpeg_destroy_decompress(&cinfo); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;diff_width=fbdev.fb_width-width; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;diff_height=fbdev.fb_height-height; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(diff_width>0) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;x= diff_width/2; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;x=0; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;width=fbdev.fb_width; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(diff_height>0) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;y=diff_height/2; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;   y=0; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;   height=fbdev.fb_height; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;fbdev.fb_draw(&fbdev,dataBuf,0,0,320,240); &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;clearend: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;free(dataBuf); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;free(bbuffer); } /*sound thread*/ void *thread4() { &nbsp;&nbsp;&nbsp;&nbsp;int id; &nbsp;&nbsp;&nbsp;&nbsp;int arg; &nbsp;&nbsp;&nbsp;&nbsp;int status; &nbsp;&nbsp;&nbsp;&nbsp;char buf[4096]; /*&nbsp;&nbsp;&nbsp;&nbsp;if((audiofd = open("/dev/sound/dsp",O_WRONLY)) < 0 ) &nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("Can't open sound device!\n"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;exit(1); &nbsp;&nbsp;&nbsp;&nbsp;} */ /*&nbsp;&nbsp;&nbsp;&nbsp;if((fd = open("/tmp/audio.wav",O_RDWR)) < 0) &nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("Can't open output file!\n"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;exit (1); &nbsp;&nbsp;&nbsp;&nbsp;} */ &nbsp;&nbsp;&nbsp;&nbsp;arg = SIZE; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;status = ioctl(audiofd,SOUND_PCM_WRITE_BITS,&arg); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(status == -1) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("SOUND_PCM_WRITE_BITS ioctl failed\n"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(arg != SIZE) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("unable to set sample size\n"); &nbsp;&nbsp;&nbsp;&nbsp;arg = CHANNELS; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;status = ioctl(audiofd,SOUND_PCM_WRITE_CHANNELS,&arg); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(status == -1) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("SOUND_PCM_WRITE_CHANNELS ioctl failed\n"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(arg != CHANNELS) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("unable to set number of channels\n"); &nbsp;&nbsp;&nbsp;&nbsp;//arg = RATE; &nbsp;&nbsp;&nbsp;&nbsp;arg =22050; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;status = ioctl(audiofd,SOUND_PCM_WRITE_RATE,&arg); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(status == -1) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("SOUND_PCM_WRITE_WRITE ioctl failed\n"); &nbsp;&nbsp;&nbsp;&nbsp;while(fread(buf,sizeof(buf),1,audiofp) > 0) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;write(audiofd,buf,sizeof(buf)); } void play_thread_create(void) { &nbsp;&nbsp;&nbsp;&nbsp;int temp; &nbsp;&nbsp;&nbsp;memset(&thread, 0, sizeof(thread));          //comment1 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*創(chuàng)建線程*/ &nbsp;&nbsp;&nbsp;if((temp = pthread_create(&thread[0], NULL, thread3, NULL)) != 0)       //comment2 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf(" sorry sir thread 3 failed !\n"); &nbsp;&nbsp;&nbsp;else &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("my sir thread 3 is successful !\n"); &nbsp;&nbsp;&nbsp;&nbsp;if((temp = pthread_create(&thread[1], NULL, thread4, NULL)) != 0)  //comment3 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("sorry sir thread 4 failed !\n"); &nbsp;&nbsp;&nbsp;else &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("my sir thread 4 is successful !\n"); } void play_thread_wait(void) { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*等待線程結(jié)束*/ &nbsp;&nbsp;&nbsp;&nbsp;if(thread[0] !=0) &nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;pthread_join(thread[0],NULL); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("thread 1 was over! \n"); &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;if(thread[1] !=0) &nbsp;&nbsp;&nbsp;&nbsp;{               &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;pthread_join(thread[1],NULL); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;printf("thread 2 was over !\n"); &nbsp;&nbsp;&nbsp;&nbsp;} }

[ 本帖最后由 dreamice 于 2009-8-23 21:53 編輯 ]

dreamice

應(yīng)該是同步問題造成的，這個(gè)我也沒什么經(jīng)驗(yàn)

T-bagwell

加個(gè)timeline
然后聲音的數(shù)據(jù)掛在timeline上，視頻的也掛在timeline上
對(duì)比一下，就可以同步了，一般來說，是視頻跟隨聲音的
圖像處理速度慢的話，可以根據(jù)聲音來跳幀

epegasus

一段段的放,同不同步只能靠天了.

dreamice

原帖由 T-bagwell 于 2009-8-24 11:19 發(fā)表
加個(gè)timeline
然后聲音的數(shù)據(jù)掛在timeline上，視頻的也掛在timeline上
對(duì)比一下，就可以同步了，一般來說，是視頻跟隨聲音的
圖像處理速度慢的話，可以根據(jù)聲音來跳幀

Tbag兄，一般來說，音視頻是同時(shí)存儲(chǔ)在一起的，還是分開存儲(chǔ)的？
我記得以前做的時(shí)候，是同時(shí)存儲(chǔ)的，所以播放的時(shí)候不存在同步的問題。