多核给软件开发带来挑战
时间:02-23
来源:51CTO
点击:
为了提升服务器和PC芯片|0">芯片的性能,为处理器增加更多的核心已成为芯片供应商们的最主要手段。但是,如果无法应对来自硬件和编程方面的新挑战,多核的优势不仅会大大降低,而且及有可能成为芯片性能的阻碍。在刚刚举行的多核芯片博览会(Multicore Expo)上,与会者纷纷对此表示了担心。
目前大多数为单核芯片编写的软件将需要重新编写或者更新,以适合Intel、Sun以及其它芯片供应商们提供的新产品,行业技术分析公司Linley Group总裁兼首席分析师Linley Gwennap这样说。现在的应用程序在多至4个处理器核心时通常会运行得更快,但处理核心数量一旦超过这个数字,应用程序的效果就会降低甚至恶化。
最近来自Gartner的一份报告同样显示了这个问题。为此,芯片和系统制造商们已开始着力培训软件开发者,并为他们提供更好的用于多核编程的工具。一年前,Intel和微软表示,他们将在美国投资2000万美元开设两个研究中心专门解决这一问题。目前,缺乏多核编程工具也许是今天的编程行业所面临的最大挑战,Gwennap说。
把应用程序中不同的计算任务,比如数学运算和渲染图片加以区分对待,让它们分别在多个内核中同时执行的编写方式早已被人们提出。但是,这一通常被称为并行计算的模式一直受到专业化与高性能计算环境的限制。
近年来,Intel和AMD已经改变了提高时钟频率的传统做法,将加入核心数量作为更直接有效的方式来提高芯片的性能。Intel即将为我们带来多达8个处理内核的Nehalem-EX芯片(51CTO.com注,Nehalem是英特尔的新芯片架构。代号为Nehalem的处理器包括专为高性能服务器市场设计的、研发代号为"Nehalem-EP" 的处理器,面向可扩展服务器市场的代号为"Nehalem-EX"。英特尔不久前称,高端的Nehalem EX处理器可能在今年年底供货)。而51CTO.com的资料也显示,AMD代号为"伊斯坦布尔"(Istanbul)的六核45纳米皓龙处理器已公开演示,预计将于今年下半年正式推出;此外AMD也正在设计12内核的服务器芯片。所有这些新技术都提高了多线程能力,使每个内核都可以在同一时间执行多行代码。
这意味着主流的应用程序必须以不同的方式来编写,以利用更多的内核资源。这做起来不仅很难,而且很有可能带来的新类型的软件bug。最常见之一就是"竞争条件(Race Conditions)"--计算的结果输出要求各种任务按照一定的顺序完成,如果不是这样,那么可能就会导致错误的发生。
目前已经有些厂商提供了并行编程工具,如Intel的Parallel Studio for C and C++,还有这一领域里的其他厂商如Codeplay、Polycore Software和Clik Arts的相关工具。此外基于C语言的新的并行编程模型标准OpenCL,已由Khronos Group发布,并迅速得到了Intel、AMD、Nvidia和其他各厂商的共同支持。
Santa Clara举行的多核芯片博览会展示了更多的工具正在开发中。嵌入微处理基准联盟(51CTO.com注,即EEMBC,为嵌入式芯片制订基准的非盈利性组织)的软件工程总监Shay Gal-on说,软件编译器必须能够识别并行的代码,然后在没有人工干预下完成并行工作。
尽管缺少相关的工具,一些软件供应商已经找到了相对容易的建立并行代码的方法,用来处理简单的计算工作比如图像和视频处理,Gwennapp表示,比如Adobe已经通过重写Photoshop,在某些特定的x86内核上运行放大和图像滤镜等任务时,性能可以提高到3到4倍。
"在处理视频或图片时,你可以将不同的像素系统分配给不同的CPU。这样你就可以得到并行处理方式,"Gwennapp说。但是,对于更复杂的任务,则很难找到一个单一的方法来确定并行计算的顺序,然后将它们分配给不同的CPU。
编程方面可能面临着多核带来的最大挑战,而在硬件方面也需要作出变化,来克服如内存延迟和总线速度缓慢等问题。"由于你的芯片上添加了越来越多的内核,你就需要更多的内存带宽来适应它们,"Gwennapp说。
共享一个内存高速缓存或数据总线的多个内核会造成瓶颈效应,这意味着额外的内核将在很大程度上遭到浪费。"这种情况下假设你有6或8个CPU,那么它们所有的时间将花费在互相交谈上,既不向前走,也不做任何工作,"他说。
责任最终还是要背负在开发者的肩上。他们需要编写更好的并行程序来搭建硬件和软件之间的桥梁。很多软件开发者并没有跟上硬件设计的最新进展,EEMBC的Gal-on这样说,他们应该打开数据表来研究最新的芯片架构,考虑一下怎样能让他们的代码表现得更好。
目前大多数为单核芯片编写的软件将需要重新编写或者更新,以适合Intel、Sun以及其它芯片供应商们提供的新产品,行业技术分析公司Linley Group总裁兼首席分析师Linley Gwennap这样说。现在的应用程序在多至4个处理器核心时通常会运行得更快,但处理核心数量一旦超过这个数字,应用程序的效果就会降低甚至恶化。
最近来自Gartner的一份报告同样显示了这个问题。为此,芯片和系统制造商们已开始着力培训软件开发者,并为他们提供更好的用于多核编程的工具。一年前,Intel和微软表示,他们将在美国投资2000万美元开设两个研究中心专门解决这一问题。目前,缺乏多核编程工具也许是今天的编程行业所面临的最大挑战,Gwennap说。
把应用程序中不同的计算任务,比如数学运算和渲染图片加以区分对待,让它们分别在多个内核中同时执行的编写方式早已被人们提出。但是,这一通常被称为并行计算的模式一直受到专业化与高性能计算环境的限制。
近年来,Intel和AMD已经改变了提高时钟频率的传统做法,将加入核心数量作为更直接有效的方式来提高芯片的性能。Intel即将为我们带来多达8个处理内核的Nehalem-EX芯片(51CTO.com注,Nehalem是英特尔的新芯片架构。代号为Nehalem的处理器包括专为高性能服务器市场设计的、研发代号为"Nehalem-EP" 的处理器,面向可扩展服务器市场的代号为"Nehalem-EX"。英特尔不久前称,高端的Nehalem EX处理器可能在今年年底供货)。而51CTO.com的资料也显示,AMD代号为"伊斯坦布尔"(Istanbul)的六核45纳米皓龙处理器已公开演示,预计将于今年下半年正式推出;此外AMD也正在设计12内核的服务器芯片。所有这些新技术都提高了多线程能力,使每个内核都可以在同一时间执行多行代码。
这意味着主流的应用程序必须以不同的方式来编写,以利用更多的内核资源。这做起来不仅很难,而且很有可能带来的新类型的软件bug。最常见之一就是"竞争条件(Race Conditions)"--计算的结果输出要求各种任务按照一定的顺序完成,如果不是这样,那么可能就会导致错误的发生。
目前已经有些厂商提供了并行编程工具,如Intel的Parallel Studio for C and C++,还有这一领域里的其他厂商如Codeplay、Polycore Software和Clik Arts的相关工具。此外基于C语言的新的并行编程模型标准OpenCL,已由Khronos Group发布,并迅速得到了Intel、AMD、Nvidia和其他各厂商的共同支持。
Santa Clara举行的多核芯片博览会展示了更多的工具正在开发中。嵌入微处理基准联盟(51CTO.com注,即EEMBC,为嵌入式芯片制订基准的非盈利性组织)的软件工程总监Shay Gal-on说,软件编译器必须能够识别并行的代码,然后在没有人工干预下完成并行工作。
尽管缺少相关的工具,一些软件供应商已经找到了相对容易的建立并行代码的方法,用来处理简单的计算工作比如图像和视频处理,Gwennapp表示,比如Adobe已经通过重写Photoshop,在某些特定的x86内核上运行放大和图像滤镜等任务时,性能可以提高到3到4倍。
"在处理视频或图片时,你可以将不同的像素系统分配给不同的CPU。这样你就可以得到并行处理方式,"Gwennapp说。但是,对于更复杂的任务,则很难找到一个单一的方法来确定并行计算的顺序,然后将它们分配给不同的CPU。
编程方面可能面临着多核带来的最大挑战,而在硬件方面也需要作出变化,来克服如内存延迟和总线速度缓慢等问题。"由于你的芯片上添加了越来越多的内核,你就需要更多的内存带宽来适应它们,"Gwennapp说。
共享一个内存高速缓存或数据总线的多个内核会造成瓶颈效应,这意味着额外的内核将在很大程度上遭到浪费。"这种情况下假设你有6或8个CPU,那么它们所有的时间将花费在互相交谈上,既不向前走,也不做任何工作,"他说。
责任最终还是要背负在开发者的肩上。他们需要编写更好的并行程序来搭建硬件和软件之间的桥梁。很多软件开发者并没有跟上硬件设计的最新进展,EEMBC的Gal-on这样说,他们应该打开数据表来研究最新的芯片架构,考虑一下怎样能让他们的代码表现得更好。
- 博通公司推出世界首个28nm多核通信处理器系列(09-17)
- 携手多核时代共赢应用未来 英特尔发布《多核应用白皮书》(02-27)
- 伯克利大学专家阐述多核计算的十大前景(01-22)
- 英特尔公布新型多核处理器开发计划(02-19)
- 帕特·基辛格先生首度透露英特尔多核架构信息(02-21)
- LSI 制定TARARI内容处理器与多核处理器相结合的蓝图(03-09)
闂佽绻愮换鎰偓姘嵆閵嗗倿鎳滈悽纰樻灃闂佽宕樼亸娆撴偡瑜版帗鐓曢柍鍝勫枤閺€鐗堛亜閺傚灝顏€殿噮鍋勯埢搴ㄥ箣閺冣偓閻撶娀姊虹憴鍕埅闁告柨绻愰悾鐑芥晸閿燂拷
- 濠德板€曢崐鐟扮幓閹稿寒娈介柛銉㈡櫃閻掑﹪鏌涢弴銊ョ伇闁哄棎鍎抽埀顒冾潐閹爼宕曢幎钘夌厺闁兼祴鏅滈弳婊堟煕椤愶絿绠撻柟顔碱儔閺岀喓鈧稒锚婵洭鏌i幘瑙勭《闁瑰嘲顑夐、姗€鎮㈤崨濠勬殮缂傚倷绀侀鍛搭敄閸涙番鈧啫饪伴崨顔兼櫝闂佽法鍣﹂幏锟�
闂備胶枪缁诲牓宕濆澶婅摕闁绘柨鎲℃刊瀵糕偓骞垮劚閹峰宕濋崨顓涙闁哄啫鍊稿瓭闂佹眹鍔庢慨鐢告晬閹版澘绠f繝濠傛噽閹冲洦绻涢幋鐐村鞍婵ǜ鍔戦幃锟犳晬閸曨剙鐝伴梺绯曟閸樺墽绮堟径鎰厵缂備焦锚婵洨鈧娲栭惌鍌炲箚瀹ュ妫橀柛顭戝枤瀹€娑㈡倵鐟欏嫭鍋犻柛搴㈠缁辩偤寮崼鐔锋畱闂佽姤锚椤︻垶锝為弮鍫熺叆婵炴垶枪鐎氭澘鈹戦鍛偗妤犵偛鍟存俊鎼佸Ψ閿曗偓濞撴劙姊绘笟鍥т簽闁哥姵鍔欏畷鐟邦潩閼哥鎷规繝銏e煐閻℃洜绮堢€n€㈠綊宕楅崸姘辩窗濡炪値鍋勯幊姗€骞嗛崘顔肩妞ゆ劑鍊栭蹇斾繆椤愩倕顣奸柛銊ョ仛鐎靛ジ骞囬鍓х厯闁诲函缍嗘禍鐐烘偡閿燂拷...
- 濠电偞鍨堕幖鈺呭储閻愵剦娈介柛銉㈡櫃閻掑﹪鏌涢弴銊ョ伇闁哄棎鍎抽埀顒冾潐閹爼宕曢幎钘夌厺闁兼祴鏅滈弳婊堟煕椤愶絿绠撻柟顔碱儔閺岀喓鈧稒锚婵洭鏌i幘瑙勭《闁瑰嘲顑夐、姗€鎮㈤崨濠勬殮缂傚倷绀侀鍛搭敄閸涙番鈧啫饪伴崨顔兼櫝闂佽法鍣﹂幏锟�
缂傚倷绶¢崳锝囩不閺嶎厼鐒垫い鎺戯攻鐎氾拷30濠电姰鍨奸崺鏍х暆缁嬭娑㈩敆閸屾瑧鍓ㄩ梺鍛婃处閸ㄥジ寮抽妷鈺傜厱闁冲搫鍠氶弨鐗堛亜閺傚灝顏柟椋庡█瀹曟粏顦柡灞诲€濋弻銊モ槈濡警娈紓浣诡殕閹搁箖鍩€椤掑偆鏀伴柛鈺傜墪椤斿繒鎹勯妸锕€鐝伴梺瑙勫劤閹虫劗绮堟径鎰厱闁哄倻鍎ゅ▍鍛亜閹烘柨鏋涚€规洏鍔岃灒闁绘垶锚濞撴劙姊绘笟鍥т簽闁哥姵娲熼獮鎾活敂閸繄顦俊顐︻暒閼冲爼顢旈崡鐐╂闁瑰灝鍟╃花濠氭煙椤斿ジ鍙勭€殿喕绮欓幃鈩冩償閿濆棭鍟呭┑鈽嗗亞婢ф宕归崹顐㈩嚤闁归偊鍠氶惌娆撴倵閿濆簼绨介柣鐔烽叄閺岋綁濡搁妷銉紓濡炪倐鏅粻鎴炴櫏闂佽法鍣﹂幏锟�...
- Agilent ADS 闂備浇妗ㄩ悞锕傛偡閵夆晩鏁嗛柣鏃傚帶閺勩儳鐥鐐村闁哥偞鐓¢幃褰掑炊瑜嶉埛鏃堟煃鐠囨彃鎮戠紒楦挎铻栭柛鏇炵仛椤ワ拷
濠电偞鍨堕幐濠氬箰閹间緡鏁婄€广儱顦粻鎶芥煕椤愵剛绉甸柛銈忕畵閺屻劌鈽夊Ο鍨伃闂佸憡鐟ョ换妯何涢崘顔碱潊闁挎繂楠搁弫濂告煟閻斿摜鎳愰柡瀣剨S闂備礁鎲¢懝鍓р偓姘煎櫍閿濈偤骞掑Δ鈧粈澶愭煟閺冨浂鍤欓柛妯绘尦閺屾稑饪伴崘顓烆伃婵炴潙鍚嬮崝妤冨垝濞嗘垟鍋撻敐搴濈敖閻庣懓顦甸弻锝夊閳哄啫甯ㄧ紓渚€浜舵禍璺虹暦濠靛鐓涢柛灞剧煯閹查箖姊洪悜鈺佷壕闁告柨绉撮妴鎺楀醇閺囩喎鍓瑰銈嗘尵婵敻鎮鹃柆宥嗙厸闁告劑鍔庨崺锝嗕繆椤愩儲纭堕柍褜鍓氶崘鑽ょ磽濮樿鲸顫曢柣褍鎸稴...
- HFSS闂佽瀛╅崘鑽ょ磽濮樺崬濮柛鏇ㄥ灠閺勩儳鐥鐐村闁哥偞鐓¢幃褰掑炊瑜嶉埛鏃堟煃鐠囨彃鎮戠紒楦挎铻栭柛鏇炵仛椤ワ拷
闂佽崵濮嶉崘顭戜痪缂備浇顔婇悞锔剧矙婢舵劕绠婚柟棰佺閺呮瑩姊洪悷鐗堟儓闁绘鍔欓、姘跺箮閼恒儲娅栭柣蹇曞仩濡嫬顕i崸妤佲拻闁割偅绋戦悘杈ㄣ亜閺傛妯€妤犵偞甯″畷宄扳枎缁傗娍闂備焦鐪归崝宀€鈧凹鍓氶幈銊モ槈閵忊€虫畱闂佽姤锚椤︽壆鈧碍鐓¢獮鏍偓娑櫳戦埛鎺楁煛娴i潧鈧繈寮鍥︽勃闁芥ê顦遍惄搴ㄦ⒑閸涘﹥鐓涢柡鍛矒瀹曟垵顓兼径濠勵槯闂侀潧艌閺呮粌顩奸妸褏纾兼い鏍ㄧ箓閸氬湱绱掗鑺ャ仢鐎规洜鍏樺璺衡枎閹兾ゅ┑鐐村灦濮婄粯鎱ㄩ悽鍨殰濠㈣埖鍔曠粻鍨亜閳ユ娊鏁猄S...
- CST闁诲海鏁婚崑濠囧窗濡ゅ啩鐒婃繝闈涙-閸熷懘鏌曟径鍫濃偓妤冪矙婵犲洦鍊垫鐐茬仢閳ь剚娲熼幃锛勬崉閵婏箑顎涘銈嗘尵閸犳劕鈻撳畝鈧槐鎺斺偓锝庝憾閸庡繑銇勯妸锔剧煂闁瑰弶顨婇弫鎾绘晸閿燂拷
闂備礁鎼ˇ顖溾偓娑掓櫅鍗遍柟瀛樼贩閾忓厜鍋撻敐鍌涙珔闁伙附绮撻幃瑙勬媴缁涘娈濈紓浣介哺缁诲牆鐣峰Δ鍛╅柍鍝勫€归妴鍐煟閻樿京顦︾€殿喛娉涢蹇曟缂嶇挆闂備礁鎲¢懝鍓р偓姘嵆婵℃潙顓兼径濠勵槷闂佺粯妫侀褔宕㈤幘顔界厱婵犲﹤鍟崇€氭澘霉閸忕厧濮夌紒顔界懅閳ь剨缍嗘禍鐐碘偓鐟邦樀閺岋綁濮€閳哄啫甯ㄧ紓浣介哺缁诲牆鐣峰┑瀣厸闁稿本鐭幉楣冩椤愩垺绁╅柛瀣躬閸┾偓妞ゆ帒鍊搁弸娆撴煕閵堝棛鐭岄柍褜鍓氶崘濠氭⒔閸曨厽鏆滃鑸靛姇缁犲灚銇勯垾鎰佹晬T闂佽崵濮抽悞锕€鐣峰鈧、姗€宕ㄦ繝鍐ㄥ妳闂佸搫鍟崐褰掑汲閿燂拷...
- 闂佽绻愮换鎰偓姘嵆閵嗗倿宕奸弴鐐存К闂佹儳绻楅鏍绩閵娾晜鐓曢柍鍝勫枤閺€鐗堛亜閺傚灝顏柟椋庡█瀹曟粏顦柡宀嬫嫹
濠电偞鍨堕幐绋棵洪敐鍥╃當闁逞屽墮铻栭柛灞炬儺閹达箑围濠靛倸鎽滃畵渚€鏌涢幇顒€绾ч柛鏇㈢畺閹顦查柛銈嗙墱濡叉劕鈹戦崶銊ゆ唉濠电偛妫楀ù鐑藉及閸岀偞鍋i柛銉戝啠鎸冮梺瀹狀嚙閸氬绮欐径瀣闁规鍠氶埥澶愭⒑闂堚晞绀嬮柛鏂跨焸閹啴鎮╃粵鍦煑闂佺懓顕崑娑滅亣闂備礁鎼悧婊堝垂閸洏鈧倿顢曢敃鈧弰銉╂煟閺冣偓閻忔碍绂嶉敐澶嬪€堕柣鎰摠缁€鍐倵濮樿鲸鏆柟铏~婵嬪礈瑜忛ˇ顕€姊洪悷鎵粵闁规悂顥撶划顓㈠川閺夋垿鏁滃┑顔斤供閸撴盯寮舵禒瀣厽闁靛ǹ鍎遍褏绱掑Δ浣瑰鞍缂佸顦~婵嬵敆閸屾碍鏆忕紓浣鸿檸閸樻悂宕戦敓锟�...
- 闁诲海鏁婚崑濠囧窗濡ゅ啩鐒婃繝闈涚墔閻掑﹪鏌涢弴銊ョ伇闁哄棎鍎茬换娑㈠级閹搭厼鍓堕梺闈╃稻濡炰粙鐛▎蹇e悑闁告洦鍘鹃埢鏇㈡⒑缁洘娅囨い銏狅躬椤㈡瑩宕熼鐔风彴闂佸憡鎸嗛埀顒勫蓟閵堝鐓曟慨姗嗗墰婢э附绻涙径娑欏
闂佽崵濮甸崝锕傚储濞差亜绠梺顒€绉寸憴锕傛煕椤愮姴鍔滈柤鑼█閺岋繝宕堕妸锔剧▏闂佹眹鍊曠€氫即鐛崱娑欏亼闁告侗鍨抽ˇ顔剧磽閸屾艾鏆為柛銊ф暬瀹曡鎯旈妸銉庛儱銆掑锝呬壕濡炪倧绲芥晶搴ㄥ箯椤愶箑鐭楁俊顖氭惈绾惧潡姊洪棃娑欘棛闁煎啿鐖兼俊闈涱潩椤戣姤鐏冮梺闈涚箳婵敻鎮甸妶澶嬬厪闁糕剝娲橀ˇ宄扒庨崶褝韬€规洩缍侀弻銊р偓锝庡墰閸╁秹姊洪幐搴b槈闁哄牜鍓熷畷鐟扳堪閸涱喖鏆繛杈剧到濠€杈ㄧ珶婢舵劖鐓涚€广儱顦藉Λ鎴犵磼閵娿儲鍋ラ柡灞芥嚇閺佹捇鏁撻敓锟�...
- 濠电姰鍨归悘鍫ュ疾濠靛鍚归幖绮规閸熷懘鏌曟竟顖楀亾闁哄被鍊濋幃浠嬵敍濮樺崬顣洪梺缁樻崄濞夋洟骞忕€n噮鏁囬柍钘夋濞堝墽绱撴担鍓插剰妞ゆ垵鎳橀妴鍐ㄢ堪閸涱喖鏅抽梺璺ㄥ櫐閹凤拷
闂備胶枪缁诲牓宕濋幋婵佺細闁规鍠楅崰鍡涙煥濠靛棙顥犻柍褜鍓濇慨銈咁嚗閸曨垰鐓涢柛鎰╁妽閻ゅ洭鏌i悩杈╁妽鐎规洘锕㈤、姗€骞栨担鐟颁哗闂佺硶鍓濋崙褰掑疮閸儲鐓曟繝濠傚暢鐎氫即鏌曢崶褜妲洪柣銉邯閹虫顢涢敐鍛珬闂佽崵濮崇拋鏌ュ焵椤掆偓绾绢參寮堕挊澹濆綊鏁愰崱娆戝箵缂備浇椴哥换鍫濈暦濠靛鐓涢柍褜鍓涚槐鐐参熺捄銊ф澑濡炪倖鍔ч懙褰掑磻閹剧粯鍋勭紒瀣硶娴滐綁姊婚崒妤€浜炬繝銏e煐閻℃洜绮堢€n亖妲堥柟缁㈠灠娴滈箖姊洪崨濠呭缂佸纾Σ鎰邦敇閻樼數鐓嬮梺閫炲苯澧撮柟顖氬暣瀹曠喖顢曢悩鍗炲毐缂傚倷鐒﹀畷姗€宕曟繝姘兼晩闁哄洨濮垫刊濂告煃閵夈儱甯犵紒鎲嬬悼缁辨帞鈧綆浜堕崕蹇曠磼濡炶浜�...
- 闂備礁缍婂ḿ褔顢栭崱妞绘敠闁逞屽墮椤潡宕瑰☉娆愮彇闂佹悶鍊曞ù鐑藉箯鐎n喖绠查柟浼存涧閹線姊虹化鏇熸珖妞ゃ垹锕、娆撳礋椤栨碍鐎┑鐐叉閸ㄧ喖寮婚敓锟�
闂備胶枪缁诲牓宕濋幋婵佺細闁规鍠楁刊濂告煠閼测晝绀嬮柟鐑橆殔缁犮儵鎮楅敐搴′簼缂併劍鑹鹃…鍧楀垂濞戞瑦鐝栭梺鎼炲€曞ù鐑藉箯鐎n喖绠查柟浼存涧閹線姊洪崨濠勭煀闁兼椿鍨虫禍鎼侇敋閳ь剟寮绘繝鍌ゅ悑闁搞儯鍔嶅В鍕煟閻樿精顒熼柛銊ф暬椤㈡瑩寮撮悩鍐差€涢梺瀹犳閹虫劗绮堟径濞㈡棃宕掑ù顒佸灩缁晠鎳¢妶鍡楁瀭闂佺硶鍓濇笟妤呭汲閵夆晜鐓忛柛鈩冩礃椤﹂绱掑Δ浣瑰暗闁逞屽墰椤㈠﹪宕洪弽褜鍟呴悹鎭掑妽鐎氭艾菐閸ャ劌顣抽柛瀣尰閹峰懘宕妷锔界钒濠电偞鎸婚懝楣冾敄閸儺鏁婂璺烘湰閸犲棝鏌ㄥ┑鍡楁殜闁稿鎸婚幏鍛存倻濡厧鍤遍梺鑽ゅ枑閻熴儵宕愰悷鎷旓絽螖閸愶絽浜炬繛鎴f珪鐎氾拷...
栏目分类