算法是計(jì)算機(jī)科學(xué)領(lǐng)域最重要的基石之一,但卻受到了國內(nèi)一些程序員的冷落。計(jì)算機(jī)語言和開發(fā)平臺日新月異,但萬變不離其宗的是那些算法和理論,例如數(shù)據(jù)結(jié)構(gòu)、算法、編譯原理、計(jì)算機(jī)體系結(jié)構(gòu)、關(guān)系型數(shù)據(jù)庫原理等。在“開復(fù)學(xué)生網(wǎng)”上,有位同學(xué)生動地把這些基礎(chǔ)課程比擬為“內(nèi)功”,把新的語言、技術(shù)、標(biāo)準(zhǔn)比擬為“外功”。整天趕時髦的人最后只懂得招式,沒有功力,是不可能成為高手的。
網(wǎng)絡(luò)時代的算法重要嗎
有人也許會說:“今天計(jì)算機(jī)這么快,算法還重要嗎?”其實(shí)永遠(yuǎn)不會有太快的計(jì)算機(jī),因?yàn)槲覀兛倳氤鲂碌膽?yīng)用。雖然在摩爾定律的作用下,計(jì)算機(jī)的計(jì)算能力每年都在飛快增長,價格也在不斷下降。可我們不要忘記,需要處理的信息量更是呈指數(shù)級增長。現(xiàn)在每人每天都會創(chuàng)造出大量數(shù)據(jù)(照片、視頻、語音、文本等)。日益先進(jìn)的記錄和存儲手段使我們每個人的信息量都在爆炸式增長?;ヂ?lián)網(wǎng)的信息流量和日志容量也在飛快增長。在科學(xué)研究方面,隨著研究手段的進(jìn)步,數(shù)據(jù)量更是達(dá)到了前所未有的程度。無論是三維圖形、海量數(shù)據(jù)處理、機(jī)器學(xué)習(xí)、語音識別,都需要極大的計(jì)算量。在網(wǎng)絡(luò)時代,越來越多的挑戰(zhàn)需要靠卓越的算法來解決。
再舉另一個例子。利用互聯(lián)網(wǎng)和手機(jī)搜索,如果要找附近的咖啡店,那么搜索引擎該怎么處理這個請求呢?最簡單的辦法就是把整個城市的咖啡館都找出來,然后計(jì)算出它們所在位置與你之間的距離,再進(jìn)行排序,然后返回最近的結(jié)果。但該如何計(jì)算距離呢?圖論里有不少算法可以解決這個問題。
這么做也許是最直觀的,但絕對不是最迅速的。如果一個城市只有為數(shù)不多的咖啡館,那么這么做應(yīng)該沒什么問題,反正計(jì)算量不大。但如果一個城市里有很多咖啡館,又有很多用戶都需要類似的搜索,那么服務(wù)器所承受的壓力就大多了。在這種情況下,我們該怎樣優(yōu)化算法呢?
首先,我們可以把整個城市的咖啡館做一次“預(yù)處理”。比如,把一個城市分成若干個“格子”,然后根據(jù)用戶所在的位置把他放到某一個格子里,只對格子里的咖啡館進(jìn)行距離排序。
問題又來了,如果格子大小一樣,那么絕大多數(shù)結(jié)果都可能出現(xiàn)在市中心的一個格子里,而郊區(qū)的格子里只有極少的結(jié)果。在這種情況下,我們應(yīng)該把市中心多分出幾個格子。更進(jìn)一步,格子應(yīng)該是一個“樹結(jié)構(gòu)”,最頂層是一個大格——整個城市,然后逐層下降,格子越來越小,這樣有利于用戶進(jìn)行精確搜索——如果在最底層的格子里搜索結(jié)果不多,用戶可以逐級上升,放大搜索范圍。
上述算法對咖啡館的例子很實(shí)用,但是它具有通用性嗎?答案是否定的。比如,用戶想去一個水庫玩,而一個水庫有好幾個入口,那么哪一個離用戶最近呢?這個時候,上述“樹結(jié)構(gòu)”就要改成“r-tree”,因?yàn)闃渲虚g的每一個節(jié)點(diǎn)都是一個范圍,一個有邊界的范圍。
通過這個小例子,我們看到,應(yīng)用程序的要求千變?nèi)f化,很多時候需要把一個復(fù)雜的問題分解成若干簡單的小問題,然后再選用合適的算法和數(shù)據(jù)結(jié)構(gòu)。
并行算法可以成為Google的核心優(yōu)勢
每天Google的網(wǎng)站要處理十億個以上的搜索,Gmail要儲存幾千萬用戶的2G郵箱,Google Earth要讓數(shù)十萬用戶同時在整個地球上遨游,并將合適的圖片經(jīng)過互聯(lián)網(wǎng)提交給每個用戶。如果沒有好的算法,這些應(yīng)用都無法成為現(xiàn)實(shí)。
在這些應(yīng)用中,哪怕是最基本的問題都會給傳統(tǒng)的計(jì)算帶來很大的挑戰(zhàn)。例如,每天都有十億以上的用戶訪問Google的網(wǎng)站,使用Google的服務(wù),也產(chǎn)生很多很多的日志(Log)。因?yàn)槿罩久糠置棵攵荚陲w速增加,我們必須找到好的辦法去處理。如何正確地對日志進(jìn)行分析處理?在目前看來,其處理速度都跟不上數(shù)據(jù)產(chǎn)生的速度。
在網(wǎng)絡(luò)時代,就算有最好的算法,也要能在并行計(jì)算的環(huán)境下執(zhí)行。而在Google的數(shù)據(jù)中心,我們使用的是超大的并行計(jì)算機(jī)。但傳統(tǒng)的并行算法運(yùn)行時,效率會在增加機(jī)器數(shù)量后迅速降低,也就是說,十臺機(jī)器如果有五倍的效果,增加到一千臺時也許就只有幾十倍的效果。這種事倍功半的代價是沒有哪家公司可以負(fù)擔(dān)得起的。而且,在許多并行算法中,只要一個結(jié)點(diǎn)犯錯誤,所有計(jì)算都會前功盡棄。