有關英國高校的評估和調(diào)查可謂是五花八門，種類繁多。大學生滿意度調(diào)查（National Student Survey，NSS）是其中一項比較重要的調(diào)查，其調(diào)查結果被用于許多排名的指標（問卷的內(nèi)容見文后）。該調(diào)查始于2005年，主要目的是調(diào)查學生對大學各方面的看法及各種預期的滿意程度，并以此作為改善學校與學生之間的關系，促進學校發(fā)展，指導新生選擇學校的一個重要手段。然而，關于學生滿意度調(diào)查的結果是否有效卻存在爭議。
　　
　　2008年5月，剛剛離職的英國高等教育研究所前所長李·哈維（Lee Harvey）先生公開批評英國大學生滿意度調(diào)查，他認為該調(diào)查不僅浪費大量資金，而且無效，具體原因如下。
　　第一，大學生滿意度調(diào)查由于容易被操縱，因此帶有欺騙性而無效。金斯頓大學一名心理學高級講師就曾公開勸告學生，大學生滿意度調(diào)查非常重要，如果學校在這項評估中墊底，將會影響學生的就業(yè)前景。該教師建議學生適度抬高評估分數(shù)，理由是其他學校也會這樣做。事實的確如此。2008年初，倫敦都市大學商學院向學生發(fā)布專文，告誡學生在大學生滿意度調(diào)查中的回應將影響學校的聲譽以及學生本人的前途。昂格利亞拉斯金大學校長也給教師寫信，讓全體教師為該調(diào)查做好學生工作。
　　第二，大學生滿意度調(diào)查是建立在荒謬心理學基礎上的偽科學。該調(diào)查不僅取樣小，而且只包括一些“同意”和“不同意”的選項，以這些所謂的量度來衡量學校和個人發(fā)展是不全面不科學的。大學生滿意度調(diào)查的要旨是學生觀點的指標體系，盡管剛開始設立時強調(diào)該調(diào)查不是為了檢查學生是否滿意，同時也強調(diào)這項調(diào)查不用于學校排名，可實際情況卻恰恰相反。學生滿意度調(diào)查的結果除了用來給學科和學校排名之外，其他一點作用都沒有；而且排名也是無意義的，因為大多數(shù)學校都因為調(diào)查取樣誤差而在排名上受到影響。
　　早在20世紀60年代，哥倫比亞大學定量社會學家保羅·拉扎斯菲爾德（Paul Lazarsfeld）就提出了定量評估的理論以展示純實用的量度選擇。繼而，他又撰寫了初創(chuàng)性的論文《指標之間的可交換性》作為理論指導，而英國大學生滿意度調(diào)查問卷忽視了指標轉換問題，僅僅采取量度方式來顯示統(tǒng)計學上的信度是不科學的。
　　第三，滿意度調(diào)查的關鍵問題不在于信度，而在于效度，英國大學生滿意度調(diào)查所缺的恰恰就是效度。效度是關于問卷中的問題是否能夠提供有效的指標體系，而不僅僅是得到令人滿意的統(tǒng)計數(shù)字。由于問卷充滿一系列乏味的問題，因此大學生滿意度調(diào)查至多是一種妥協(xié)。將這些問題排列成數(shù)值，并以此來測量復雜的概念，這種做法是可笑的。
　　雖然滿意度調(diào)查存在著許許多多的問題，但還是有人荒謬地根據(jù)滿意度調(diào)查的結果對高?；驅I(yè)進行排名，以至于誤導了許多學生和家長。
　　第四，大學生滿意度調(diào)查本應成為學校改進的一個工具，但是該調(diào)查因為太寬泛、太注重排名而無法實現(xiàn)其宗旨。因為沒有考慮學校的特殊背景和設置情況，所以調(diào)查所得出的泛泛的量度分數(shù)是不可能成為學校有效的改進工具的。如果滿意度調(diào)查采納學生真正關心的問題，就可以準確地探出問題所在，而現(xiàn)行的調(diào)查對象通常只是針對即將進入大學最后一年的學生，其調(diào)查結果并不具有普遍意義。以局限的學生滿意度對大學進行排名，而不是改進學生的在校經(jīng)歷，這完全背離了調(diào)查的初衷。
　　學生滿意度調(diào)查不僅體系龐大，而且耗費巨大。其實，將這些資金投入到真正改善服務質(zhì)量等方面也許更有意義。就像許多播客指出的那樣，政府羅列學校排名和成績的做法是令人懷疑的，雖然學校的排名可以根據(jù)評分標準而發(fā)生變化，可是學校的服務質(zhì)量和效率卻不會因此而改進。
　　調(diào)查是對學生觀點的調(diào)查，但實際上，這項調(diào)查太淺顯，易于被濫用而導致無用。好的調(diào)查需要學生參與，以發(fā)現(xiàn)學生真正從高等教育中所獲取的經(jīng)驗，而不是列出一些與學生毫不相干的指標體系，這樣做并不能解決學生們優(yōu)先考慮的重點問題。
　　更糟的是，學生滿意度調(diào)查結果在具有政府性質(zhì)的unistat網(wǎng)站上公布，使人誤以為它們是一些定性指標，誤導了潛在學生過于嚴肅地看待這些調(diào)查結果。
　　李·哈維的觀點也許過于偏激，但是他所指出的問題卻是存在的，這對中國今后設計相關調(diào)查也許有借鑒意義。