張洪博

（華僑大學 計算機科學與技術學院，福建 廈門 361021）

大學多媒體信息檢索課程教學探索

張洪博

（華僑大學 計算機科學與技術學院，福建 廈門 361021）

針對當前高等院校計算機專業(yè)中多媒體信息檢索課程的教學現(xiàn)狀以及存在的問題，闡述本科生開設多媒體信息檢索課程的必要性，提出適合本科生素質培養(yǎng)的理論和實驗教學方案，將理論教學內容分為多媒體信息處理技術和信息檢索技術兩部分；通過采用Opencv作為實驗教學平臺，提升學生的實踐能力。

多媒體信息檢索；多媒體信息處理技術；信息檢索技術；Opencv

0 引 言

隨著多媒體信息技術的發(fā)展和普及，信息傳播的載體從傳統(tǒng)的以文本為主的方式轉變?yōu)閳D像，視頻，語音以及文本等多元化載體的方式，計算機學科所研究的對象也從傳統(tǒng)的數(shù)值和文本擴展到了圖像，視頻，語音等多媒體數(shù)據(jù)。多媒體信息檢索技術已經成為當前計算機技術發(fā)展的熱點之一。多媒體信息技術的產業(yè)也成為了目前計算機產業(yè)中的核心產業(yè)之一。許多新興的應用都可以歸納到這個范疇之內，如人臉識別；目標檢測、跟蹤和識別；多媒體搜索引擎；移動視覺搜索等。因此在學科發(fā)展和產業(yè)人才需求的推動下，在本科生開設多媒體信息檢索對提升學生的行業(yè)競爭力，促進多媒體技術以及信息檢索技術在社會生活中的應用有著重要意義。

所謂的多媒體信息檢索，根據(jù)用戶的輸入，從數(shù)據(jù)源中檢索到用戶需要的信息，相對于傳統(tǒng)的信息檢索，多媒體信息檢索的用戶輸入方式不僅僅是簡單的文字方式，可以是圖像，視頻和語音等多媒體形式，其結果也是可以多媒體的形式展示。然而，目前與多媒體信息檢索技術相關的大多數(shù)課程，如圖像處理，計算機視覺，語音信號處理，搜索引擎，機器學習和模式識別等，在研究生階段才有系統(tǒng)的學習，這些課程在本科生教育較少開設，或者部分課程以選修課的形式出現(xiàn)；同時并沒有適合本科生學習的教材和內容。本文在此對本科生多媒體信息檢索課程的教學進行探討，包括理論課程內容和實驗課程的設計；以及與之相應的教學方式。

1 多媒體信息檢索課程的必要性

近5年來，人工智能技術開始從實驗室走入到了市場應用中，尤其智能設備的覆蓋面越來越廣，多媒體信息技術相關產業(yè)發(fā)展快速，其應用覆蓋了到工業(yè)生產，個人電腦，手機，相機等各種設備。例如在工業(yè)產品生產流水線中基于視覺的產品檢測就是多媒體信息檢索技術的應用之一；個人手機或者安全系統(tǒng)中的人臉識別，是通過輸入人臉圖像檢索其身份，也是多媒體信息檢索技術的典型應用；還有百度，谷歌，必應等搜索網站圖像、視頻和數(shù)字圖書館，地理和醫(yī)學數(shù)據(jù)圖庫等都是多媒體信息檢索技術最直接應用的產業(yè)。這些產業(yè)在近幾年有了一個爆炸性的增長，同時又是新興產業(yè)，發(fā)展后勁十足。對面這樣的行業(yè)環(huán)境，要求高校在培養(yǎng)計算機專業(yè)人才，有必要開設多媒體信息檢索技術類的課程，以完善大學計算機課程體系［4］以及滿足行業(yè)對人才的需求，推動行業(yè)發(fā)展。而本科生教育是目前行業(yè)人才供應的主要“源泉”，在本科教育階段開設這類課程的教學，同時有助于提高學生創(chuàng)新能力、思考能力和競爭力。

2 多媒體信息檢索課程教學現(xiàn)狀分析

目前，在國內開設多媒體信息檢索課程或者類似的課程的高校較少，或者部分課程以選修課程的形式開設。隨著產業(yè)的發(fā)展，部分高校也開始設置多媒體信息檢索的課程，尤其是近幾年，許多高校設置了數(shù)字媒體技術專業(yè)，多媒體信息處理類的課程也出現(xiàn)在了部分本科生的日常教學中，例如廈門大學、清華大學、哈爾濱工業(yè)大學、南京大學等開設的圖像處理，計算機視覺以及機器學習課程。同時，這些課程都開設在本科生的高年級階段。

這類的課程采用的都是研究生的教材或者國外翻譯的教材，這些教材并不適合本科生閱讀和學習；同時各個高校同樣的課程，教授的內容也不盡相同，缺少一個好的適合本科生的教材，這成為了制約多媒體信息檢索課程發(fā)展的一個瓶頸。例如，常用的多媒體信息處理的教材非常多，對于圖像數(shù)據(jù)處理教材有：《數(shù)字圖像處理》岡薩雷斯著、《圖像處理、分析與機器視覺》桑卡著、《Computer vision: Algorithms and Applications》Richard Szeliski著等；文本和語音處理教材有：《中文文本信息處理的原理和應用》苗奪謙著、《統(tǒng)計自然語言處理》宗成慶著、《本本和語音處理系統(tǒng)評測》戴布克耶等；信息檢索方面的教材有：《現(xiàn)代信息檢索》Ricardo著、《搜索引擎，信息檢索實踐》克羅夫特著、《機器學習》米歇爾著、《模式識別》Sergios著；同時還有許多相關的教材。

多媒體信息檢索課程才剛開始進入本科生的課堂，而且目前缺少合適的教材，使得更系統(tǒng)、更有針對性的教授這門課變得更加困難。

3 本科生多媒體信息檢索課程的教學方案

多媒體信息檢索課程需要理論與實踐并重的教學方式，總課時為48學時，其中理論教學36學時，實驗課12學時。同時該課程要求學生具有一定的程序設計基礎，和基本計算機專業(yè)知識，因此該課程開設的時間應在本科生三年級階段最佳。具體的教學內容如下：

理論課程講授的內容分成2部分：多媒體信息處理技術和信息檢索技術。

3.1 多媒體信息處理技術

3.1.1 文本數(shù)據(jù)的基本方法及其發(fā)展（4學時）

（1.1） 文本處理的基本方法

（1.2） 文本處理的基本發(fā)展

（1.3） 文本處理的研究現(xiàn)狀

（1.4） 文本分類與信息檢索

3.1.2 圖像/視頻數(shù)據(jù)處理技術（12學時）

（2.1） 基本圖像特征抽取方法

（2.2） 邊緣檢測方法

（2.3） SIFT特征與HOG特征

（2.4） 視頻中的二維分析

（2.5） 人臉檢測與識別

3.1.3 語音信號的特征提?。?學時）

（3.1）聲學特征

（3.2）聲學模型

（3.3）語音搜索技術

（3.4）線性預測參數(shù)

3.2 信息檢索技術

3.2.1 聚類分析（4學時）

（1.1）相似性度量

（1.2）劃分方法

（1.3）層次聚類方法

（1.4）基于密度的聚類

（1.5）基于網格方法

（1.6）基于模型方法

（1.7）蟻群聚類方法

（1.8）粒度計算

3.2.2 索引與檢索（4學時）

（2.1）索引和搜索的概念

（2.2）倒排文件索引

（2.3）詞匯表存取方法

（2.4）后綴數(shù)組索引

（2.5）簽名文件索引

（2.6）單模式匹配算法

3.2.3 信息檢索模型（4學時）

（3.1）布爾模型，擴展的布爾模型

（3.2）向量空間模型，

（3.2）概率模型和基于語言模型的信息檢索模型的區(qū)別和聯(lián)系

3.3 實驗課程

實驗課程采用OpenCV作為實驗平臺；OpenCV是一個基于開源發(fā)行的跨平臺的應用程序庫，實現(xiàn)了許多數(shù)據(jù)檢索，模式識別，機器學習以及圖像視頻語音等數(shù)據(jù)處理的算法［6］。目前在許多企業(yè)和項目開發(fā)中也逐步投入使用。實驗課程的設置如表1。

4 結 語

本文針對現(xiàn)階段本科生教育中多媒體信息檢索類課程開設的現(xiàn)狀，論述開設此類課程的必要性，提出多媒體信息檢索課程教學方案，以促進該課程在本科生教育的推廣。

表1 多媒體信息檢索課程設置

［1］劉晶,張翀.新形勢下影響高校計算機教學質量提高的因素及改革路徑［J］.才智,2013(36):151-152.

［2］于瑩.高校計算機教學思路及方法探討［J］.計算機光盤軟件與應用,2013(23):223-224.

［3］林華.以數(shù)字媒體思維提升MOOC教學［J］.計算機教育,2014(23):25-28.

10.3969/j.issn.1673 - 0194.2015.18.181

G642

A

1673-0194(2015)18-0249-02

2015-07-21

福建省自然科學基金資助項目（2015J01253）；華僑大學啟動基金（13BS409）。