1. 人臉相似性

不同個體之間的區別不大，所有的人臉的結構都相似，甚至人臉器官的結構外形都很相似。這樣的特點對于利用人臉進行定位是有利的，但是對于利用人臉區分人類個體是不利的。

以模仿某個明星為目標的化妝、整容等人為因素加大了這個問題的難度。尤其是雙胞胎的問題，人臉識別系統究竟能不能正確的識別出來，這個其實在學術界也是有爭論的。有專家認為雙胞胎根本不應該靠人臉識別技術進行分辨，它是沒法用人臉識別技術來準確進行區分的。

2. 人臉防偽

偽造人臉圖像進行識別的主流欺騙手段是建立一個三維模型，或者是一些表情的嫁接。隨著人臉防偽技術的完善、3D面部識別技術、攝像頭等智能計算視覺技術的引入，偽造面部圖像進行識別的成功率會大大降低。

3. 動態識別

非配合性人臉識別的情況下，運動導致面部圖像模糊或攝像頭對焦不正確都會嚴重影響面部識別的成功率。在地鐵、高速公路卡口、車站卡口、超市反扒、邊檢等安保和監控識別的使用中，這種困難明顯突出。

4. 樣本缺乏

基于統計學習的人臉識別算法是目前人臉識別領域中的主流算法，但是統計學習方法需要大量的訓練。由于人臉圖像在高維空間中的分布是一個不規則的流形分布，能得到的樣本只是對人臉圖像空間中的一個極小部分的采樣，如何解決小樣本下的統計學習問題有待進一步的研究。此外，現在參與訓練的人臉圖像庫基本都是外國人的圖像，有關中國人、亞洲人的人臉圖像庫少之又少，給訓練人臉識別模型增加了難度。

5. 圖像質量問題

人臉圖像的來源可能多種多樣，由于采集設備的不同，得到的人臉圖像質量也不一樣，特別是對于那些低分辨率、噪聲大、質量差的人臉圖像（如手機攝像頭拍攝的人臉圖片、遠程監控拍攝的圖片等）如何進行有效地人臉識別是個需要關注的問題。同樣的，對于高分辨圖像對人臉識別算法的影響也需要進一步的研究。現在，我們在人臉識別時，一般采用的都是相同尺寸，清晰度很接近的人臉圖片，所以圖像質量問題基本可以解決，但是面對現實中更加復雜的問題，還需要繼續優化處理。