盡管ChatGPT和其他大型語言模型取得了巨大的成(chéng)功，但支撐這(zhè)些系統的人工神經(jīng)網絡（Artificial Neural Networks，簡稱ANNs）可能(néng)正在走錯方向(xiàng)。

首先，人工神經(jīng)網絡“非常耗電”，馬裡(lǐ)蘭大學(xué)的計算機科學(xué)家康妮莉娅·費米勒（Cornelia Fermüller）表示，“此外它們還(hái)缺乏透明度”。這(zhè)些系統非常複雜，沒(méi)有人真正理解它們在做什麼(me)，或者爲什麼(me)能(néng)夠如此出色地工作。然而，這(zhè)也導緻它們幾乎不可能(néng)像人類一樣(yàng)通過(guò)類比來推理，用符号來表示對(duì)象、觀念以及它們之間的關系。

這(zhè)些缺陷可能(néng)源自當前人工神經(jīng)網絡的結構和構建單元：個别的人工神經(jīng)元。每個神經(jīng)元接收輸入，執行運算，并産生輸出。現代神經(jīng)網絡是由這(zhè)些計算單元構成(chéng)的複雜網絡，經(jīng)過(guò)訓練以執行特定任務。

然而，人工神經(jīng)網絡的局限性早已顯而易見。例如，想象一個能(néng)夠區分形狀（圓形和正方形）的神經(jīng)網絡。一種(zhǒng)方法是在其輸出層中使用兩(liǎng)個神經(jīng)元，一個表示圓形，另一個表示正方形。如果我們還(hái)需要這(zhè)個神經(jīng)網絡辨别形狀的顔色（藍色或紅色），就需要四個輸出神經(jīng)元：分别代表藍色圓形、藍色正方形、紅色圓形和紅色正方形。更多的特征意味著(zhe)需要更多的神經(jīng)元。

自然世界充滿各種(zhǒng)變化，這(zhè)不可能(néng)是我們的大腦感知自然世界的方法。加州大學(xué)伯克利分校的神經(jīng)科學(xué)家布魯諾·奧爾斯豪森（Bruno Olshausen）表示：“否則你必須假設，每個可能(néng)的組合在你的大腦中都(dōu)有一個對(duì)應的檢測神經(jīng)元。比如說，專門檢測紫色大衆汽車的神經(jīng)元。”

-DeepMind Design -

相反，奧爾斯豪森和其他人認爲，大腦中的信息是由許多神經(jīng)元的活動所表示的。因此，對(duì)于紫色大衆汽車的感知并不是通過(guò)單個神經(jīng)元的活動編碼，而是成(chéng)千上萬個。同一組神經(jīng)元以不同的方式激活，可以代表完全不同的概念，比如粉色凱迪拉克。

這(zhè)是一種(zhǒng)被(bèi)稱爲超維度計算（hyperdimensional computing）的徹底不同的計算方法的起(qǐ)點。關鍵在于，每個信息片段，例如汽車這(zhè)個概念，它的品牌、型号或顔色，或者所有這(zhè)些的綜合，都(dōu)被(bèi)表示爲一個單獨的實體：一個超維度向(xiàng)量。

向(xiàng)量簡單來說就是一組有序的數字數組。例如，一個三維向(xiàng)量由三個數字組成(chéng)：三維空間中一個點的x、y和z坐标。一個超維度向(xiàng)量，或者稱爲超向(xiàng)量，可以是一個包含一萬個數字的數組，用來表示一萬維空間中的一個點。這(zhè)些數學(xué)對(duì)象及其操作代數足夠靈活和強大，可以將(jiāng)現代計算推向(xiàng)超越某些當前限制的新領域，并促進(jìn)一種(zhǒng)新的人工智能(néng)方法的發(fā)展。

“這(zhè)是我整個職業生涯中最令我興奮的事(shì)情，”奧爾斯豪森說道(dào)。對(duì)他和許多其他人來說，超維度計算承諾了一個全新的世界，在這(zhè)個世界中，計算高效而穩健，機器決策完全透明。

- Mikael MOUNE -

進(jìn)入高維空間

爲了理解超向(xiàng)量如何實現計算，讓我們回到有紅色圓形和藍色正方形的圖像。首先，我們需要向(xiàng)量來表示變量“形狀”和“顔色”。然後(hòu)，我們還(hái)需要向(xiàng)量來表示可以分配給這(zhè)些變量的值：“圓”、“正方形”、“藍色”和“紅色”。

這(zhè)些向(xiàng)量必須是不同的。這(zhè)種(zhǒng)不同可以通過(guò)一種(zhǒng)名爲正交性的屬性來量化，它表示彼此垂直。在三維空間中，有三個相互垂直的向(xiàng)量：一個沿著(zhe)x方向(xiàng)，另一個沿著(zhe)y方向(xiàng)，第三個沿著(zhe)z方向(xiàng)。在一萬維空間中，有一萬個這(zhè)樣(yàng)相互正交的向(xiàng)量。

但是，如果我們允許向(xiàng)量近似正交，那麼(me)在高維空間中這(zhè)樣(yàng)的不同向(xiàng)量的數量會急劇增加。在一萬維空間中，存在數百萬個近似正交的向(xiàng)量。

現在讓我們創建不同的向(xiàng)量來表示“形狀”、“顔色”、“圓形”、“正方形”、“藍色”和“紅色”。由于在高維空間中存在許多可能(néng)近似正交的向(xiàng)量，我們可以簡單地分配六個随機向(xiàng)量來表示這(zhè)六個項目；它們幾乎可以确保是近似正交的。加州大學(xué)伯克利分校紅木中心理論神經(jīng)科學(xué)研究員彭蒂·卡内爾瓦（Pentti Kanerva）在2009年的一篇有影響力的論文中寫道(dào)：“制作近似正交向(xiàng)量的簡便，是使用超維度表示的主要原因之一。”

加州大學(xué)伯克利分校神經(jīng)科學(xué)研究員彭蒂·卡内爾瓦（左）與布魯諾·奧爾斯豪森

—

Chris Kymn

這(zhè)篇論文是基于20世紀90年代中期彭蒂·卡内爾瓦和托尼·普拉特（Tony Plate）的工作而建立的。當時，托尼·普拉特是傑夫·辛頓（Geoff Hinton）在多倫多大學(xué)的博士生。這(zhè)兩(liǎng)位獨立地開(kāi)發(fā)了用于操作超向(xiàng)量的代數，并暗示了它在高維計算中的用處。

有了彭蒂·卡内爾瓦和托尼·普拉特開(kāi)發(fā)的系統，我們可以對(duì)我們創建的形狀和顔色的超向(xiàng)量進(jìn)行某些數學(xué)運算的操作。這(zhè)些操作對(duì)應著(zhe)符号化的操作概念。

第一個操作是乘法。這(zhè)個操作用于組合概念。例如，將(jiāng)形狀向(xiàng)量與圓形向(xiàng)量相乘，結合以表示"形狀是圓形"的概念。這(zhè)個新的"結合"向(xiàng)量與形狀和圓形向(xiàng)量都(dōu)近似正交。如果我們想要從結合向(xiàng)量中提取信息，結合向(xiàng)量有一個重要的特征，就是它的組成(chéng)成(chéng)分可以恢複。給定代表大衆汽車的結合向(xiàng)量，我們可以解除結合并取回其顔色向(xiàng)量：紫色。

第二個操作是加法。這(zhè)個操作能(néng)創建表示概念疊加的新向(xiàng)量。例如，將(jiāng)兩(liǎng)個結合向(xiàng)量“形狀是圓形”和“顔色是紅色”相加，以創建一個表示紅色圓形的向(xiàng)量。同樣(yàng)，疊加向(xiàng)量可以分解爲其組成(chéng)部分。

第三個操作是排列。這(zhè)個操作涉及重新排列向(xiàng)量的各個元素。例如，如果有一個标有x、y和z的三維向(xiàng)量，排列可以將(jiāng)x的值移到y，將(jiāng)y的值移到z，將(jiāng)z的值移到x。“排列讓你得以建立結構，”彭蒂·卡内爾瓦說。“你可以處理發(fā)生順序有時間先後(hòu)的連續事(shì)件。”比如有兩(liǎng)個由超向(xiàng)量A和B表示的事(shì)件。我們可以將(jiāng)它們疊加成(chéng)一個向(xiàng)量，但這(zhè)樣(yàng)會破壞事(shì)件的順序信息。將(jiāng)加法和排列組合起(qǐ)來使用，可以保存順序。通過(guò)逆向(xiàng)操作，可以按順序獲取這(zhè)些事(shì)件。

綜合而言，這(zhè)三個操作足以創建超向(xiàng)量的形式代數（formal algebra），從而實現符号推理。但是許多研究人員都(dōu)需要很長(cháng)才能(néng)理解超維度計算的潛力，包括彭蒂·卡内爾瓦。“超維度計算還(hái)沒(méi)有被(bèi)完全理解”，他說道(dào)。

- Mikael MOUNE -

利用力量

在2015年，奧爾豪森的學(xué)生埃裡(lǐ)克·韋斯（Eric Weiss）展示了超維度計算獨特能(néng)力的一個方面(miàn)。韋斯發(fā)現了如何將(jiāng)複雜圖像表示爲單個超維度向(xiàng)量，其中包含關于圖像中所有對(duì)象的信息，包括它們的屬性，如顔色、位置和大小。

“我幾乎從椅子上摔下來，”奧爾豪森說道(dào)。“突然之間燈泡亮了。”

不久，更多團隊開(kāi)始開(kāi)發(fā)超維度算法來複現深度神經(jīng)網絡在大約二十年前開(kāi)始解決的簡單任務，例如圖像分類。

考慮一個包含手寫數字圖像的标注數據集。算法使用某種(zhǒng)預定的方案分析每個圖像的特征，然後(hòu)爲每個圖像創建一個超向(xiàng)量。接下來，算法將(jiāng)所有零的超向(xiàng)量相加，創建表示零的超向(xiàng)量。然後(hòu)對(duì)所有數字做同樣(yàng)的操作，創建10個“類别”超向(xiàng)量，每個數字一個。

現在，算法給出一個無标簽的圖像。它爲這(zhè)個新圖像創建一個超向(xiàng)量，然後(hòu)將(jiāng)超向(xiàng)量與存儲的類别超向(xiàng)量進(jìn)行比較。這(zhè)個比較确定新圖像與哪個數字最相似。

蘇黎世 IBM 研究院的計算機科學(xué)家阿巴斯·拉希米

—

Abbas Rahimi

然而，這(zhè)隻是一個開(kāi)始。超維度計算的優勢在于能(néng)夠組合和分解超向(xiàng)量進(jìn)行推理。最新的演示是在今年三月，當時阿巴斯·拉希米（Abbas Rahimi）和他在IBM瑞士研究中心的同事(shì)們使用超維度計算結合神經(jīng)網絡解決了一個抽象視覺推理中的經(jīng)典問題——這(zhè)對(duì)于典型的人工神經(jīng)網絡甚至一些人類來說都(dōu)是一個重大挑戰。這(zhè)個問題被(bèi)稱爲雷文漸進(jìn)矩陣（Raven's progressive matrices），它展示了幾何對(duì)象的圖像，比如在一個3×3的網格中，其中一個位置是空白的。研究對(duì)象必須從一組候選圖像中選擇最适合空白位置的圖像。

“我們說，‘這(zhè)真的是……視覺抽象推理的殺手級例子，我們來試試吧。’”拉希米說。

爲了使用超維度計算解決這(zhè)個問題，團隊首先創建了一個超向(xiàng)量字典，用于表示每個圖像中的對(duì)象；字典中的每個超向(xiàng)量代表一個對(duì)象及其屬性的某種(zhǒng)組合。然後(hòu)，團隊訓練了一個神經(jīng)網絡，用于檢查圖像并生成(chéng)一個雙極超向(xiàng)量（元素可以是+1或-1），使其盡可能(néng)接近字典中超向(xiàng)量的某種(zhǒng)疊加；生成(chéng)的超向(xiàng)量因此包含有關圖像中所有對(duì)象及其屬性的信息。“你引導神經(jīng)網絡進(jìn)入一個有意義的概念空間，”拉希米說道(dào)。

一旦網絡爲每個上下文圖像和每個空白位置的候選圖像生成(chéng)了超向(xiàng)量，另一個算法會分析超向(xiàng)量，創建每個圖像中對(duì)象數量、大小和其他特征的概率分布。這(zhè)些概率分布反映了上下文和候選圖像的可能(néng)特征，可以轉化爲超向(xiàng)量，從而利用代數學(xué)預測最有可能(néng)填補空白位置的候選圖像。

在一個問題集上，他們的方法準确率接近88%，而僅使用神經(jīng)網絡的解決方案準确率不到61%。該團隊還(hái)展示了，在3×3網格中，他們的系統比傳統的使用符号邏輯規則推理的方法快了近250倍，因爲後(hòu)者必須搜索一本龐大的規則書才能(néng)确定下一步的正确策略。

-Myriam Wares -

一個有希望的開(kāi)端

超維度計算不僅賦予我們解決符号問題的能(néng)力，而且還(hái)解決了傳統計算中的一些棘手問題。當出現由随機位翻轉引起(qǐ)的錯誤（例如0變爲1或反之）無法被(bèi)内置的糾錯機制糾正時，如今的計算機性能(néng)會迅速下降。此外，這(zhè)些糾錯機制可能(néng)會對(duì)性能(néng)造成(chéng)高達25%的損失，來自維拉諾瓦大學(xué)的計算機科學(xué)家焦遜（音譯，Xun Jiao）表示。

超維度計算對(duì)錯誤的容忍度更高，因爲即使一個超向(xiàng)量遭受了大量的随機位翻轉，它仍然接近于原始向(xiàng)量。這(zhè)意味著(zhe)在面(miàn)對(duì)錯誤時，使用這(zhè)些向(xiàng)量進(jìn)行推理不會受到實質性的影響。焦遜的團隊已經(jīng)證明，與傳統人工神經(jīng)網絡相比，這(zhè)些系統對(duì)硬件故障的容錯能(néng)力至少高出10倍，而傳統人工神經(jīng)網絡已經(jīng)比傳統計算架構的容錯能(néng)力高出數個數量級。“我們可以利用所有這(zhè)些容錯性來設計一些高效的硬件，”焦遜說道(dào)。

超維度計算的另一個優點是透明性：代數運算清楚地告訴你系統爲什麼(me)選擇了特定的答案。而對(duì)于傳統神經(jīng)網絡來說，情況并非如此。奧爾豪森、拉希米和其他人正在開(kāi)發(fā)混合系統，其中神經(jīng)網絡將(jiāng)物理世界中的事(shì)物映射到超向(xiàng)量中，然後(hòu)由超維度代數接管處理。“類比推理之類的事(shì)情變得輕而易舉，”奧爾豪森說道(dào)。“這(zhè)是我們對(duì)任何人工智能(néng)系統的期望。我們應該能(néng)夠像理解飛機或電視機一樣(yàng)理解它。”

所有這(zhè)些相對(duì)于傳統計算的優勢表明，超維度計算非常适合用于新一代極其堅固、低功耗的硬件。它還(hái)與“内存計算系統（in-memory computing system）”兼容，這(zhè)些系統在存儲數據的硬件上執行計算（與現有的馮·諾伊曼計算機不同，後(hòu)者在内存和中央處理單元之間低效地傳輸數據）。其中一些新設備可以是模拟設備，以非常低的電壓運行，使其具有高能(néng)效，但也容易受到随機噪聲的影響。對(duì)于馮·諾伊曼計算而言，這(zhè)種(zhǒng)随機性是“無法逾越的障礙”，奧爾豪森說。但是通過(guò)超維度計算，“你可以突破這(zhè)個障礙。”

盡管具有這(zhè)樣(yàng)的優勢，超維度計算仍處于它的初級階段。“這(zhè)裡(lǐ)有真正的潛力，”費爾米勒說道(dào)。但她指出，超維度計算仍然需要在真實世界的問題中，以更大的，接近現代神經(jīng)網絡的規模測試。

“解決大規模問題，需要非常高效的硬件，”拉希米說。“例如，如何高效地搜索10億個項目？”

所有這(zhè)些都(dōu)需要時間，卡内爾瓦表示。“高維空間還(hái)隐藏著(zhe)其他秘密，”他說道(dào)。“我認爲這(zhè)隻是使用向(xiàng)量進(jìn)行計算的起(qǐ)點。”

後(hòu)記

本篇是神經(jīng)現實舉辦的“機器翻譯”大賽的第03篇，後(hòu)續會有更多本比賽的作品出爐。如果你對(duì)訓練ChatGPT做翻譯有信心，也歡迎將(jiāng)你的作品投稿給我們，郵箱neureality@outlook.com。（點擊此處，閱讀原稿機器翻譯對(duì)比版本）

蘇木彎：我覺得機器翻譯很适合趕ddl，比起(qǐ)傳統機器翻譯，更快更好(hǎo)（地蒙混過(guò)關）。但是還(hái)是有很多細節的地方需要人工來調。如果不改，能(néng)一眼看出是機器翻譯，不能(néng)放心地使用。或者有一些要求，比如翻譯的格式，就算給了prompt也不能(néng)很統一。也可能(néng)是我的prompt能(néng)力需要提高。總而言之，對(duì)這(zhè)種(zhǒng)泛泛而談的科普文章，人工也不能(néng)做得多出彩，而機器翻譯效率高，勝于人工翻譯我覺得。