新北市學車交流論壇

標題: 2023年AI十大展望:GPT [打印本頁]

作者: admin 時間: 2024-4-24 17:47
標題: 2023年AI十大展望:GPT
新年伊始，大模子的话题热度不减。2022年11月尾，ChatGPT展示的惊人能力将大模子@鑽%cRh38%研和利%A8f1D%用@热度推向飞腾，人們剧烈會商着這個高档“物種”的推出象征着甚麼，好比是不是會倾覆搜刮引擎市場款式。踏入2023年，這不由讓咱們對GPT-4的公布布满联想，它會比ChatGPT更上一层楼嗎？會有哪些纷歧样的欣喜？

岁末年頭之際，科技圈的年度清點不乏其人，相干技能展望却是未几。本文作者Rob Toews公布了2023年AI成长的十大展望，总體来看，大部門展望都离不開“大模子”這個关頭词，详细阐發也有其事理。固然，此中的文生图、人形呆板人等范畴的成长也举足輕重。2023，讓咱們拭目以待。

作者｜Rob Toews
翻译｜杨婷、徐佳渝

1

GPT-4是OpenAI的新一代天生说话模子，它有着壮大的功效，近来處處傳播着它的動静。

GPT-4估计将在2023年年頭公布，相较于GPT-3和3.5，GPT-4的機能有着跳跃式的晋升。虽然近来有关ChatGPT的會商正在火热朝六合举行，但比拟GPT-4，這只是前奏罢了，讓咱們拭目以待！

GPT-4 會是甚麼模样的呢？與人們的直觉分歧，咱們展望它不會比其前身GPT-3大太多。在本年早些時辰颁發的一篇有影响力的鑽研论文（
）中，DeepMind鑽研职員称如今的大型说话模子现實上比原本應當有的巨细還要大。為了能在给定的有限计较預算中得到最好模子機能，如今的模子應當用更少的参数在更大的数据集长進行練習。也就是说，練習数据比模子巨细首要。

@现%1KY77%今大大%yKiak%都@重要说话模子都是在约3000亿個token的数据语料库上練習的，好比说OpenAI的GPT-3（1750 亿個参数）、AI21 Labs的Jurassic（1780 亿個参数）和微软/英伟达的Megatron-Turing（5700 亿個参数）。

咱們展望，GPT-4的数据集要比上面提到的大一個数目级，也就是说它可能在10万亿個token的数据集长進行練習。同時它的参数将比Megatron-Turing的要少。

听说，GPT-4有多是多模态的，除文本天生以外，它還可以天生图片、视频和其他数据類型的输入。這象征着GPT-4可以或许像DALL-E同样按照输入的文本提醒词（prompt）天生图象，或是可以输入视频然後經由過程文本的情势答复問题。

多模态GPT-4的公布多是一個重磅動静。可是它更可能和之前的GPT模子同样是纯文本模子，美國黃金偉哥,它在说话使命上的表示将從新界说SOTA。详细来讲GPT-4會是甚麼样的呢？那就是它在影象（保存和参考前期對话信息的能力）和擇要（提取和精简大范围文本的能力）這两個说话范畴的機能會有超過式晋升。

2

数据是新期間的煤油這類说法早就已是陈词谰言了，但如许说還不足以表白数据的首要性：由于煤油和数据都是有限的，都有损耗殆尽的一天，在AI范畴，说话模子對数据的需求量最大，数据耗尽的压力也更大。

正如前面提到的，DeepMind的Chinchilla work等鑽研已表白，構建大型说话模子（LLM）最有用的方法不是把它們做得更大，而是在更多的数据上對其举行練習。

可是世界上有几多说话数据呢？更正确地说有几多说话数据到达了可以用来練習说话模子的请求呢？现實上，如今收集上大大都的文本数据并無到达请求，不克不及用来練習大型说话模子。

對付這個問题，咱們很難给出切當的谜底，可是按照一個鑽研小组（）给出的数据，全世界高質量文本数据的总存量在4.6万亿到17.2万亿個token之間。這包含了世界上所有的册本、科學论文、消息文章、维基百科、公然代码和收集上颠末挑選的达標数据，比方網页、博客和社交媒體。近来的另外一项鑽研数据（）显示，数据总数约莫為3.2万亿個token。

DeepMind的Chinchilla模子是在1.4万亿個token上練習的。也就是说，在這個数目级内，咱們颇有可能耗尽世界上所有有效的说话練習数据。這可能成為人工智能说话模子范畴延续前進的一大停滞。很多前沿AI鑽研职員和企業家暗里里都對此内心不安。

跟着鑽研职員起頭追求解决数据欠缺這一刻不容缓的問题，估计2023年對這方面的存眷度會增长。针對這一問题，合成数据是一種可能的解决方案，虽然该若何操作這一法子還未可知。另有另外一種可能的法子，那就是體系性地轉录集會上的發言，究竟結果口頭交换代表着另有大量未捕捉的文本数据。

作為世界领先的LLM鑽研機構，人們十分好奇OpenAI在其行将公布的GPT-4鑽研中會若何應答這一挑战，同時，大師也等待着可以得到一些開葉黃素酯,导。

3

在多年預热炒作却几回再三失期以後，近来主動駕驶汽車范畴呈现了一些少有人注重的新變革：真實的無人駕驶汽車期間已寂静到临。

如今在旧金山，你可如下载Cruise利用步伐（這個步伐和Uber或Lyft的APP差未几），經由過程這個APP你可以叫到真實的没有司機辅助的無人駕驶汽車带你在街道上穿行。

今朝，這些無人駕驶汽車仅在夜間辦事，辦事時候是晚上22:00點到早上5:30，可是Cruise已筹备好了要在旧金山供给全天候辦事，這個規劃估计将在几周後履行。另外一邊Cruise的竞争敌手Waymo紧跟厥後，也起頭在旧金山投放無人駕驶汽車。

2023年，人們将快速習气robotaxi辦事，作為一種便利、可行的交通辦事方法，人們一起頭會感触别致、奇异，然後會快速習气robotaxi的存在，直到習以為常。街道上無人駕驶汽車的数目和利用它們的人数将會激增。简而言之，無人駕驶汽車行将進入贸易化和范围化阶段。

無人駕驶汽車的推行将以都會為单元，逐一举行。在旧金山的根本上，来年可能會新增最少两個面向公家投放無人駕驶汽車的美國都會。比力抱负的候選都會有凤凰城、奥斯汀、拉斯维加斯和迈阿密。

4

OpenAI的DALL-E，Stability AI（和其他進献者）的Stable Diffusion和Midjourney是今朝最聞名、最有影响力的三個文生图的AI平台。

2019年，OpenAI從微软處得到了10亿美元的投資，而且今朝正在切磋筹集更多資金。几個月前，Stability AI得到了1亿美元的投資，并且已起頭追求更多投資。

比拟之下，Midjourney没有任何外部投資。不外，Midjourney的用户和成长速率增加极快，今朝為止，它具有近600万用户和至关可觀的收入。可是其網站显示Midjourney依然是一個“小型自筹資金”组织，只有11名全职团队成員。

大衛·霍尔茨（David Holz）是Midjourney的開創人兼首席履行官，他曾是Leap Motion的結合開創人兼首席技能官，Leap Motion曾是一家飞速成长的虚拟實際創業公司，這家公司在2010年月筹集了近1亿美元的危害投資，以後公司成长状态敏捷恶化，终极被收购。据称這段失败的履历讓霍尔茨回绝接管外部資金。到今朝為止，Midjourney已回绝了不少投資者。

但是，面临公司的迅猛成长、剧烈的竞争和大量的市場機遇，咱們猜测霍尔茨将在2023年起頭為Midjourney筹集投資。不然，Midjourney将快速在這場由其激發的天生式人工智能淘金热衷掉队。

5

搜刮引擎是现代互联網體驗的焦點，是咱們阅读和拜候数字信息的重要方法。如今的大型说话模子可以举行繁杂级此外读和写，這在几年前几近是不成思议的，這會對咱們的搜刮方法發生深远影响。

在ChatGPT呈现以後，從新界说搜刮的對话式搜刮（conversational search）引發了人們的遍及注重。對话式搜刮讓咱們可以與AI智能體進举措态對话以找到要查找的内容，不消再像傳统的搜刮引擎同样先输入要盘問的内容，然後返回一长串链接，好比如今google搜刮的做法。

對话式搜刮具备廣漠的成长远景，可是它另有一個亟待解决的大問题，那就是搜刮成果不敷正确，只有解决了這個問题，對话搜刮才能成长起来。今朝對话式LLM的正确性還不敷，由于它們有時會给出與究竟不符的信息。

近来OpenAI首席履行官Sam Al臉部清潔霜，tman称，“如今在首要的事變上，咱們還不克不及依靠ChatGPT”。大大都用户也不會接管不克不及百分百包管成果正确的搜刮引擎，即便它的正确率可以到达95%乃至99%。2023年，鑽研职員面對的重要挑战之一就是，以一種可扩大且稳健的方法来解决這個問题。

一批成长势頭杰出的草創公司正在對google的搜刮引擎倡议挑战，它們但愿經由過程LLM和對话界面重塑消费者的搜刮方法，好比You.com，Character.AI，Metaphor 和Perfucity等公司。

可是，LLM不但仅只是會扭轉消费者的互联網搜刮方法，它還會扭轉其他搜刮類型。

好比企業搜刮（组织搜刮和檢索私稀有据的方法）一样也處于新黄金期間的風口浪尖。@因%2S61q%為大范%8R4no%围@矢量化的呈现，LLM初次實现了真實的语义搜刮：它可以或许按照根基觀點和上下文而不是简略的关頭字来索引和拜候信息。這将使企業搜刮加倍壮大和高效。像Hebbia和Glean如许的草創公司正在利用大型说话模子引领扭轉企業搜刮的潮水。

下一代搜刮引擎将不但限于文本。人工智能的最新希望為多模态搜刮供给了新的可能性：即跨数据模式盘問和檢索信息的能力。
割雙眼皮,
由于视频盘踞了互联網数据总量的80%摆布，以是视频搜刮代表了最大的成长機遇。想象一下，若是咱們可以輕松且正确地搜刮视频中的某個片断、某小我、某個觀點或某個動作，這将是甚麼样的場合排場？Twelve Labs是一家草創公司，它構建了一個多模态AI平台，以實现邃密化的视频搜刮和理解。

自google在互联網期間突起以来，搜刮范畴就几近没怎样產生過變革。2023年，有了大说话模子，该范畴将產生剧變。

6

人形呆板人多是好莱坞片子對AI举行浮夸化的极度代表，好比说片子《機器姬》和《我，呆板人》。人形呆板人成长敏捷，并逐步成為實際。

為甚麼要打造人形呆板人呢？缘由很简略，由于咱們實際世界的大部門架構都是為了人類而打造，若是咱們想操纵呆板人在工場、购物中間、辦公室和黉舍如许的場合主動完成繁杂勾當，最有用的法子就是讓呆板人具有和人類同样的形状。如许，呆板人便可以利用到多種場景中，且無需顺應四周情况。

本年9月，特斯拉在人工智能日推出了擎天柱（Optimus）呆板人，這大大鞭策了人形呆板人范畴的成长。埃隆·马斯克暗示，擎天柱终极會比汽車营業更有價值。但是，擎天柱呆板人要想彻底成熟，還任重而道远。可是，當特斯拉将所有資本都投入到優化擎天柱這项使命時，可以或许获得的希望是没法估计的。

一样地，很多具备成长远景的草創公司也鞭策着人形呆板人范畴的成长，包含Agility robotics、Halodi robotics、Sanctuary AI和Collaborative robotics。

跟着人形呆板人财產竞争愈演愈烈，估计2023年會有更多的公司参加到這場比赛中，包含草創企業和一些知名公司（如丰田、三星、通用汽車、松下）。這雷同于2016年的主動駕驶汽車，當愈来愈多的人起頭意想到汽車行業具有庞大的市場機遇時，次年将會有大量人材和本钱涌入该范畴。

7

當某種新的技能平台呈现時，响應的需乞降機遇也會随之呈现，好比说用以支撑新平台的东西和根本举措措施。危害投資家們凡是把這些辅助东西视為“镐頭和铲子”（以迎接行将到来的淘金热）。

比年来，草創企業界最热點确當属廣為人知的MLOps呆板進修东西。草創公司起頭一蜂窝地鑽研MLOps，并以使人咋舌的估值筹集到大量資金：Weights & Biases（得到2亿美元融資，平台估值达10亿美元）、Tecton（得到1.6亿美元融資）、Snorkel（得到1.38亿美元融資，平台估值达10亿美元）、OctoML（得到1.33亿美元融資，平台估值达8.5亿美元）等等。

现在，咱們目击了新一代人工智能技能平台——大型说话模子（LLMs）的問世。與預練習说话進修模子（pre-LLM）比拟，大型说话模子具备怪异的事情流程、技術组件和成长潜能，代表了人工智能的新范式。經由過程API或開源，人們可以很輕易得到大量預練習模子，這彻底扭轉了人工智能產物。是以，注定會呈现一套新的东西和根本举措措施。

咱們展望LLMOps将成為新的風行趋向，它代表着新一代人工智能的镐頭和铲子。以新一代LLMOps產物為例，包含根本模子微调东西、無代码LLM摆設、GPU拜候與優化、提醒词實行、提醒词链和数据合成與数据加强。

8

2020年末，DeepMind公司初次推出了AlphaFold平台，破解了生命的一大谜团：即卵白質的折叠問题。AlphaFold可以或许仅從卵白質的一维氨基酸序中正确地展望出卵白質的三维形态。這是一個里程碑式的成绩，解决了困扰鑽研职員几十年的問题（AlphaFold代表了人工智能汗青上最首要的成绩）。

由于卵白質是地球上所有生物举行首要勾當的内涵根本，對卵白質的布局和功效领會得越透辟，就越能為生物學和人類康健供给新的可能。不管是從開辟救生疗法（life-saving therapeutics），到改良农業，仍是從匹敌疾病到鑽研生命發源，卵白質存在于糊口中的各個方面。

DeepMind于2021年7月開源了AIphaFold，并推出了一個数据库，它包括350,000種三维卵白質布局（作為参考，在推出AlphaFold以前，人類已知的卵白質布局约莫有180,000種）。别的，几個月前，DeepMind颁布了另外一個包括2亿種卵白質布局的数据库——這几近笼盖了所有科學上已知的卵白質。

DeepMind最新版本公布短短几個月後，就有来自190多個國度的50多万名鑽研职員利用AlphaFold平台，用它檢察了200万種分歧的卵白質布局。但這仅仅只是起頭。AlphaFold的庞大冲破所带来的影响必要好几年才能逐步展示出全貌。

到2023年，估计基于AlphaFold的鑽研数目将會激增。鑽研职員将操纵這一巨大的新型根本生物學常識寶库，将其利用于新型疫苗、新型塑料研發等多個跨學科范畴，進而扭轉世界。

9

客岁，斯坦福大學的一個鑽研团队提出了“根本模子”（foundation model）一词，它是指基于大量数据練習的大范围人工智能模子。该模子的構建其實不是為了履行特定使命，而是為了能有用履行各類分歧勾當的使命。

根本兒童戶外玩具,模子一向是人工智能最新成长的关頭驱動力。现在，根本模子很是壮大。但不管是GPT-3如许的文本天生模子，仍是Stable Diffusion如许的文本轉图象模子，又或是Adept如许的计较機操作（computer actions）模子，均只能應用于数字范畴。

君綺PTT，AI體系在真實世界的利用到處可见，比方主動駕驶汽車、堆栈呆板人、無人機、人形呆板人等等，但到今朝為止，它們大多還未遭到根本模子新范式的影响。

這類环境将在2023年產生變革。估计用于呆板人的根本模子這一初期創始性事情，将由世界领先的人工智能鑽研機構DeepMind、Google Brain和OpenAI完成（虽然OpenAI客岁退出了呆板人鑽研）。

構建用于呆板人的根本模子象征着甚麼？换句话说，構建物理世界的根本模子象征着甚麼呢？從高条理来看，如许的模子可以用分歧傳感器模式（如相機、雷达、激光雷达）的大量数据举行練習，以發生對物理和實際世界物體的廣泛理解能力：好比這些分歧的物體是若何挪動的、它們之間若何互相感化、它們有多重、多懦弱、多柔嫩、多機動和當你触碰、抛掷或扔它們的時辰會產生甚麼。這類“真實世界的根本模子”可以针對特定的硬件平台和特定的下流使命举行微调。

10

人工智能和人類智能（human intelligence）同样同時依靠于硬件和软件举措措施。先辈半导體對鞭策现代人工智能而言相當首要。到今朝為止，影响最大、利用最為遍及的是英伟达的GPU；像AMD、因特尔和一些鑽研人工智能芯片的新兴企業也试图跻身芯片市場。

几近所有的人工智能芯片都是由美國設計，并在台灣完成制造。而且全世界最先辈的芯片几近都是由台积電（TSMC）這家公司出產的，包含英伟达的GPU。

因為中美地缘政治的严重場面地步，為了低落人工智能硬件瓶颈的不肯定性，低落對台灣的依靠，2023年，美國當局将加大鼓励辦法并對在美扶植先辈芯片制造举措措施的工場赐與补助。而本年炎天經由過程的《芯片與科學法》（The CHIPS and Science Act）则為此供给了立法動力和預算資本。

這一過程已起頭。两周前，台积電颁布發表将投資400亿美元在亚利桑那州創建两家新的芯片制造厂（美國总统拜登親身拜候了亚利桑那州的工場選址，對其称颂不停），更首要的是，新台积電工場估计将于2026年起頭運行，出產3纳米芯片，该芯片将成為當當代界最先辈的半导體。

跟着美國起頭在海内寻觅出產基地以化解关頭人工智能硬件所面對的危害，估计2023年将看到更多如许的许诺。

（注：本文作者是Radical Ventures的合股人，Radical Ventures是Hebbia、Twelve Labs和You.com的投資者。本文經授权後由OneFlow编译公布，若需轉载请先接洽得到授权。原文：）

接待 Star、试用 OneFlow 最新版本：

歡迎光臨新北市學車交流論壇 (https://bbs.hair999.com.tw/)