OpenAI Point E: بىر GPU دا نەچچە مىنۇتتا مۇرەككەپ دولقۇن شەكلىدىن 3D نۇقتا بۇلۇتى ھاسىل قىلىڭ

يېڭى ماقالىدە Point-E: مۇرەككەپ سىگناللاردىن 3D نۇقتا بۇلۇت ھاسىل قىلىدىغان سىستېما ، OpenAI تەتقىقات گۇرۇپپىسى تارقاق مودېلدىن پايدىلىنىپ ، مۇرەككەپ تېكىست ئارقىلىق قوزغىتىلغان ئوخشىمىغان ۋە مۇرەككەپ 3D شەكىللەرنى ھاسىل قىلىدىغان 3D نۇقتا بۇلۇت تېكىست شەرتلىك بىرىكتۈرۈش سىستېمىسى E Point نى تونۇشتۇردى. cues.بىر نەچچە مىنۇتتا بىر GPU دا.
زامانىۋى رەسىم ھاسىل قىلىش مودېللىرىنىڭ كىشىنى ھەيران قالدۇرىدىغان ئىپادىسى 3D تېكىست ئوبيېكتى ئەۋلادلىرى تەتقىقاتىنى قوزغىدى.قانداقلا بولمىسۇن ، 2D مودېلغا ئوخشىمايدىغىنى ، ئۇ بىر نەچچە مىنۇت ھەتتا سېكۇنتتا مەھسۇلات ھاسىل قىلالايدۇ ، جىسىم ھاسىل قىلىش ئەندىزىسى ئادەتتە بىر ئەۋرىشكە ھاسىل قىلىش ئۈچۈن ئادەتتە بىر قانچە سائەت GPU خىزمىتىنى تەلەپ قىلىدۇ.
يېڭى ماقالىدە Point-E: مۇرەككەپ سىگناللاردىن 3D نۇقتا بۇلۇتى ھاسىل قىلىدىغان سىستېما ، OpenAI تەتقىقات گۇرۇپپىسى 3D نۇقتا بۇلۇتىنىڭ تېكىست شەرتلىك بىرىكتۈرۈش سىستېمىسى Point · E نى ئوتتۇرىغا قويدى.بۇ يېڭى ئۇسۇل كېڭەيتىش ئەندىزىسىنى ئىشلىتىپ ، بىر GPU دا بىر-ئىككى مىنۇتتىلا مۇرەككەپ تېكىست سىگنالىدىن ئوخشىمىغان ۋە مۇرەككەپ 3D شەكىل ھاسىل قىلىدۇ.
بۇ گۇرۇپپا تېكىستنى 3D غا ئايلاندۇرۇشتىكى رىقابەتكە مەركەزلەشكەن بولۇپ ، مەۋھۇم رېئاللىق ۋە ئويۇندىن تارتىپ سانائەت لايىھىلەشكىچە بولغان رېئال دۇنيا قوللىنىشچان پروگراممىلىرىنىڭ 3D مەزمۇنىنى دېموكراتىيىلەشتۈرۈشتە ئىنتايىن مۇھىم.تېكىستنى 3D غا ئايلاندۇرۇشنىڭ ھازىرقى ئۇسۇللىرى ئىككى تۈرگە بۆلىنىدۇ ، ئۇلارنىڭ ھەر بىرىنىڭ كەمچىلىكى بار: 1) ھاسىل قىلىش ئەندىزىسىنى ئەۋرىشكە ھاسىل قىلىشقا ئىشلىتىشكە بولىدۇ ، ئەمما كۆپ خىل ۋە مۇرەككەپ تېكىست سىگناللىرىنى ئۈنۈملۈك كۆلەملەشتۈرگىلى بولمايدۇ.2) مۇرەككەپ ۋە كۆپ خىل تېكىستلىك بەلگىلەرنى بىر تەرەپ قىلىش ئۈچۈن ئالدىن مەشىق قىلىنغان تېكىست-رەسىم مودېلى ، ئەمما بۇ خىل ئۇسۇل ھېسابلاشچانلىقى كۈچلۈك بولۇپ ، مودېل يەرلىك ئەھمىيەتكە ئىگە ياكى ماسلاشقان 3D جىسىملارغا ماس كەلمەيدۇ.
شۇڭلاشقا ، بۇ گۇرۇپپا يۇقىرىدىكى ئىككى خىل ئۇسۇلنىڭ كۈچلۈكلۈكىنى بىرلەشتۈرۈشنى مەقسەت قىلغان باشقا بىر خىل ئۇسۇل ئۈستىدە ئىزدىنىپ ، زور مىقداردىكى تېكىست-رەسىم جۈپلىرى (كۆپ خىل ۋە مۇرەككەپ سىگناللارنى بىر تەرەپ قىلىشقا شارائىت ھازىرلاپ) مەشىقلەندۈرۈلگەن تېكىستتىن رەسىمگە تارقىلىش ئەندىزىسىنى قوللاندى. كىچىكرەك بىر يۈرۈش تېكىست-رەسىم جۈپلىرىدە تەربىيەلەنگەن 3D رەسىم تارقىتىش ئەندىزىسى.image-3D جۈپ سانلىق مەلۇمات جەدۋىلى.تېكىستتىن رەسىم مودېلى ئالدى بىلەن كىرگۈزۈش سۈرىتىنى ئەۋرىشكە ئېلىپ ، يەككە بىرىكمە رەسىم ھاسىل قىلىدۇ ، رەسىمدىن 3D مودېلى تاللانغان رەسىمگە ئاساسەن 3D نۇقتا بۇلۇتى ھاسىل قىلىدۇ.
بۇ بۇيرۇقنىڭ گېنېراتورلار گۇرۇپپىسى يېقىندا تېكىستتىن شەرتلىك ھاسىل قىلىش ئۈچۈن ئوتتۇرىغا قويۇلغان گېنېراتور رامكىسىنى ئاساس قىلغان (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).ئۇلار GLIDE مودېلىنى 3 مىليارد GLIDE پارامېتىرى (Nichol قاتارلىقلار. ئۆزگەرتىش ئەندىزىسى.رەسىمگە رەسىم.3D مودېللار.
ئىلگىرىكى ئەسەرلەر 3D قۇرۇلمىسىنى ئىشلىتىپ نۇقتا بۇلۇتىنى بىر تەرەپ قىلغان بولسا ، تەتقىقاتچىلار ئۈنۈمنى يۇقىرى كۆتۈرۈش ئۈچۈن ئاددىي transducer نى ئاساس قىلغان مودېل (Vaswani قاتارلىقلار.).ئۇلارنىڭ تارقىلىشچان مودېل قۇرۇلمىسىدا ، نۇقتا بۇلۇت رەسىملىرى ئالدى بىلەن ئالدىن تەربىيەلەنگەن ViT-L / 14 CLIP مودېلىغا تەمىنلىنىدۇ ، ئاندىن چىقىرىش تورلىرى بەلگە قىلىپ ئايلاندۇرغۇچقا بېرىلىدۇ.
تەجرىبە تەتقىقاتىدا ، گۇرۇپپا ئوتتۇرىغا قويۇلغان Point · E ئۇسۇلىنى COCO ئوبيېكتىنى بايقاش ، بۆلەك ۋە ئىمزا سانلىق مەلۇمات سانلىق مەلۇماتلىرىدىن سىگنال بېرىشتىكى باشقا ھاسىل بولىدىغان 3D مودېللار بىلەن سېلىشتۇردى.نەتىجىدە Point · E نىڭ مۇرەككەپ تېكىست سىگنالىدىن كۆپ خىل ۋە مۇرەككەپ 3D شەكىل ھاسىل قىلالايدىغانلىقى ۋە يەكۈنلىنىش ۋاقتىنى بىر ياكى ئىككى زاكاز چوڭلۇقىدا تېزلەتكىلى بولىدىغانلىقى ئىسپاتلاندى.بۇ ئەترەت ئۇلارنىڭ خىزمىتىنىڭ 3D تېكىست بىرىكتۈرۈش تەتقىقاتى بىلەن شۇغۇللىنىشىنى ئۈمىد قىلىدۇ.
بۇ تۈرنىڭ GitHub دا ئالدىن بېكىتىلگەن نۇقتا بۇلۇت تارقىتىش ئەندىزىسى ۋە باھالاش كودى بار.Document Point-E: مۇرەككەپ يىپ ئۇچىدىن 3D نۇقتا بۇلۇت ھاسىل قىلىدىغان سىستېما arXiv دا.
بىز سىزنىڭ ھېچقانداق خەۋەر ياكى ئىلمىي بايقاشنى قولدىن بېرىپ قويغۇڭىز يوقلىقىنى بىلىمىز.ھەپتىلىك سۈنئىي ئەقىل يېڭىلانمىلىرىنى قوبۇل قىلىش ئۈچۈن داڭلىق ماس قەدەملىك يەرشارى سۈنئىي ئەقىل ھەپتىلىك خەۋەرلىرىمىزگە مۇشتەرى بولۇڭ.