ახალ სტატიაში Point-E: სისტემა რთული სიგნალებისგან 3D წერტილოვანი ღრუბლების გენერირებისთვის, OpenAI კვლევითი ჯგუფი წარმოგიდგენთ Point E-ს, 3D წერტილის ღრუბლის ტექსტის პირობით სინთეზის სისტემას, რომელიც იყენებს დიფუზიის მოდელებს მრავალფეროვანი და რთული 3D ფორმების შესაქმნელად, რომლებიც ამოძრავებს რთული ტექსტით. მინიშნებები.წუთებში ერთ GPU-ზე.
დღევანდელი გამოსახულების გენერირების თანამედროვე მოდელების გასაოცარმა შესრულებამ სტიმული მისცა კვლევას 3D ტექსტური ობიექტების გენერირებაში.თუმცა, განსხვავებით 2D მოდელებისგან, რომლებსაც შეუძლიათ გამომავალი გამომუშავება წუთებში ან წამებშიც კი, ობიექტების გენერაციულ მოდელებს, როგორც წესი, სჭირდებათ რამდენიმე საათის GPU მუშაობა ერთი ნიმუშის შესაქმნელად.
ახალ სტატიაში Point-E: სისტემა რთული სიგნალებისგან 3D წერტილოვანი ღრუბლების გენერირებისთვის, OpenAI კვლევითი გუნდი წარმოგიდგენთ Point·E-ს, ტექსტური პირობითი სინთეზის სისტემას 3D წერტილის ღრუბლებისთვის.ეს ახალი მიდგომა იყენებს გამრავლების მოდელს, რათა შექმნას მრავალფეროვანი და რთული 3D ფორმები რთული ტექსტური სიგნალებიდან მხოლოდ ერთ ან ორ წუთში ერთ GPU-ზე.
გუნდი ორიენტირებულია ტექსტის 3D-ად გადაქცევის გამოწვევაზე, რაც გადამწყვეტია 3D კონტენტის შექმნის დემოკრატიზაციისთვის რეალური სამყაროს აპლიკაციებისთვის, დაწყებული ვირტუალური რეალობიდან და თამაშებიდან ინდუსტრიულ დიზაინამდე.ტექსტის 3D-ად გარდაქმნის არსებული მეთოდები იყოფა ორ კატეგორიად, რომელთაგან თითოეულს აქვს თავისი ნაკლოვანებები: 1) გენერაციული მოდელები შეიძლება გამოყენებულ იქნას ნიმუშების ეფექტური გენერირებისთვის, მაგრამ არ შეიძლება ეფექტური მასშტაბირება მრავალფეროვანი და რთული ტექსტური სიგნალებისთვის;2) წინასწარ გაწვრთნილი ტექსტური გამოსახულების მოდელი რთული და მრავალფეროვანი ტექსტური მინიშნებების დასამუშავებლად, მაგრამ ეს მიდგომა არის გამოთვლებით ინტენსიური და მოდელი ადვილად შეიძლება გაიჭედეს ლოკალურ მინიმუმებში, რომლებიც არ შეესაბამება მნიშვნელოვან ან თანმიმდევრულ 3D ობიექტებს.
ამიტომ, გუნდმა გამოიკვლია ალტერნატიული მიდგომა, რომელიც მიზნად ისახავს ზემოაღნიშნული ორი მიდგომის ძლიერი მხარეების გაერთიანებას, ტექსტიდან გამოსახულების დიფუზიის მოდელის გამოყენებით, რომელიც გაწვრთნილი იყო ტექსტი-სურათის წყვილების დიდ ნაკრებზე (რომელიც მას საშუალებას აძლევს გაუმკლავდეს მრავალფეროვან და რთულ სიგნალებს) და 3D გამოსახულების დიფუზიის მოდელი, რომელიც მომზადებულია ტექსტი-სურათის წყვილების უფრო მცირე კომპლექტზე.image-3D წყვილის მონაცემთა ნაკრები.ტექსტიდან გამოსახულების მოდელი პირველ რიგში აგროვებს შეყვანილ სურათს ერთი სინთეზური წარმოდგენის შესაქმნელად, ხოლო image-to-3D მოდელი ქმნის 3D წერტილოვან ღრუბელს არჩეულ სურათზე დაყრდნობით.
ბრძანების გენერაციული დასტა ეფუძნება ახლახან შემოთავაზებულ გენერაციულ ჩარჩოებს ტექსტიდან გამოსახულების პირობითი გენერირებისთვის (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).ისინი იყენებენ GLIDE მოდელს 3 მილიარდი GLIDE პარამეტრით (Nichol et al., 2021), სრულყოფილად მორგებულ 3D მოდელებზე, როგორც ტექსტიდან გამოსახულების ტრანსფორმაციის მოდელს, და დიფუზიური მოდელების კომპლექტს, რომლებიც წარმოქმნიან RGB წერტილის ღრუბლებს, როგორც მათ. ტრანსფორმაციის მოდელი.სურათები სურათზე.3D მოდელები.
მიუხედავად იმისა, რომ წინა ნამუშევრებმა გამოიყენეს 3D არქიტექტურები წერტილოვანი ღრუბლების დასამუშავებლად, მკვლევარებმა გამოიყენეს მარტივი გადამყვანზე დაფუძნებული მოდელი (Vaswani et al., 2017) ეფექტურობის გასაუმჯობესებლად.მათი დიფუზიური მოდელის არქიტექტურაში, წერტილოვანი ღრუბლის სურათები ჯერ იკვებება წინასწარ მომზადებულ ViT-L/14 CLIP მოდელში და შემდეგ გამომავალი ბადეები იკვებება კონვერტორში მარკერების სახით.
თავის ემპირიულ კვლევაში, ჯგუფმა შეადარა შემოთავაზებული Point·E მეთოდი სხვა გენერაციულ 3D მოდელებთან COCO ობიექტების გამოვლენის, სეგმენტაციისა და ხელმოწერის მონაცემთა ნაკრებიდან სიგნალების შეფასების შესახებ.შედეგები ადასტურებს, რომ Point·E-ს შეუძლია შექმნას მრავალფეროვანი და რთული 3D ფორმები რთული ტექსტური სიგნალებიდან და დააჩქაროს დასკვნის დრო სიდიდის ერთიდან ორ ბრძანებით.გუნდი იმედოვნებს, რომ მათი ნამუშევარი შთააგონებს შემდგომ კვლევას 3D ტექსტის სინთეზში.
წინასწარ მომზადებული წერტილი ღრუბლის გამრავლების მოდელი და შეფასების კოდი ხელმისაწვდომია პროექტის GitHub-ზე.Document Point-E: სისტემა 3D წერტილოვანი ღრუბლების შესაქმნელად რთული მინიშნებებიდან არის arXiv-ზე.
ჩვენ ვიცით, რომ არ გსურთ გამოტოვოთ რაიმე სიახლე ან სამეცნიერო აღმოჩენა.გამოიწერეთ ჩვენი პოპულარული Synced Global AI Weekly საინფორმაციო ბიულეტენი, რათა მიიღოთ ყოველკვირეული AI განახლებები.
გამოქვეყნების დრო: დეკ-28-2022