Google สร้างตำนานใหม่เปิดตัว Lumiere AI ช่วยทำวีดีโอระดับเทพที่มาพร้อม 6 ฟีเจอร์ที่เนียนจนต้องอึ้ง!
.
Google มีการพัฒนาและปล่อยของออกมาได้เรื่อยๆ และล่าสุดนี้ทาง Google ได้มีกการเปิดตัว Lumiere AI
ที่จะมาสร้างคลิป Video ระดับเทพแต่เทพแค่ไหนนะเหรอบอกเลยว่าเทพสุดๆ
.
สำหรับการที่นำ AI มาเจนให้เป็นคลิป Video แน่นอนว่าปัจจุบันมีอยู่มากมายแต่สำหรับ Google นั้นไม่เหมือนกัน
เพราะเจ้าตัว Lumiere AI ที่ปล่อยออกมานั้นสามารถทำให้งานของคุณคมชัด ราบรื่นและมีความสมจริงต่างจาก
AI ตัวอื่นๆ ที่เห็นได้ทั่วไปเพราะ AI ที่เห็นได้ทั่วไปเมื่อเจนคลิป Video ออกมาจะไม่ค่อยมีความเป็นธรรมชาติเท่าไรนัก
.
แต่สำหรับ Lumiere AI ไม่เหมือนกันด้วยข้อดีที่ได้กล่าวไปข้างต้นบวกเข้ากับความสามารถที่ทาง Google
ได้ใส่เข้าไปทำให้ตัว Lumiere AI มีความพิเศษมากกว่าใคร เพราะ Lumiere มีการใช้โครงสร้างแบบ
สถาปัตยกรรมชนิดที่พิเศษมากๆ ที่เรียกว่า Space-Time U-Net (STUNet) และด้วยตัว STUNet
ทำให้ Lumiere มีความพิเศษมากกว่าใคร เพราะมันสามารถสร้างภาพเคลื่อนไหว/การเปลี่ยนแปลงที่เกิดขึ้นใน
Video ทั้งหมดได้พร้อมๆ กันตั้งแต่ต้นจนจบ และด้วยเหตุนี้ Video ที่มีการเจนออกมาจะมีความลงตัวและความเป็น
ธรรมชาติมากที่สุด
.
เราจะมาดู 6 ฟีเจอร์ที่น่าสนใจของ Lumiere กันว่ามีอะไรน่าสนใจบ้าง 😁
.
Text-to-Video (การแปลงข้อความให้เป็นวีดีโอ)
.
เริ่มจากสิ่งที่น่าสนใจก่อนเป็นอันดับแรก คือการแปลงข้อความที่ได้รับคำสั่งมาให้เป็น Video สำหรับใครที่คิดว่า
Google จะใช้งานยากหรือเปล่าต้องบอกตรงนี้ว่าทาง Google ได้ออกมายืนยันว่าฟีเจอร์การใช้งานไม่ได้ยาก
แต่อย่างใดกลับมีการทำงานที่เหมือน AI ที่สามารถเจนรูปได้เท่าไปไม่ได้ใช้งานยากแต่อย่างใด
.
ขั้นตอนการทำงาน
เพียงแค่ออกคำสั่งภาพเพื่อให้ Lumiere สร้างขึ้นมานั่นเอง เช่น Prompt: Aurora Borealis Green Loop
Winter Mountain Ridges Northern Lights เพียงแค่พิมพ์คำสั่งลงไปเท่านั้น เราก็จะได้ Video แบบคลิปสั้นๆ
ออกมาเป็นแสงเหนือที่สามารถเคลื่อนไหวได้แบบธรรมชาติสุดๆ
.
Imade-to-Video (การแปลงจากรูปให้เป็นวีดีโอ)
.
.
การใช้งาน Imade-to-Video เองก็ไม่ใช่ใช้ยากหรือมีการใช้คำสั่งที่มีความซับซ้อนมากมายอะไร สิ่งที่จำเป็น
และต้องมีในการใช้ฟีเจอร์นี้คือรูปภาพ และ คำสั่งที่ผู้ใช้ต้องการว่าท่านต้องการอะไร เพราะฟีเจอร์ Imade-to
Video จะทำการนำรูปภาพแปลงมาเป็นคลิป Video ให้กับท่าน
.
ขั้นตอนการทำงาน
นำรูปภาพที่ท่านต้องการใส่เข้ามาในโหมดฟีเจอร์นี้ หลังจากนั้นขั้นตอนต่อไปเพียงแค่ใส่คำสั่งเข้าไป ตัวอย่างเช่น
เราใช้รูปของโมนาลิซ่าและใส่คำสั่ง Prompt: A woman looking tired and yawning ลงไป สิ่งที่ท่านจะได้
จากคลิป Video ที่ทาง Lumiere เจนมาให้เราจะเป็นรูปของโมนาลิซ่าท่กำลังหาวอยู่ สิ่งที่เราจะชอบจาก
Lumiere คือตัวคลิปที่เราจะได้จะมีการเคลื่อนไหวที่มีความเป็นธรรมชาติมากๆ ที่ไม่ได้ขยับเพียงแค่ปากจน
ดูติดขัด
.
Stylized Generation (การดัดแปลงสไตล์รูปให้เป็นวีดีโอ)
.
.
มาถึงอีกฟีเจอร์ที่น่าสนใจมากอีกฟีเจอร์ที่เราคิดว่าใครหลายคนอาจจะชอบฟีเจอร์ Stylized Generation
เช่นกันคือการสร้าง Video ที่ใช้เพียงแค่รูปภาพอ้างอิงเพียงรุปเดียวเท่านั้น สิ่งที่ต้องใช้มีเพียงแค่ รูปภาพต้นแบบ
และ คำสั่งที่ท่านต้องการจะสั่ง
.
ขั้นตอนการทำงาน
ตัวอย่างเช่นเรานำรูปภาพของบ้านที่มีลักษณะ 3D มา สิ่งต่อไปทีเ่ราต้องทำคือคำสั่ง ขั้นตอนเพียงแค่สร้างคำสั่ง
ขึ้นมาเพื่อให้ Lumiere เจน Video มาให้เราซึ่งคำสั่งที่ใช้เพียงแค่สั่งให้ Lumiere สร้างบ้านสวนที่มีสัตว์
และธรรมชาติขึ้นมาเท่านั้น
.
Video Stylization (การนำวีดีโอมาเปลี่ยนสไตล์ใหม่จากข้อความ)
.
.
ฟีเจอร์นี้เหมาะมากสำหรับใครหลายคนที่มีคลิปต้นแบบอยู่แล้วและต้องการลูกเล่นที่น่าสนใจ เพราะผู้ใช้จะสามารถ
ปรับแต่งหรือปรับเปลี่ยนคลิป Video ให้มีลูกเล่นมากยิ่งขึ้น สิ่งที่ต้องใช้สำหรัลฟีเจอร์นี้มีเพียงแค่คลิป Video
และ คำสั่งหรือ Prompt
.
ขั้นตอนการทำงาน
ท่านจะเห็นรูปตัวอย่างจากด้านบนแล้ว ซึ่งการทำงานจะใช้วีดีโอต้นแบบซึ่อาจจะเป็นคลิปของน้องหมาที่กำลัง
ยื่นหน้าออกมารับลมหรือคลิปวีดีโอของหญิงสาวที่กำลังวิ่งอยู่ จากนั้นใส่คำสั่งเข้าไป ตัวอย่างเช่น Made
of wooden blocks, Origami folded paper art, Made of colorful toy bricks เมื่อใส่คำสั่งเข้าไป
ผลลัพธ์ที่ได้ออกมาคือคลิปสั้นที่มีลูกเล่นมากยิ่งขึ้นตามคำสั่งที่ใส่เข้าไป
.
Cinemagraphs (การสร้างวีดีโอเฉพาะจุด)
.
.
ฟีเจอร์นี้สำหรับผู้ที่มีรูปภาพหรือ Video ที่ต้องการนำมาแปลงให้มีการเคลื่อนไหวแต่ไม่ต้องการใช้เคลื่อนไหวทั้งรูป
ซึ่งตัวฟีเจอร์ Cinemagraphs ของ Lumiere จะทำให้ผู้ใช้สามารถเลือกความต้องการได้ว่าผู้ใช้ต้องการให้มีการ
เคลื่อนไหวที่จุดไหนหรือบริเวณไหนแบบเฉพาะเจาะจง
.
ขั้นตอนการทำงาน
หากท่านต้องการให้มีการเคลื่อนไหวที่เฉพาะจุด ยกตัวอย่างเช่น รูปผีเสื้อ หรือ รูปเปลวไฟซึ่งเป็นภาพนิ่ง
แต่ท่านต้องการให้มีการเคลื่อนไหวสิ่งที่ต้องทำมีเพียงแค่การครอปเลือกเฉพาะจุดที่ท่านต้องการภายในรูปภาพนั้น
เพียงเท่านี้ตัว Lumiere ก็จะเจนคลิป Video เป็นผีเสื้อขยับปีหรือเปลวไฟที่มีการเคลื่อนไหว
.
Video Inpainting
.
.
ฟีเจอร์ Video Inpainting ไม่ต่างอะไรเท่าไรกับฟีเจอร์ตัว Cinemagraphs เพียงแค่เปลี่ยนจากการทำให้
รูปภาพมีการเคลื่อนไหวเฉพาะจุดเป็นการเพิ่มองค์ประกอบอื่นๆ ที่ต้องการเข้าไปแทน ซึ่งเจ้าตัวฟีเจอร์
Video Inpainting นี้จะทำให้บางส่วนใน Video ที่เราต้องการเพิ่มหรือปรับเปลี่ยนเข้าไปสามารถทำงานได้
หรือก็คือการช่วยให้การทำงานของเราง่ายยิ่งขึ้นนั้่นเอง อีกทั้งยังสามารเพิ่มส่วนที่ขาดหายไปให้เพิ่มเข้ามาได้อีกด้วย
ผู้ใช้เพียงแค่เลือกจุดที่ต้องการจะปรับเปลี่ยนหรือเพิ่มองค์ประกอบจากนั้นสิ่งที่ต้องทำก็คือใส่คำสั่งเข้าไป
.
ขั้นตอนการทำงาน
ยกตัวอย่างเช่น ภายใน Video คือหญิงสาวคนหนึ่งท่านต้องการเปลี่ยนชุดให้เธอ สิ่งที่ต้องทำคือการ เลือกคลุมที่
บริเวณชุดและใส่คำสั่งเข้าไป เช่น Prompt: wearing a gold strapless gown, wearing a striped strapless
dress เพียงเท่านี้เราก็จะได้คลิปที่ต้องการแล้ว
.
🔗 สามารถอ่านข้อมูลเพิ่มเติมได้ที่ : https://lumiere-video.github.io/
สามารถติดตามข่าวสารได้ที่ nft360.asia
