Text-to-video AI คืออะไร?

Text-to-video คือ AI ที่แปลงคำอธิบายที่พิมพ์เป็นตัวอักษรให้กลายเป็นคลิปวิดีโอสั้น คุณพิมพ์ประโยคหนึ่ง เช่น “เรือกระดาษลอยไปตามรางน้ำฝนในยามเย็น” แล้วโมเดลก็จะสร้างเฟรมที่ทำให้ภาพนั้นมีชีวิต โดยไม่ต้องใช้กล้อง ฟุตเทจ หรือซอฟต์แวร์ตัดต่อใดเลย

หน้านี้อธิบายแนวคิดเบื้องต้น เมื่อพร้อมที่จะลงมือสร้างจริง ไปต่อที่ พื้นฐาน Text-to-video

หลักการทำงาน อธิบายแบบเข้าใจง่าย

โมเดล text-to-video ถูกฝึกด้วยวิดีโอจำนวนมหาศาลพร้อมคำอธิบายประกอบ จากนั้นมันเรียนรู้ว่าสิ่งต่าง ๆ ในโลกมักจะดูเป็นอย่างไรและเคลื่อนไหวอย่างไร เช่น น้ำไหลอย่างไร ใบหน้าหันอย่างไร แสงตกกระทบพื้นผิวอย่างไร

เมื่อคุณป้อน prompt โมเดลไม่ได้นำคลิปเก่ามาต่อกัน แต่มันสร้างเฟรมใหม่ตั้งแต่ต้น โดยคาดการณ์ลำดับภาพที่สอดคล้องกับคำของคุณ และยังคงความต่อเนื่องทางกายภาพจากเฟรมหนึ่งไปยังอีกเฟรม ผลลัพธ์คือคลิปต้นฉบับที่ไม่เคยมีอยู่มาก่อน

สิ่งที่เกิดขึ้นเมื่อคุณกด Generate

ในทางปฏิบัติ เมื่อคุณพิมพ์ prompt แล้วกด Generate:

1. คุณตั้งค่าบางอย่าง ได้แก่ โมเดล, อัตราส่วนภาพ (เช่น 9:16), ความยาว และในบางโมเดล เสียง
2. โมเดลอ่าน prompt ของคุณแล้วสร้างลำดับเฟรม ยาวไม่กี่วินาที
3. รอสักครู่ (ตั้งแต่ไม่กี่วินาทีถึงหนึ่งนาที ขึ้นอยู่กับโมเดลและความยาว) คลิปก็จะปรากฏขึ้น พร้อมดาวน์โหลด แก้ไข หรือต่อขยาย

prompt อย่าง *“a corgi runs across a sunny beach toward the camera, slow motion, spray of sand, 9:16, 5 seconds”* บอกให้โมเดลรู้ตัวแบบ การกระทำ ความสัมพันธ์กับกล้อง และรูปแบบ ครบทุกอย่างที่โมเดลต้องการเพื่อสร้างช็อตนั้น

จุดแข็ง — และจุดที่ยังทำได้ยาก

ทำได้ดี:

• สร้างบรรยากาศหรือช่วงเวลาหนึ่งได้อย่างรวดเร็ว จากไม่มีอะไรเลยนอกจากไอเดีย
• B-roll, establishing shot, คลิปบอกอารมณ์ และคลิปโซเชียลมีเดีย
• ลองหลาย ๆ เวอร์ชันได้ในราคาถูกก่อนตัดสินใจจริง

ยังยาก:

• เรื่องราวยาวที่ต้องการความสม่ำเสมอสูง เพราะคลิปมักจะยาวแค่ไม่กี่วินาที
• ข้อความที่ต้องการแม่นยำ โลโก้ และรายละเอียดเล็กน้อยอย่างมือยังอาจดูผิดเพี้ยน
• ควบคุมทุกองค์ประกอบได้ตรงตามที่ต้องการ คุณเปรียบเสมือนกำกับผู้ร่วมงานที่มีความสามารถแต่ชอบสร้างสรรค์ตามสไตล์ตัวเอง

Text-to-video vs image-to-video

ทั้งสองเป็นพี่น้องกัน:

• Text-to-video สร้างทุกเฟรมจากคำของคุณ อิสระสูงสุด แต่ควบคุมรูปลักษณ์ที่แน่นอนได้น้อยกว่า
• Image-to-video เริ่มต้นจากภาพนิ่งที่คุณให้ไป แล้วทำให้มันเคลื่อนไหว ควบคุมรูปลักษณ์ได้สูงสุด เพราะเฟรมแรกถูกล็อกไว้กับรูปภาพของคุณแล้ว

วิธีทำงานที่นิยมคือใช้ทั้งสอง: สร้างเฟรมที่ชอบจาก image generator แล้วนำไปทำให้เคลื่อนไหว

ลองใช้บน PonPon

PonPon รัน text-to-video ผ่าน video generator เพียงหน้าเดียว ซึ่งคุณสามารถสลับโมเดลได้ โดยแต่ละโมเดลมีจุดเด่นต่างกัน: Veo 3.1 สำหรับ การควบคุมกล้อง, Sora 2 สำหรับ ฟิสิกส์ที่สมจริง, Kling 3.0 สำหรับ การเล่าเรื่องหลายช็อต และ Seedance 2.0 สำหรับ คลิปแนวตั้งรวดเร็ว หากต้องการเลือกโมเดล อ่าน การเลือกโมเดล และหากต้องการเขียน prompt ให้ได้ผล อ่าน การเขียน prompt สำหรับวิดีโอ