تحصل ChatGPT على تحديثات هامة ستمكنه من التفاعل مع الأوامر الصوتية والاستعلامات المعتمدة على الصور.

سيتمكن مستخدمو Android وiOS من إجراء محادثات صوتية مع ChatGPT وإدراج الصور فيها على جميع الأنظمة الرئيسية. ستكون هذه الميزات متاحة أولاً لمستخدمي Plus وEnterprise، وسيتمكن الآخرون من الوصول إليها لاحقًا.

لتجربة المحادثات الصوتية في تطبيق ChatGPT، يتعين الاشتراك فيها (انتقل إلى الإعدادات ثم الميزات الجديدة). يمكنك اختيار أحد الأصوات الخمسة بالنقر على زر الميكروفون.

تقول OpenAI إن المحادثات الصوتية تعتمد على نموذج جديد يحول النص إلى كلام، مما يتيح إنشاء "صوت يشبه الإنسان من نص فقط وبضع ثوانٍ من عينة الكلام". تم إنشاء الأصوات الخمسة بمساعدة ممثلين محترفين.

من ناحية أخرى، يقوم نظام التعرف على الكلام "Whisper" الخاص بالشركة بتحويل الكلمات المنطوقة للمستخدم إلى نص.

تمتاز ميزات التعرف على الصور بتشغيل GPT-3.5 وGPT-4. يمكنك التقاط صورة أو اختيار صورة موجودة على جهازك لاستخدام وظائف ChatGPT المعتمدة على الصور. يمكنك طرح أسئلة حول الصور أو استخدام أداة الرسم لتحديد جزء معين من الصورة.

تحذر OpenAI من احتمالية تقليد أصوات الشخصيات العامة والأشخاص العاديين وارتكاب الاحتيال. لذا، تركز على محادثات صوتية مع هذه التكنولوجيا وتعمل مع شركاء محددين في حالات استخدام محدودة.

كما عملت OpenAI مع تطبيق "Be My Eyes"، الذي يساعد الأشخاص المكفوفين وضعاف البصر في فهم محيطهم عبر متطوعين يشاركون في مكالمات الفيديو. وتركز على خصوصية الأفراد وتحد من كيفية تحليل ومشاركة بياناتهم.

نشرت الشركة ورقة بحثية حول خصائص السلامة لوظيفة الصور، والتي أطلقت عليها اسم GPT-4 مع الرؤية.

يظهر أن ChatGPT أكثر فعالية في فهم النصوص الإنجليزية في الصور مقارنة باللغات الأخرى، لذا يُفضل عدم استخدامها بكثرة من قبل غير الناطقين باللغة الإنجليزية.