Nghiên cứu tìm hiểu công nghệ thực tế ảo kết hợp với thiết bị ngoại vi

LỜI CẢM ƠNEm xin bày tỏ lòng biết ơn sâu sắc đến thầy Nguyễn Đức Hoàng, thầy đã tậntịnh hướng dẫn và giúp đỡ em trong suốt quá trình làm đồ án tốt nghiệp. Với sự chỉbảo của thầy, em đã có những định hướng tốt trong việc triển khai và thực hiện các yêucầu trong quá trình làm đồ án.Em xin chân thành cảm ơn sự dạy bảo và giúp đỡ của các thầy giáo, cô giáoKhoa Công Nghệ Thông Tin – Học viện Công Nghệ Bưu Chính Viễn Thông trongsuốt 4 năm đã truyền dạy và trang bị cho em những kiến thức cơ bản cốt lõi để em cóthể hoàn thành được đồ án tốt nghiệp và có nền tảng cho sự nghiệp sau này.Em xin chân thành cảm ơn !1MỤC LỤCLỜI CẢM ƠN 1MỤC LỤC 2DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT 3DANH MỤC CÁC BẢNG 3DANH MỤC CÁC HÌNH ẢNH 3LỜI MỞ ĐẦU 4CHƯƠNG 1. Nghiên cứu công nghệ thực tại ảo kết hợp với các thiết bị ngoại vi 51.1. Khái niệm và ý nghĩa của thực tại ảo 51.1.1. Lịch sử phát triển của công nghệ thực tại ảo 51.1.2. Các đặc tính của thực tại ảo 61.1.3. Một số ứng dụng của thực tại ảo 71.2. Các thành phần của một hệ thống VR 121.3. Một số đặc điểm của ứng dụng VR 141.3.1. Phương thức hiển thị nội dung 141.3.2. Phương thức thể hiện chuyển động 161.3.3. Cơ thể số trong môi trường VR 171.4. Công cụ phát triển và các thiết bị ngoại vi 191.4.1. Công cụ phát triển 191.4.2. Thiết bị hiển thị và các cảm biến khác 25CHƯƠNG 2. Phân tích bài toán ứng dụng công nghệ thực tại ảo trong đào tạothực hành. 292.1. Bài toán 292.2. Yêu cầu đặt ra và hướng giải quyết 292.2.1. Phần cứng và phần mềm 292.2.2. Thư viện của kính Oculus và các hàm dự kiến sử dụng 302.2.3. Mô hình cửa máy bay 332.2.4. Tầm nhìn và chuyển động trong môi trường ảo 362.2.5. Cơ thể số trong môi trường ảo 372.2.6. Kết nối các thành phần của cửa máy bay 372.2.7. Tương tác cầm nắm 382.3. Phân tích thiết kế 382.3.1. Kịch bản người dùng 382.3.2. Sơ đồ usecase 402.3.3. Sơ đồ tuần tự 40CHƯƠNG 3. XÂY DỰNG BÀI THỰC HÀNH MẪU CHO VIETNAMAIRLINES SỬ DỤNG CÔNG NGHỆ THỰC TẠI ẢO KẾT HỢP VỚI THIẾT BỊNGOẠI VI 443.1. Cấu hình môi trường thực tại ảo cho Unity và kính Oculus Quest 2 443.2. Cài đặt Camera người dùng 453.3. Cài đặt cơ thể số dạng bàn tay 463.4. Tương tác 483.4.1. Cấu hình các thành phần của cửa trước tương tác 513.4.2. Cài đặt tương tác 61PHẦN KẾT LUẬN 722TÀI LIỆU THAM KHẢO 73DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮTDOF: Degree of Freedom Mức độ tự doGUI: Graphical User Interface Giao diện đồ họa người dùngHMD: Head – Mounted – Display Màn hình hiển thị gắn trên thiết bị đội đầuHW: Hardware Phần cứngOVR: Oculus Virtual Reality Thư viện thực tế ảo của OculusSDK: Software Development Kit Công cụ phần mềm phát triển ứng dụngSW: Software Phần mềmVR: Virtual Reality Thực tại ảoDANH MỤC CÁC BẢNG3Bảng 2.1 Các thành phần của thư viện VR trong Oculus Integration 31Bảng 2.2 Một số tập lệnh hỗ trợ phát triển ứng dụng của Oculus 32DANH MỤC CÁC HÌNH ẢNHHình 1.1 Công nghệ thực tại ảo 8Hình 1.2 Ứng dụng VR vào video game 104Hình 1.3 Ứng dụng VR trong rạp chiếu phim 3D 10Hình 1.4 Ví dụ ứng dụng VR hỗ trợ điều trị tâm lý 11Hình 1.5 Ứng dụng VR hỗ trợ vật lý trị liệu 12Hình 1.6 Ứng dụng VR trong đào tạo bác sĩ 13Hình 1.7 Ứng dụng VR trong đào tạo quân sự 13Hình 1.8 Ứng dụng VR trong kinh doanh bất động sản 14Hình 1.9 Các thành phần của một hệ thống VR 15Hình 1.10 Unity Engine 21Hình 1.11 Unreal Engine 23Hình 1.12 Kính Oculus Rift S 28Hình 1.13 Kính thực tế ảo HTC Vive 29Hình 1.14 Kính thực tế ảo Oculus Quest 2 29Hình 2.1 Các thành phần của Oculus Integration 32Hình 2.2 Cửa máy bay Airbus A321 Type C 34Hình 2.3 Mô hình cửa máy bay 34Hình 2.4 Nắp bảo vệ tay gạt 35Hình 2.5 Tay gạt 35Hình 2.6 Tay cầm mở cửa 35Hình 2.7 Tay đòn 35Hình 2.8 Chốt tay đòn 36Hình 2.9 Tay đòn lớn 36Hình 2.10 Sơ đồ hệ thống VR 38Hình 2.11 Kịch bản cho nắp bảo vệ tay gạt 38Hình 2.12 Kịch bản cho tay gạt 39Hình 2.13 Sơ đồ usecase 39Hình 2.14 Sơ đồ tuần tự người dùng quay trái phải 40Hình 2.15 Sơ đồ tuần tự người dùng di chuyển 40Hình 2.16 Sơ đồ tuần tự người dùng tương tác nắp tay cầm 41Hình 2.17 Sơ đồ tuần tự người dùng tương tác tay gạt 41Hình 2.18 Sơ đồ tuần tự người dùng tương tác tay cầm mở cửa 41Hình 3.1 Cửa sổ cài đặt Project Settings 42Hình 3.2 Import Oculus Integration 43Hình 3.3 Phân cấp của OVRPlayer Controller 43Hình 3.4 Cửa sổ Inspector của OVRPlayerController 44Hình 3.5 Cài đặt prefab CustomHandLeft và CustomHandRight 45Hình 3.6 Cơ thể số dạng bàn tay 45Hình 3.7 Cửa sổ Inspector của CustomHandLeft 46Hình 3.8 Rigidbody component 47Hình 3.9 Box Collider component 47Hình 3.10 Mesh Collider component 47Hình 3.11 Capsule Collider component 48Hình 3.12 Cửa sổ Inspector của LeftHandAnchor 48Hình 3.13 Cửa sổ Inspector của đối tượng nắp bảo vệ 49Hình 3.14 Trục quay của nắp bảo vệ 50Hình 3.15 Giới hạn góc quay cho nắp bảo vệ 50Hình 3.16 Component Hinge Joint của nắp bảo vệ 51Hình 3.17 Cửa sổ Inspector của tay cầm mở cửa 525Hình 3.18 Component Hinge Joint của tay gạt 53Hình 3.19 Cửa sổ Inspector của tay đòn 1 54Hình 3.20 Cửa sổ Inspector của tay đòn 2 54Hình 3.21 Cửa sổ Inspector của tay đòn lớn 55Hình 3.22 Cửa sổ Inspector của cửa máy bay 56Hình 3.23 Đối tượng Cube tại đầu nắp 57Hình 3.24 Phân cấp của nắp bảo vệ 57Hình 3.25 Cửa sổ Inspector của khối Cube 58Hình 3.26 Kịch bản FollowPhysics 59Hình 3.27 Kịch bản DoorGrabbable 59Hình 3.28 Cửa sổ Inspector của khối Cube1 60Hình 3.29 Phân cấp của tay gạt 61Hình 3.30 Đối tượng Sphere tại vị trí cầm của tay gạt 61Hình 3.31 Cửa sổ Inspector của đối tượng Sphere 62Hình 3.32 Cửa sổ Inspector của đối tượng Sphere1 63Hình 3.33 Phân cấp của tay cầm mở cửa 64Hình 3.34 Cửa sổ Inspector của tay cầm mở cửa 64Hình 3.35 Cửa sổ Inspector của đối tượng tay_cam 1 (1) 65LỜI MỞ ĐẦUThực tế ảo là một thuật ngữ mới xuất hiện khoảng đầu thập kỷ 90, nhưng ở Mỹvà châu Âu thực tế ảo (Virtual Reality) đã và đang trở thành một công nghệ mũi nhọn6nhờ khả năng ứng dụng rộng rãi trong mọi lĩnh vực (nghiên cứu và công nghiệp, giáodục và đào tạo, thương mại và giải trí,..) và tiềm năng kinh tế. Tại Việt Nam, tuy làmột lĩnh vực mới nhưng đã có những công trình rất hữu ích như: tái hiện lại con SaoLa hay một Văn Miếu Quốc Tử Giám ảo mà ta có thể đi lại quan sát trong đó. Chính vìtầm quan trọng cũng như khả năng ứng dụng to lớn đó nên việc nghiên cứu về thực tạiảo là vô cùng cần thiết. Và trên cơ sở đó có thể xây dựng một ứng dụng thực tại ảohoàn chỉnh. Chính vì vậy mà em đã chọn đề tài tốt nghiệp: ”NGHIÊN CỨU CÔNGNGHỆ THỰC TẠI ẢO KẾT HỢP VỚI CÁC THIẾT BỊ NGOẠI VI VÀ ỨNGDỤNG”. Đồ án này gồm có phần mở đầu, kết luận và nội dung:Chương 1: Nghiên cứu công nghệ thực tại ảo kết hợp với các thiết bị ngoại viChương 2: Phân tích bài toán ứng dụng công nghệ thực tại ảo trong đào tạo thựchành.Chương 3: Xây dựng Bài thực hành mẫu cho Vietnam airlines sử dụng công nghệthực tại ảo kết hợp với thiết bị ngoại viCHƯƠNG 1. Nghiên cứu công nghệ thực tại ảo kết hợp với các thiết bịngoại vi1.1. Khái niệm và ý nghĩa của thực tại ảoThực tại ảo hay còn gọi là thực tế ảo viết tắt là VR (Virtual Reality) là thuật ngữmiêu tả một môi trường   giả lập (ảo hóa) có thể giống hoặc khác hoàn toàn với thế giớithực   được tạo ra bởi con người nhờ vào các phần mềm chuyên dụng, và được điều7khiển bởi một thiết bị thông minh. Ngoài việc tạo ra không gian ảo, công nghệ thực tếảo VR còn có thể   tương tác thực tế   với người dùng qua cử chỉ và nhiều giác quan khácnhau như: Thính giác, khứu giác và xúc giác.Hình 1.1 Công nghệ thực tại ảo1.1.1. Lịch sử phát triển của công nghệ thực tại ảoKhái niệm thực tế ảo đã có trong nhiều thập niên nhưng nó chỉ thực sự được nhậnthức vào đầu những năm 90. N gay từ năm 1962 Morton Heilig (Mỹ) đã phát minh rathiết bị mô phỏng SENSORAMA, đây là thiết bị điều khiển 1 người sử dụng gồm có:một màn hình thực thể kính, quạt, máy tạo mùi, loa âm thanh và một chiếc ghế có thểdi chuyển được. Ông cũng phát minh ra màn hình truyền hình được gắn vào đầu để cóthể xem phim 3D. Tuy là những sản phẩm phục vụ cho điện ảnh nhưng những kháiniệm của Heilig đã trở thành tiền đề cho VR sau này.Những kỹ sư của công ty Philco là những người đầu tiên phát triển HMD (mànhình gắn trên đầu) và những năm 1961, gọi là Headsight, cái mũ sắt bao gồm một mànảnh và hệ thống theo dõi video được những kỹ sư liên kết với một hệ thống cameramạch đóng. Họ định sử dụng HMD trong các tình huống nguy hiểm – một người cóthể quan sát một môi trường thực sự từ xa, điều chỉnh góc quay camera bằng cáchquay đầu. Bell Laboratories đã sử dụng HMD cho những phi công lái máy bay trực8thăng. Họ liên kết HMD với những camera hồng ngoại gắn bên ngoài máy bay giúpcho phi công có thể nhìn rõ ngay cả trong môi trường thiếu ánh sáng.Vào năm 1968, một nhà khoa học máy tính có tên Ivan Sutherland hình dungđiều mà ông ta gọi là “Utilmate Display”, sử dụng hiển thị này, một người có thể thấymột thế giới ảo hiện ra như thế giới vật lý thật. Điều này đã định hướng toàn bộ tầmnhìn về VR. Khái niệm của Sutherland bao gồm :● Một thế giới ảo mà ta có thể quan sát thông qua một HMD● Một máy tính để duy trì các mô hình trong thời gian thực● Các khả năng cho người sử dụng để thao tác những đối tượng thực tế mộtcách trực quan nhất.Ngày nay VR đã trở thành một ngành công nghiệp và thị trường VR tăng trưởnghàng năm khoảng 21% và dự tính đạt khoảng 3,4 tỷ $ năm 2005 (theo Machover,2004). => Theo dự đoán của Gartner (tổ chức nghiên cứu thị trường toàn cầu), VRđứng đầu danh sách 10 công nghệ chiến lược năm 2009.1.1.2. Các đặc tính của thực tại ảoHai đặc tính chính của thực tại ảo là Tương tác (Interactive) và Đắm chìm(Immersion). Tuy nhiên thực tại ảo có một đặc tính thứ ba mà ít người để ý tới. VRkhông chỉ là một hệ thống tương tác người – máy tính, mà các ứng dụng của nó cònliên quan tới việc giải quyết các vấn đề trong kỹ thuật, y học, quân sự, … Các ứngdụng này do các nhà phát triển VR thiết kế, điều này phụ thuộc rất nhiều vào khả năngTưởng tượng của con người, đó là đặc tính “I” (Imagination) thứ ba của VR. Do đó cóthể coi VR là tổng hợp của 3 yếu tố: Tương tác – Đắm chìm – Tưởng tượng.1.1.3. Một số ứng dụng của thực tại ảoTại các nước phát triển, chúng ta có thể nhận thấy VR được ứng dụng trong mọilĩnh vực: Khoa học kỹ thuật, kiến trúc, quân sự, giải trí, du lịch, địa ốc... và đáp ứngmọi nhu cầu: Nghiên cứu - Giáo dục - Thương mại - dịch vụ.Thực tế ảo được sử dụng phổ biến nhất trong các ứng dụng giải trí như trò chơivideo và   rạp chiếu phim 3D. Tai nghe thực tế ảo tiêu dùng được phát hành lần đầu tiênbởi các công ty trò chơi video vào đầu những năm 1990. Bắt đầu từ những năm 2010,9các tai nghe buộc dây thương mại thế hệ tiếp theo đã được Oculus (Rift), HTC (Vive)và Sony (PlayStation VR) phát hành, tạo ra một làn sóng phát triển ứng dụng mới.   Rạpchiếu phim 3D đã được sử dụng cho các sự kiện thể thao, mỹ thuật, video âm nhạc vàphim ngắn. Kể từ năm 2015, tàu lượn siêu tốc và   công viên chủ đề   đã kết hợp thực tếảo để phù hợp với hiệu ứng hình ảnh với phản hồi xúc giác.Hình 1.2 Ứng dụng VR vào video gameHình 1.3 Ứng dụng VR trong rạp chiếu phim 3DTrong khoa học xã hội và tâm lý học, thực tế ảo cung cấp một công cụ tiết kiệmchi phí để nghiên cứu và tái tạo các tương tác trong một môi trường được kiểm soát.Nó có thể được sử dụng như một hình thức can thiệp trị liệu. Ví dụ, có trường hợp   trịliệu phơi nhiễm thực tế ảo   (VRET), một hình thức   trị liệu phơi nhiễm   để điều trị cácrối loạn lo âu như rối loạn căng thẳng sau chấn thương (PTSD) và ám ảnh.10Hình 1.4 Ví dụ ứng dụng VR hỗ trợ điều trị tâm lýTrong y học, các chương trình thực tế ảo đang được sử dụng trong các quy trìnhphục hồi chức năng với những người già được chẩn đoán mắc   bệnh Alzheimer. Điềunày mang lại cho những bệnh nhân cao tuổi này cơ hội mô phỏng những trải nghiệmthực tế mà họ không thể trải nghiệm do tình trạng hiện tại của họ. 17 nghiên cứu gầnđây với các thử nghiệm ngẫu nhiên có kiểm soát đã chỉ ra rằng các ứng dụng thực tế ảocó hiệu quả trong điều trị thiếu hụt nhận thức bằng các chẩn đoán thần kinh.   Mất khảnăng vận động ở bệnh nhân cao tuổi có thể dẫn đến cảm giác cô đơn và trầm cảm.Thực tế ảo có thể hỗ trợ trong việc tạo ra sự lão hóa trong cuộc sống với thế giới bênngoài mà họ không thể dễ dàng điều hướng. Thực tế ảo cho phép điều trị phơi nhiễmdiễn ra trong một môi trường an toàn.11Hình 1.5 Ứng dụng VR hỗ trợ vật lý trị liệuTrong giáo dục, thực tế ảo có thể mô phỏng không gian làm việc thực tế chomục đích an toàn và sức khỏe nghề nghiệp, mục đích giáo dục và mục đích đào tạo.Nó có thể được sử dụng để cung cấp cho người học một môi trường ảo nơi họ có thểphát triển các kỹ năng của mình mà không phải chịu hậu quả trong thế giới thực. Nóđã được sử dụng và nghiên cứu   giáo dục tiểu học, giảng dạy giải phẫu,   quân sự,   đàotạo phi hành gia,   mô phỏng chuyến bay,   đào tạo thợ mỏ, ... Nó cũng đã được tuyên bốđể giảm chi phí huấn luyện quân sự bằng cách giảm thiểu lượng đạn dược sử dụngtrong thời gian huấn luyện.12Hình 1.6 Ứng dụng VR trong đào tạo bác sĩHình 1.7 Ứng dụng VR trong đào tạo quân sựTrong kinh doanh, sự phát triển của thực tế ảo mang đến cơ hội và kênh thaythế cho   tiếp thị kỹ thuật số.   Nó cũng được coi là một nền tảng mới cho   thương mạiđiện tử, đặc biệt là trong nỗ lực thách thức các nhà bán lẻ truyền thống. Tuy nhiên, mộtnghiên cứu năm 2018 tiết lộ rằng phần lớn hàng hóa vẫn được mua trong các cửa hàngvật lý.13Hình 1.8 Ứng dụng VR trong kinh doanh bất động sảnBên cạnh các ứng dụng truyền thống ở trên, cũng có một số ứng dụng mới nổilên trong thời gian gần đây của VR như: VR ứng dụng trong sản xuất, VR ứng dụngtrong ngành rô-bốt, VR ứng dụng trong hiển thị thông tin (thăm dò dầu mỏ, hiển thịthông tin khối, ứng dụng cho ngành du lịch, ứng dụng cho thị trường bất động sản....)VR có tiềm năng ứng dụng vô cùng lớn. Có thể nói tóm lại một điều: Mọi lĩnh vực "cóthật" trong cuộc sống đều có thể ứng dụng "thực tế ảo" để nghiên cứu và phát triểnhoàn thiện hơn. Hiện nay YouTube đã có tính năng hỗ trợ xem video 360 độ với máyVR.1.2. Các thành phần của một hệ thống VRMột hệ thống VR tổng quát bao gồm 5 thành phần: phần mềm (SW), phần cứng(HW), mạng liên kết, người dùng và các ứng dụng. Trong đó 3 thành phần chính vàquan trọng nhất là phần mềm (SW), phần cứng (HW) và các ứng dụng.14Hình 1.9 Các thành phần của một hệ thống VRPhần mềmPhần mềm luôn là linh hồn của VR cũng như đối với bất cứ một hệ thống máytính hiện đại nào. Về mặt nguyên tắc có thể dùng bất cứ ngôn ngữ lập trình hay phầnmềm đồ họa nào để mô hình hóa (modelling) và mô phỏng (simulation) các đối tượngcủa VR. Ví dụ như các ngôn ngữ (có thể tìm miễn phí) OpenGL, C++, Java3D,VRML, X3D,…hay các phần mềm thương mại như WorldToolKit, PeopleShop,…Phần mềm của bất kỳ VR nào cũng phải đảm bảo 2 công dụng chính: Tạo hình và Môphỏng. Các đối tượng của VR được mô hình hóa nhờ chính phần mềm này hay chuyểnsang từ các mô hình 3D (thiết kế nhờ các phần mềm CAD khác như AutoCAD, 3DStudio,..). Sau đó phần mềm VR phải có khả năng mô phỏng động học, động lực học,và mô phỏng ứng xử của đối tượng.Phần cứngPhần cứng của một hệ thống VR bao gồm: Máy tính (PC hay Workstation vớicấu hình đồ họa mạnh), các thiết bị đầu vào (Input devices) và các thiết bị đầu ra(Output devices).15● Các thiết bị đầu vào (Input devices):   bao gồm những thiết bị đầu vào có khảnăng kích thích các giác quan để tạo nên cảm giác về sự hiện hữu trong thế giớiảo. Chẳng hạn như màn hình đội đầu HMD, chuột, các tai nghe âm thanh nổivà những thiết bị đầu vào có khả năng ghi nhận nơi người sử dụng đang nhìnvào hoặc hướng đang chỉ tới, như thiết bị theo dõi gắn trên đầu (head-trackers),găng tay hữu tuyến (wire-gloves).● Các thiết bị đầu ra (Output devices):   gồm hiển thị đồ họa (như màn hình,HDM,..) để nhìn được đối tượng 3D. Thiết bị âm thanh (loa) để nghe được âmthanh vòm (như Hi-Fi, Surround,..). Bộ phản hồi cảm giác (Haptic feedbacknhư găng tay,..) để tạo xúc giác khi sờ, nắm đối tượng. Bộ phản hồi xung lực(Force Feedback) để tạo lực tác động như khi đạp xe, đi đường xóc,…1.3. Một số đặc điểm của ứng dụng VR1.3.1. Phương thức hiển thị nội dungĐể thiết kế thế giới ảo gần với thế giới vật lý thật, điều đầu tiên cần lưu ý tới độsâu. Không thể hiện đúng độ sâu của vật thể sẽ phá vỡ trải nghiệm VR. Nhận thức vềđộ sâu dựa trên sự chênh lệch giữa các điểm nhìn của mỗi mắt là dấu hiệu nổi bật nhấtvề độ sâu nhưng nó chỉ là một trong nhiều cách não bộ xử lý thông tin về độ sâu.Những vật cách xa nhau dường như di chuyển với tốc độ khác nhau. Hai vấn đề quan trọng hàng đầu để hiểu được sự thoải mái của mắt khi mắtđang tập trung vào một vật thể trong VR là nhu cầu thích nghi và nhu cầu linh hoạt.Nhu cầu thích nghi đề cập đến cách mắt bạn phải điều chỉnh hình dạng của thấu kínhđể đưa mặt phẳng chiều sâu vào tiêu điểm (quá trình điều tiết thị lực). Nhu cầu linhhoạt liên quan đến mức độ mà mắt phải xoay vào trong để các đường nhìn của chúnggiao nhau tại một mặt phẳng độ sâu cụ thể. Trong thế giới thực, hai điều này có tươngquan chặt chẽ với nhau.Mức độ mà nhu cầu về sự thích nghi và sự thích thú có thể khác nhau trước khitrải nghiệm trở nên khó chịu đối với người xem thay đổi. Để tránh mỏi mắt, các đốitượng mà bạn biết người dùng sẽ dán mắt vào trong một khoảng thời gian dài (ví dụ:menu, đối tượng quan tâm trong môi trường) nên được hiển thị cách xa ít nhất 0,5 mét.Nhiều người nhận thấy rằng 1 mét là khoảng cách thoải mái cho các menu và GUI(giao diện đồ họa người dùng) mà người dùng có thể tập trung vào trong thời gian dài.16Một số nhà phát triển nhận thấy rằng hiệu ứng độ sâu trường ảnh có thể vừanhập vai vừa tạo cảm giác thoải mái cho các tình huống mà bạn biết người dùng đangnhìn ở đâu. Ví dụ: bạn có thể làm mờ giả tạo nền đằng sau menu mà người dùng đưalên hoặc làm mờ các đối tượng nằm ngoài mặt phẳng chiều sâu của một đối tượngđang được đưa lên để kiểm tra. Điều này không chỉ mô phỏng hoạt động tự nhiên củatầm nhìn của bạn trong thế giới thực, nó có thể ngăn mắt bị phân tâm bởi các vật thểnổi bật nằm ngoài tiêu điểm của người dùng. Bạn không có quyền kiểm soát ngườidùng chọn hành vi theo cách không hợp lý. Người dùng có thể chọn đứng cách xa vậtthể vài inch và nhìn chằm chằm vào vật thể đó cả ngày. Trách nhiệm của bạn là tránhyêu cầu các tình huống có thể gây khó chịu.Ở một khoảng cách nhất định, nhận thức về độ sâu trở nên kém nhạy hơn. Ởgần, tính năng lập thể có thể cho phép bạn biết được vật nào trong số hai vật thể trênbàn của bạn gần hơn trên tỷ lệ milimét. Điều này càng trở nên khó khăn hơn. Nếu bạnnhìn vào hai cái cây ở phía đối diện của một công viên, chúng có thể phải cách nhauhàng mét trước khi bạn có thể tự tin phân biệt cây nào gần hay xa hơn. Ở quy mô lớnhơn nữa, bạn có thể gặp khó khăn khi phân biệt hai ngọn núi nào trong một dãy núigần bạn hơn cho đến khi sự khác biệt lên tới hàng km. Sử dụng độ nhạy tương đối nàyđể cảm nhận độ sâu ở khoảng cách xa để tính toán bằng cách sử dụng đường chân trờigiả mạo hoặc bảng quảng cáo thay cho khung cảnh 3D hoàn toàn. Ví dụ: thay vì hiểnthị một ngọn đồi ở xa trong 3D, bạn có thể chỉ cần hiển thị hình ảnh phẳng của ngọnđồi lên một đa giác duy nhất xuất hiện trong hình ảnh mắt trái và mắt phải. Hình ảnhnày xuất hiện trước mắt trong VR giống như trong các trò chơi 3D truyền thống.Các dấu hiệu độ sâu khác bao gồm: phối cảnh cong (các đường thẳng hội tụ khichúng mở rộng ra khoảng cách), tỷ lệ tương đối (các đối tượng nhỏ hơn khi chúng ở xahơn), tắc (các đối tượng gần hơn ngăn tầm nhìn của chúng ta về các đối tượng ở xahơn), phối cảnh trên không (các đối tượng ở xa xuất hiện mờ hơn so với các vật thểgần do đặc tính khúc xạ của khí quyển), độ dốc kết cấu (các mẫu lặp lại dày đặc hơnkhi chúng lùi dần về phía xa) và ánh sáng (vùng sáng và bóng giúp chúng ta nhận biếthình dạng và vị trí của vật thể).17Khi phát triển ứng dụng VR, bạn có thể chọn đặt gốc của camera nằm trên sànnhà hoặc trên mắt họ (tương ứng được gọi là nguồn gốc "sàn" và "mắt"). Cả hai lựachọn đều có những ưu và nhược điểm nhất định.Việc sử dụng sàn nhà làm điểm gốc sẽ khiến điểm nhìn của mọi người ở cùngđộ cao so với mặt đất mà họ đang nhìn trong đời thực. Việc căn chỉnh độ cao điểmquan sát ảo với độ cao trong thế giới thực của chúng có thể làm tăng cảm giác đắmchìm. Tuy nhiên, bạn không thể kiểm soát chiều cao của những người trong thế giới ảocủa mình. Nếu bạn muốn hiển thị một cơ thể ảo, bạn sẽ cần phải xây dựng một giảipháp có thể mở rộng theo chiều cao của những người khác nhau.Sử dụng mắt người dùng làm điểm gốc của máy ảnh có nghĩa là bạn có thểkiểm soát chiều cao của họ trong thế giới ảo. Điều này hữu ích để hiển thị các cơ thểảo có chiều cao cụ thể và cũng để cung cấp các góc nhìn khác với trải nghiệm trongthế giới thực của mọi người (ví dụ: bạn có thể cho mọi người thấy thế giới trông nhưthế nào từ con mắt của một đứa trẻ). Tuy nhiên, bằng cách sử dụng điểm mắt làm điểmgốc, bạn không còn biết sàn vật lý ở đâu. Điều này làm phức tạp các tương tác liênquan đến việc hạ thấp hoặc nhặt đồ vật lên khỏi mặt đất. Vì bạn sẽ không thực sự biếtchiều cao của người dùng, nên bạn có thể muốn thêm một bước nâng cấp vào đầu ứngdụng của mình để ghi lại chính xác chiều cao trong thế giới thực của người dùng.1.3.2. Phương thức thể hiện chuyển độngChuyển động trong VR thường là hình đại diện của người dùng di chuyển trongmôi trường ảo (bằng cách đi bộ / chạy hoặc đi xe) trong khi cơ thể trong thế giới thựccủa người dùng đứng yên. Những tình huống này có thể gây khó chịu vì thị giác củangười dùng cho họ biết họ đang di chuyển trong không gian, nhưng cơ thể của họ lạinhận thức điều ngược lại, dễ gây ra xung đột giác quan. Điều đặc biệt quan trọng khithiết kế chuyển động là bạn phải kiểm tra trải nghiệm của mình với nhiều đối tượngngười dùng vì người phát triển ứng dụng có thể đã học cách chấp nhận cơ chế vậnđộng và có thể sẽ không phù hợp với người trải nghiệm bình thườngKhi tăng tốc trong VR mà không phải do chuyển động trong thế giới thực củangười dùng là nguyên nhân chính gây ra sự khó chịu trong trải nghiệm VR. Theonghiên cứu thực nghiệm, tốc độ chậm (chuyển động chậm) ít gây khó chịu hơn tốc độvận động bình thường của con người. Tốc độ nhanh bất thường cũng được chứng minh18là ít gây khó chịu hơn tốc độ bình thường của con người. Việc cho phép người dùngbắt đầu chuyển động mà họ trải nghiệm dường như giảm bớt sự khó chịu, đặc biệt làkhi chuyển động trong thế giới thực và bản đồ chuyển động VR 1: 1. Cho phép ngườidùng tự di chuyển trong thế giới ảo thay vì đưa họ đi theo ý của mình.Hiện nay, có nhiều phương pháp đưa ra nhằm tránh gây xung đột cho người sửdụng nhưng cách hiệu quả nhất để tránh cảm giác khó chịu khi di chuyển là thiết kếtrải nghiệm không cần vận động.Một hình thức di chuyển khác là dịch chuyển tức thời, phép dịch chuyển này cho phépngười dùng di chuyển xung quanh một cảnh mà không phải đối mặt với sự thay đổi tốcđộ. Người dùng có thể chỉ ra một nơi họ muốn di chuyển trong cảnh thông qua mộtphương thức nhập.Một điều quan trọng cần chú ý là việc khi thay đổi vị trí, người dùng có thể bị mấtphương hướng. Người dùng nên có phương tiện để đoán vị trí của họ hiện tại và điểmmốc rõ ràng để hỗ trợ định hướng.1.3.3. Cơ thể số trong môi trường VRCơ thể số là đại diện của cơ thể người dùng trong VR. Hình đại diện của ngườidùng thường tương ứng với vị trí, chuyển động và cử chỉ của người dùng. Người dùngcó thể nhìn thấy cơ thể ảo của chính họ và quan sát cách người dùng khác nhìn thấy vàtương tác với họ. Hình đại diện có thể mang lại cho người dùng cảm giác mạnh mẽ vềquy mô và thể tích cơ thể của họ trong thế giới ảo. Hình đại diện ảo phải có chiều caothực so với cảnh để có trải nghiệm thoải mái. Tuy nhiên, việc thiết kế một hình đạidiện với thân hình hoàn chỉnh có thể không thoải mái ví dụ cơ thể đi bộ trong khi họđang ngồi. Hình đại diện phù hợp nhất được sử dụng hiện nay là hình bàn tay, nó táitạo được cảm giác tương tác của người dùng như đang cầm nắm những đối tượng. Bàn tay là phương pháp nhập liệu đầy hứa hẹn do có nhiều ưu điểm và lợi ích:● Bàn tay là đầu vào dễ tiếp cận và có độ ma sát thấp mà không cần phần cứng bổsung● Không giống như các thiết bị đầu vào khác, chúng tự động hiển thị ngay khibạn đeo kính thực tế ảo19● Mang lại nhiều trải nghiệm phong phú, bạn có thể sử dụng đôi tay thật củamình.Để trở thành một phương thức đầu vào hiệu quả, bàn tay cần cho phép thựchiện các nguyên tắc tương tác sau đây hoặc các tác vụ cơ bản:● Nhắm mục tiêu, chuyển trọng tâm đến một đối tượng cụ thể● Lựa chọn, cho phép người dùng chọn hoặc kích hoạt đối tượng đó● Thao tác hoặc di chuyển, xoay hoặc thu nhỏ đối tượng trong không gianCó một số điều khiến bàn tay trở thành phương thức nhập liệu độc đáo và chưatừng có. Chúng ít phức tạp hơn bộ điều khiển, có các nút và thanh tương tự có thể yêucầu đường cong học tập cho người dùng mới hơn. Chúng không cần phải được ghépnối với kính thực tế ảo. Và nhờ được gắn vào cánh tay của bạn, bàn tay luôn hiện diệntheo cách mà các thiết bị đầu vào khác không thể có được.Nhưng chúng cũng đi kèm với một số thách thức: Bàn tay không cung cấp phảnhồi xúc giác như bộ điều khiển và không có cách cố hữu nào để bật hoặc tắt chúng. Vìvậy cần có những nguyên tắc cho hình đại diện bàn tay:● Người phát triển nên thông báo cho người dùng những khả năng có thể làm gìđược với đối tượng.● Phản hồi là một cách xác nhận trạng thái của người dùng trong suốt quá trìnhtương tác.Cần phải hạn chế các thao tác nhập để cải thiện hiệu năng sử dụng. Bàn taythực tế không giới hạn về cách di chuyển và tư thế mà chúng có thể tạo thành. Điềunày cho rất cơ hội, nhưng quá nhiều khả năng có thể dẫn đến xung đột hệ thống.1.4. Công cụ phát triển và các thiết bị ngoại vi1.4.1. Công cụ phát triểnHiện nay, có rất nhiều nền tảng cho lập trình ứng dụng VR, có thể kể đến như:Unity, Unreal, AppGameKit VR, Godot, libGDX, Urho3D, … Trong đó, hai nền tảngđược sử dụng phổ biến và chuyên nghiệp nhất là Unity và Unreal. Cả 2 Engine này rấtmạnh mẽ trong việc lâp trình, xử lý các môi trường, đối tượng 3D rất tốt, và hầu như20