Bên cạnh việc nghe nhìn thông qua công nghệ thực tế ảo tăng cường AR thì người dùng cũng cần phải tương tác với các vật thể trong đó. Thông thường để làm được điều này thì các hãng sản xuất sẽ phải phát triển một thiết bị cầm tay đi kèm như tay cầm hay găng tay để nhận mệnh lệnh từ người dùng.

Nhưng Apple đang có một hướng tiếp cận mới khi hãng này vừa nộp bằng sáng chế mới liên quan tới việc phát triển một bề mặt cảm ứng, có thể hiểu giống như trackpad để giúp nhận các mệnh lệnh và điều khiển cử chỉ trong AR.

Bằng sáng chế này miêu tả cách mà người dùng có thể tương tác với các vật thể bằng các thao tác nhấn, xoay hay chạm vào phần cảm ứng trên bề mặt này và hệ thống cũng sẽ có các cảm biến để phát hiện cảm ứng từ xa. Sẽ có một camera trên kính AR theo dõi và định vị vị trí của trackpad để kết hợp phân tích thao tác của người dùng từ đó đưa ra các phản hồi chính xác trong môi trường thực tế ảo.

Bằng sáng chế lần này được ghi nhận từ bốn nhà phát minh Samuel L. Iglesias, Devin W. Chalmers, Rhit Sethi và Lejing Wang nhưng vẫn chưa rõ liệu Apple có lựa chọn để phát triển hướng đi này hay không.