Đây là một vấn đề đã được đưa ra tranh luận ở Hội nghị Vienna 1961. Một số đoàn đại biểu đưa ra đề nghị: quyền bất khả xâm phạm về nhà cửa không ngăn cấm nước sở tại trong trường hợp nguy hại chung có thể thi hành những biện pháp cần thiết để bảo vệ tính mạng và tài sản bị uy hiếp.
Nhưng nhiều đoàn đại biểu cho rằng việc cho phép nhà cầm quyền nước sở tại có thể trong trường hợp đặc biệt xâm nhập nhà cửa của Cơ quan đại diện mà không cần có sự đồng ý của người đứng đầu Cơ quan đại diện, có thể đưa đến những tình huống lũng loạn nghiêm trọng trong quan hệ hai nước.
Hội nghị Vienna đã thông qua văn bản nói rõ trụ sở của Cơ quan đại diện là bất khả xâm phạm, nhà riêng của viên chức ngoại giao cũng được hưởng quyền bất khả xâm phạm và được bảo vệ như Trụ sở Cơ quan đại diện. Về từ ngữ “Trụ sở Cơ quan đại diện” cần được hiểu là tòa nhà hoặc bộ phận của tòa nhà và đất đai phụ thuộc, không kể người sở hữu là ai, được dùng vào mục đích của Cơ quan đại diện, kể cả nhà ở của người đứng đầu Cơ quan đại diện.
Quyền bất khả xâm phạm cũng được dành cho các biểu trưng của quốc gia tại các tòa nhà của Cơ quan đại diện như quốc kỳ, quốc huy.
Theo quy định của Công ước Vienna 1961, chính quyền nước sở tại không được vào trụ sở của Cơ quan đại diện nếu không có sự đồng ý của người đứng đầu Cơ quan đại diện. Như vậy là kể cả trường hợp cấp bách hoặc có nguy hại chung nói ở trên, chính quyền nước sở tại cũng chỉ có thể vào trụ sở cơ quan đại diện hoặc nhà riêng của viên chức ngoại giao nếu được người đứng đầu Cơ quan đồng ý rõ ràng.
Trong thời gian Mỹ tiến hành chiến tranh phá hoại ở miền Bắc Việt Nam, máy bay Mỹ ngày đêm bắn phá, ném bom Hà Nội, nhưng cũng chỉ có một số rất ít Cơ quan đại diện ngoại giao nước ngoài có công hàm yêu cầu trong trường hợp cần thiết, đội cứu sập hầm của thành phố Hà Nội vào ngay Cơ quan đại diện để kịp thời làm công việc cứu chữa cho dù chưa có ý kiến của người đứng đầu cơ quan.
Ủy ban Luật pháp của Đại hội đồng Liên hợp quốc tháng 10/1982 đã đặc biệt quan tâm đến vấn đề tăng cường các biện pháp bảo vệ an ninh, an toàn cho các Cơ quan đại diện ngoại giao. Những năm gần đây, một trong những hình thức vi phạm quyền bất khả xâm phạm của Cơ quan đại diện được gọi là “biểu tình” ở khu vực trụ sở Cơ quan đại diện ngoại giao hay nhà riêng của người đứng đầu cơ quan, bao vây phong tỏa cổng ra vào của Cơ quan đại diện.
Những cuộc biểu tình quá khích thường đưa tới các cuộc đột kích, phá phách trụ sở của Cơ quan đai diện, ném gạch đá hoặc bắn vào nhà ở của các nhà ngoại giao. Chính quyền nước sở tại thường giải thích cho là biểu hiện sự “phẫn nộ tự nhiên’ không kiểm soát được của công dân, nhưng trong thực tế không phải không có những trường hợp chính quyền nước sở tại làm ngơ hoặc khuyến khích.