«amazon-s3» 태그된 질문

Spark 와 Hadoop 간에 종속성이 있습니까? 그렇지 않다면 Hadoop 없이 Spark 를 실행할 때 놓칠 기능이 있습니까?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

S3 버킷에 저장된 특정 로그 파일에 쓸 수있는 머신이 있다고 가정 해 보겠습니다. 따라서 머신에는 해당 버킷에 대한 쓰기 기능이 있어야하지만 해당 버킷 (내가 쓰려는 파일 포함)에있는 파일을 덮어 쓰거나 삭제할 수있는 기능이 필요하지 않습니다. 따라서 기본적으로 내 컴퓨터가 데이터를 재정의하거나 다운로드하지 않고 해당 로그 파일에만 데이터를 추가 할 수 …

91 amazon-web-services  amazon-s3  aws-sdk  amazon-kinesis-firehose 

아주 기본적인 질문이지만 답을 찾지 못했습니다. Transit을 사용하여 한 AWS 계정의 한 S3 버킷에서 다른 AWS 계정의 다른 S3 버킷으로 파일을 "이동"할 수 있지만 실제로하는 일은 첫 번째 파일에서 파일을 다운로드 한 다음 두 번째 버킷으로 업로드하는 것입니다. 파일을 다운로드하지 않고 한 S3 계정에서 다른 계정으로 직접 파일을 이동할 수있는 …

90 file  amazon-s3  amazon-web-services  transfer 

매일 프로덕션 버킷에서 개발 버킷으로 일부 파일을 복사하고 싶습니다. 예 : productionbucket / feed / feedname / date를 developmentbucket / feed / feedname / date에 복사하십시오. 원하는 파일이 폴더 구조에 너무 깊기 때문에 각 폴더로 이동하여 복사 / 붙여 넣기하는 데 너무 많은 시간이 걸립니다. 각 버킷에 드라이브를 마운트하고 Windows …

90 amazon-s3 

닫은. 이 질문은 Stack Overflow 지침을 충족하지 않습니다 . 현재 답변을 받고 있지 않습니다. 이 질문을 개선하고 싶으십니까? Stack Overflow의 주제에 맞게 질문을 업데이트하세요 . 휴일 2 년 전 . 이 질문 개선 Amazon S3 및 CloudFront를 사용하여 HTTPS 전용 정적 웹 사이트를 호스팅하고 싶습니다. 지금까지 내가 한 작업은 다음과 …

90 ssl  https  amazon-s3  amazon-cloudfront 

탭으로 구분 된 테이블 인 S3에 저장된 텍스트 파일이 있습니다. 팬더에로드하고 싶지만 heroku 서버에서 실행 중이기 때문에 먼저 저장할 수 없습니다. 여기 내가 지금까지 가지고있는 것입니다. import io import boto3 import os import pandas as pd os.environ["AWS_ACCESS_KEY_ID"] = "xxxxxxxx" os.environ["AWS_SECRET_ACCESS_KEY"] = "xxxxxxxx" s3_client = boto3.client('s3') response = s3_client.get_object(Bucket="my_bucket",Key="filename.txt") file = …

90 python  pandas  heroku  amazon-s3  boto3 

지금까지 이틀 넘게 웹에서 검색했으며 온라인 문서화 된 시나리오와 해결 방법의 대부분을 살펴 봤지만 지금까지 아무런 효과가 없었습니다. 저는 PHP 5.3에서 실행되는 PHP V2.8.7 용 AWS SDK 를 사용하고 있습니다. 다음 코드를 사용하여 S3 버킷에 연결하려고합니다. // Create a `Aws` object using a configuration file $aws = Aws::factory('config.php'); // Get …

89 amazon-web-services  amazon-s3  aws-php-sdk 

저는 현재 s3-upload-stream 이라는 node.js 플러그인을 사용 하여 매우 큰 파일을 Amazon S3 로 스트리밍 하고 있습니다. 멀티 파트 API를 사용하며 대부분 잘 작동합니다. 그러나이 모듈은 그 나이를 보여주고 있으며 이미 수정해야했습니다 (저자도이 모듈을 사용하지 않습니다). 오늘 저는 Amazon에서 또 다른 문제를 만났고 작성자의 추천을 받아 공식 aws-sdk를 사용하여 업로드를 …

89 node.js  amazon-web-services  amazon-s3  node-streams 

AWS에는 스토리지 및 EC2 인스턴스를 다양한 가격으로 실행할 수있는 여러 위치가 있습니다. 특정 지역에 가장 적합한 위치를 어떻게 결정할 수 있습니까? 직관적입니까 (서비스 지역에 더 가까운 것이 가장 좋음) 또는 안정성 문제가 있습니까 (특히 AWS 위치가 다른 위치보다 더 많은 중단에 직면 함). 그러한 결정을 내리는 데 사용할 수있는 데이터가 …

89 amazon-s3  amazon-ec2  amazon-web-services 

백만 개의 이미지가있는 경우 일부 폴더 / 하위 폴더 계층 구조에 저장하거나 폴더없이 모두 버킷에 바로 덤프하는 것이 더 낫습니까? 모든 이미지를 계층 구조가없는 버킷에 덤프하면 LIST 작업이 느려지나요? 폴더 및 하위 폴더를 즉석에서 만들고 ACL을 설정하는 데 (프로그래밍 방식으로) 상당한 오버 헤드가 있습니까?

87 performance  file  amazon-s3  limit  directory 

Node.js 프로젝트에서 S3에서 데이터를 가져 오려고합니다. 을 사용 getSignedURL하면 모든 것이 작동합니다. aws.getSignedUrl('getObject', params, function(err, url){ console.log(url); }); 내 매개 변수는 다음과 같습니다. var params = { Bucket: "test-aws-imagery", Key: "TILES/Level4/A3_B3_C2/A5_B67_C59_Tiles.par" URL 출력을 콘솔로 가져 와서 웹 브라우저에 붙여 넣으면 필요한 파일이 다운로드됩니다. 그러나 사용하려고 getObject하면 모든 종류의 이상한 행동이 …

87 javascript  node.js  amazon-s3  aws-sdk  aws-sdk-nodejs 

s3에 "test"라는 폴더를 만들고 "test_1.jpg", "test_2.jpg"를 "test"에 푸시했습니다. boto를 사용하여 "test"폴더를 삭제하려면 어떻게해야합니까?

87 python  amazon-s3  boto 

누구든지 이것을하는 방법을 알고 있습니까? 지금까지 Google을 통해 유용한 정보를 찾지 못했습니다. 로컬 리포지토리를 설정하고 git pushS3에 게시하는 데 사용하고 싶습니다.이 아이디어는 자산에 대한 로컬 버전 제어가 있지만 S3의 원격 스토리지입니다. 이 작업을 수행 할 수 있으며, 그렇다면 어떻게합니까?

87 git  amazon-s3 

S3에는 다음과 같은 폴더 구조가 있습니다. 특정 폴더 아래의 모든 파일을 재귀 적으로 제거하는 방법이 있습니까 (예 : foo/bar1 or foo or foo/bar2/1..) foo/bar1/1/.. foo/bar1/2/.. foo/bar1/3/.. foo/bar2/1/.. foo/bar2/2/.. foo/bar2/3/..

87 amazon-s3  amazon-web-services 

Java를 사용하여 주어진 버킷에 키가 있는지 확인하고 싶습니다. API를 살펴 봤지만 유용한 방법이 없습니다. 사용하려고했지만 getObject예외가 발생했습니다.

87 java  amazon-web-services  amazon-s3  aws-sdk