Industry 4.0/Big Data10 NOSQL DATA MODELING TECHNIQUES Ref. highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/#:~:text=NoSQL%20data%20modeling%20often%20starts,the%20structure%20of%20available%20data.&text=NoSQL%20data%20modeling%20is%20typically,of%20queries%20to%20be%20supported. 정말 괜찮은 블로그입니다. 데이터 사이언스에 관심있으신 분들 확인해 보세요. NoSQL databases are often compared by various non-functional criteria, such as scalability, performance, a.. 2021. 4. 22. 데이터 사이언티스트가 되어보자 근데 그게 뭐예요? Ref. brunch.co.kr/@hero4earth/3 방향을 잡기 위해 좋은 글 같다. 나도 방향을 잡는데 도움이 된 듯 하다. Prologue 데이터 사이언티스트가 되기로 진로를 정하고 벌써 1년의 시간이 지났습니다. 원래 저는 공공기관에서 프로젝트 관리자였다가 스타트업의 사업개발 담당으로 일을 하고 있었습니다. 그런데 어떻게 데이터 사이언티스트가 되기로 했었을까요? 당시의 저를 한 마디로 이야기하면 '제너털리스트(Generalist)'라고 할 수 있었습니다. 모든 것을 할 줄 알아야 했지만 저의 스페셜리티(Speciality)가 뭐냐고 자문할 때 스스로 뭐 하나 자신 있게 대답할 수 있었던 것이 없었습니다. 그래서 항상 '전문성'에 대해 목마름이 있었던 시절이었습니다. 그리고 마침 개인적인 이유로.. 2020. 9. 14. Test data quality with assertions Ref. https://docs.dataform.co/guides/assertions Learn how to test data quality with assertions. Introduction Assertions enable you to check the state of data produced by other actions. An assertion query is written to find rows that violate one or more rules. If the query returns any rows, then the assertion will fail. Auto-generated assertions Auto generated assertions are only supported from @.. 2020. 8. 6. Mac OS에 MongoDB 설치 및 Robomongo 설치 MongoDB는 아래의 설명에서도 알수 있듯이 문서지향(Document-Oriented)의 cross-platform 데이터베이스이다. NoSQL 데이터베이스이며 JSON형식의 문서를 사용한다. 이번에 Scrapy를 이용한 뉴스 크롤링하기에서 크롤링한 뉴스기사들을 MongoDB에 저장하기 위해 MongoDB 설치를 포스팅하게 되었다. MongoDB (from humongous) is a free and open-source cross-platform document-oriented database program. Classified as a NoSQL database program, MongoDB uses JSON-like documents with schemas. MongoDB is developed .. 2019. 8. 16. PINPOINT 란 PINPOINT란대규모 분산 시스템의 성능을 분석하고 문제를 진단, 처리하는 java 플랫폼.네이버에서 2012년 7월 부터 개발을 시작하여 14년 말에 배포하였다.(PINPOINT 뜻 : 원인을 콕! 집어내다) 기능 1. 서버 맵 - 대상 서버와 연결된 다른 서버와의 관계 다이어그램 2. 스캐터 - 요청별 응답시간에 따른 그래프 3. request detail - 스캐터에서 선택된 요청의 스택트레이스 뷰 4. 에러 발생 요청 표시 - 에러가 발생한 요청 빨간색으로 표시 5. 서버의 jar목록 표시 - 서버에 접속하지 않아도 관련된 jar 목록 확인 가능 구성 1. DB - HBase(하둡 분산 데이터베이스 기반) 2. Web UI로 view적으로 보여줌 3. Collector - Web UI를 보여주는.. 2017. 3. 2. [MongoDB] mongo-2.10.1.jar, junit 쓴 단위 테스트 for JAVA package com.wujintao.mongo; import java.net.UnknownHostException; import java.util.ArrayList; import java.util.List; import java.util.Set; import java.util.regex.Pattern; import org.junit.Test; import com.mongodb.AggregationOutput; import com.mongodb.BasicDBList; import com.mongodb.BasicDBObject; import com.mongodb.BasicDBObjectBuilder; import com.mongodb.DB; import com.mongodb.DBCollection; imp.. 2014. 12. 13. [MongoDB] MongoDB 에서 Sequence 사용하기 시퀀스를 임의 생성하여 사용하는 방법입니다. 1. 시퀀스 용 Collection 생성>db.createCollection("seq", {crapped: false }); 2. 시퀀스 등록>db.seq.insert({"_id":"seq_post", "seq":new NumberLong(1)}); ( seq 값으로 1 대신에 NumberLong 값으로 넣길 바란다. ( float 형으로 처리됨을 방지 ) ) 3. 시퀀스 가져오기>db.seq.findAndModify({ query: {"_id":"seq_post"}, update: {$inc: {"seq":1}}, new: true}); 이렇게 해서 "seq_post" 의 시퀀스를 가져오게 된다. 이렇게 되어있는것을 java 에서는 어떻게 가져올수 있을까?s.. 2014. 10. 7. [MongoDB] MongoDB - Java Driver MongoDB - Java DriverCRUD in Javainsert()find()update()remove()DBObject is a main interface used by Java driver. Essentially a key/value data store.BasicDBObject is a general purpose implementation which extendsLinkedHashMap.Example:import com.mongodb.BasicDBObject; public class BasicDBObjectExample { public static void main(String[] args) { BasicDBObject basicDBObject = new BasicDBObject(); bas.. 2014. 10. 1. [MongoDB] how to use “find” to search “_id => OBjectID(”id“)” in Perl API Question. I have to find a kind of "_id" in my Mongo, I can do it using the Mongo shell, and I can not do that using Perl API.I'm trying to do it (mongo shell):./mongo use my_db db.my_collection.find({_id : ObjectId("4d2a0fae9e0a3b4b32f70000")})It works!(returns), but I can't do that using Perl API,$mongo->my_db->my_collection(find({_id => "ObjectId(4d2a0fae9e0a3b4b32f70000"}));Does not work bec.. 2014. 10. 1. [MongoDB] Sequence 사용하기 mongo에서 sequence 를 사용할 수 있긴한데.. 함수를 이용해야된다.예제를 보는게 가장 쉬울듯 0102030405060708091011121314151617181920212223242526272829303132> use testswitched to db test // 시퀀스를 사용하기 위한 컬렉션 생성// double 형으로 인식되는걸 방지하기 위해 NumberLong 사용> db.counters.insert( { _id:"userid", seq: new NumberLong(0) } ) // 시퀀스 가져오는 함수 생성 > function usfGetNextSequence(name) { var result = db.counters.findAndModify( { query: { _id: name }.. 2014. 9. 22. 이전 1 다음
